本发明属于计算机人工智能视觉应用，具体公开了一种自动化的产线螺栓松动检测识别方法及系统。
背景技术：
1、安全生产是生产制造行业的重中之重，螺栓是各种设备和机械中常用的连接元件。在螺栓的安装过程中，由于人为操作的限制，操作人员可能会出现疏忽、疲劳或错误操作，导致螺栓未被正确拧紧。这种情况可能会导致设备故障、损坏甚至安全事故的发生，严重影响生产和工作环境的安全性。
2、针对以上问题，为了提高螺栓安装质量和确保设备运行的安全稳定，就亟需能应用产线螺栓松动检测的设计。
3、基于上述问题，本发明提供一种自动化的产线螺栓松动检测识别方法及系统。
技术实现思路
1、发明目的：本发明的目的是提供一种自动化的产线螺栓松动检测识别方法及系统，解决背景技术中所存在的问题，并将工业流水线生产模块与图像检测相结合，对机器的螺栓进行松动检测，确保生产线的正常运行和产品质量，同时推动深度学习在工业生产中的应用。
2、技术方案：本发明的第一方面提供一种自动化的产线螺栓松动检测识别方法，包括以下步骤，步骤1、通过采集大量已拧紧和未拧紧的螺栓图像数据集，并结合数据增强算法，有效增加数据集的多样性和数量，提高模型的泛化能力。步骤2、改进resnet-34网络结构，引入注意力机制、批标准化技术、自适应学习率调整策略和损失函数加权技术，优化模型训练过程，提高对螺栓图像数据的学习效率。步骤3、利用高性能工业相机进行螺栓数据采集，结合图像处理算法，实现对图像的自适应增强和优化，提高图像质量和清晰度。步骤4、在工业流水线的末端设置机械臂和脚手架，在脚手架的预定位置上，精确安装了工业相机；当工业化模块组装完成经过这一位置时，机械臂负责将其准确摆放在脚手架上，而随后工业相机进行拍摄以获取螺栓图像数据。步骤5、对步骤4中处理的图像数据进行分类检测，将螺栓的检测结果实时上传到平台数据库，以便及时了解异常未拧紧的螺栓情况并触发报警提醒。
3、本技术方案的，所述步骤1中，结合数据增强算法将收集到的螺栓图像数据集，通过对图像进行平移、旋转、缩放、裁剪、加噪声等操作，生成具有一定差异性的新图像，这样可以模拟真实世界中不同角度、光照、尺寸等变化对图像的影响，使模型更好地适应各种情况下的螺栓图像识别任务。
4、本技术方案的，所述步骤2中，引入了注意力机制(attention mechanism)和批标准化(batch normalization)技术，以增强网络的表征能力和泛化能力。注意力机制能够自动学习图像中不同区域的重要性，从而使网络更加关注关键的特征信息。批标准化技术则能够加速网络的收敛过程，提高训练效率和稳定性，使用上述改进后的resnet-34网络对螺栓图像数据集进行训练和评估，通过迭代的训练过程，网络逐渐学习到了螺栓的拧紧状态的特征表示，并能够对未知螺栓图像进行准确的分类和检测。
5、本技术方案的，所述步骤2中，引入了自适应学习率调整策略和损失函数加权技术，自适应学习率调整策略采用adam自适应学习率调整算法，通过计算梯度的一阶矩估计和二阶矩估计并对学习率进行自适应调整，以更新模型参数；损失函数加权技术采用加权交叉熵损失函数，加权交叉熵损失函数的计算公式如下：
6、l＝-∑(ωi*yi*log(pi))，
7、其中，ωi表示第i个样本的权重，yi表示第i个样本的真实标签，pi表示模型预测的概率值，通过为不同样本赋予不同的权重，可以调整损失函数的计算方式，使模型更加关注重要样本的训练过程，使用加权交叉熵损失函数可帮助模型更好地学习关键样本的特征，提高模型的性能和泛化能力。
8、本技术方案的，所述步骤4中，采用了机械臂对工业流水线上的模块进行了位置的调整，机械臂通过传感器系统检测目标模块的位置和状态，并利用路径规划算法确定机械臂的最佳运动路径并在执行过程中不断地获得传感器的反馈并根据实时数据调整动作以便准确将模块摆放至正确位置。
9、本技术方案的，所述步骤5中，将检测结果实时上传到平台数据库，采用图形界面库或相关的可视化工具来实现状态的实时显示和更新，整个过程可通过编写相应的程序或脚本来实现；在实时图像采集和处理方面，可以使用python来编写代码；对于图像处理和模型的实现，可以使用深度学习框架pytorch来进行开发，最后可以将结果实时显示在监控界面上，以便及时观察螺栓的拧紧状态。
10、本发明的第二方面提供一种自动化的产线螺栓松动检测识别系统，用于执行自动化的产线螺栓松动检测识别方法，包括图像采集模块、图像处理模块、特征提取模块、模型训练模块和检测模块；图像采集模块、图像处理模块、特征提取模块、模型训练模块、检测模块依次连接；
11、其中，图像采集模块，用于对螺栓图像进行采集，将采集到的图片传入图像处理模块；图像处理模块，用于对采集的图像进行预处理、去噪和增强操作；特征提取模块，用于从图像中提取螺栓的特征，包括形状、颜色；模型训练模块，用于训练螺栓松紧检测模型，采用机器学习或深度学习算法，对数据集的均值和标准差的值有重新进行计算；检测模块，用于对新的图像进行螺栓松紧检测，并输出检测结果到平台数据库。
12、与现有技术相比，本发明的一种自动化的产线螺栓松动检测识别方法及系统的有益效果在于：1)提高生产效率和产品质量，通过该方法和系统，可以大大减少人工检测的时间和成本，同时确保产品质量的稳定性，从而提高企业的竞争力和市场占有率；2)提高工作安全性，螺栓拧紧不当会导致产品质量问题或者安全事故，如机器失灵、零部件松动等，通过自动化螺栓拧紧检测方法和系统，可以及时发现并纠正螺栓拧紧不当的问题，提高工作安全性；3)将工业流水线生产模块与图像检测相结合，从而实现生产过程的自动化，减少了人力资源的消耗，提高了生产线的灵活性，使其更容易适应市场需求的变化；4)推动深度学习在工业生产中的应用，可以用于设备的定期维护和保养，及时发现和处理松动的螺栓，延长设备的使用寿命，减少维修成本。
1.一种自动化的产线螺栓松动检测识别方法，其特征在于：包括以下步骤，
2.根据权利要求1所述的一种自动化的产线螺栓松动检测识别方法，其特征在于：所述步骤1中，结合数据增强算法将收集到的螺栓图像数据集，通过对图像进行平移、旋转、缩放、裁剪、加噪声的操作，生成具有一定差异性的新图像，模拟真实世界中不同角度、光照、尺寸变化对图像的影响，使模型更好地适应各种情况下的螺栓图像识别任务。
3.根据权利要求1所述的一种自动化的产线螺栓松动检测识别方法，其特征在于：所述步骤2中，采用注意力机制和批标准化技术，以增强网络的表征能力和泛化能力；
4.根据权利要求1所述的一种自动化的产线螺栓松动检测识别方法，其特征在于：所述步骤2中，采用自适应学习率调整策略和损失函数加权技术；
5.根据权利要求1所述的一种自动化的产线螺栓松动检测识别方法，其特征在于：所述步骤4中，机械臂通过传感器系统检测目标模块的位置和状态，并利用路径规划算法确定机械臂的最佳运动路径并在执行过程中不断地获得传感器的反馈并根据实时数据调整动作以便准确将模块摆放至正确位置。
6.根据权利要求1所述的一种自动化的产线螺栓松动检测识别方法，其特征在于：所述步骤5中，平台数据库采用关系型数据库或者nosql数据库，通过网络连接用于方便数据的存储、查询和管理。
7.根据权利要求6所述的一种自动化的产线螺栓松动检测识别方法，其特征在于：所述网络连接使用网络架构，网络架构包括设备与服务器之间的通信协议、数据传输方式，以实现设备的远程监控和管理。
8.一种自动化的产线螺栓松动检测识别系统，用于执行权利要求1-7中任一项所述的自动化的产线螺栓松动检测识别方法，其特征在于：
