本发明属于钻井作业，尤其涉及基于yolov8神经网络的救援钻机钻杆自动衔接的控制系统。
背景技术：
1、目前，铁钻工对钻杆衔接界面的定位大多仍然依赖人工操作，需要操作人员将其移动到指定的作业位置，然后通过钳体前端传感器进行短距离钻杆定位，这导致铁钻工无法实现完全自动化。
2、铁钻工作为重要的钻井作业设备，在自动化水平方面已经有了较高的发展，能够快速、便捷地完成钻杆的冲卸、旋紧工作。然而，目前将铁钻工移动至钻头衔接的传统方法通常依赖于人工操作，同时还需要结合使用光电、超声波等传感器进行定位。这种操作方式由于人为介入，使铁钻工的自动化程度大打折扣，降低了钻井工作效率，同时也存在着因操作不当引发的事故风险。此外，当前使用相关传感器进行定位的自动化方案存在一些缺陷，例如当钻杆表面出现磨损或沾粘泥污等情况时，检测精度就会大大降低。因此，推动铁钻工朝着完全自动化方向发展，进一步提升铁钻工上/卸扣的工作效率和安全可靠性。
3、在钻井作业中，将机器视觉应用于铁钻工上/卸扣作业位置的识别与定位非常必要，可以提升铁钻工在上/卸扣工作中的效率和成功率。结合钻井平台的实际应用场景，通过机器视觉中的目标识别技术，可以实时检测识别上下钻杆之间的衔接界面，并获取该界面的位置信息，从而实现对铁钻工的自动控制。这不仅可以提高铁钻工的自动化程度、作业效率和精确度，降低现场工人的操作强度，还可以在一定程度上降低铁钻工对钻杆的损坏风险，对提高油气井开采作业的经济效益具有十分重要的意义。
技术实现思路
1、本发明要解决的技术问题是在钻杆与钻自动对接技术中，传统的人工接驳和手动敷设的问题。本发明提出了一种基于机器视觉技术的单目视觉引导的铁钻工与钻杆接头的定位识别，从而使得钻机钻杆自动衔接或冲卸的控制系统；
2、本发明的基于yolov8神经网络的钻机钻杆自动衔接的控制系统，所述自动衔接是指铁钻工控制钻杆接头之间进行衔接，本发明控制系统包括：
3、摄像头，用于拍摄含有钻杆接头的图像数据；
4、上位机，用于读取摄像头拍摄到的含有钻杆接头的图像数据，并基于yolov8神经网络对图像数据中的钻杆接头识别跟踪，利用pnp算法计算钻杆接头的位姿参数；所述位姿参数为钻杆接头在相机坐标系下的参数，根据所述位姿参数计算钻杆接头与铁钻工的高度差；
5、下位机，上位机将所述杆接头与铁钻工的高度差传输给下位机，下位机基于所述高度差控制铁钻工移动到钻杆接头，并钳住钻杆接头；
6、铁钻工对钻杆接头头进行冲卸/旋紧动作，冲卸/旋紧完成后，铁钻工放开钻杆接头，铁钻工复位。
7、进一步的，现有的yolov8神经网络包括backbone、neck和head。本发明中yolov8神经网络为改进的yolov8神经网络，在现有的yolov8神经网络中添加cbam注意力模块；
8、本发明yolov8神经网络的backbone中包括cbam注意力模块，所述cbam注意力模块与sppf模块的输出端连接，cbam注意力模块的输出连接yolov8神经网络的neck部分；
9、所述cbam注意力模块包括依次连接的通道注意力模块cam和空间维度注意力模块sam，对特征图的通道维度和空间维度进行注意力操作；
10、cbam注意力模块的运算公式表示如下：
11、
12、其中，f∈rc*h*w为sppf模块输出到通道注意力模块cam的特征，在通道注意力模块中进行一维卷积mc∈rc*1*1操作，将卷积结果乘原特征图f，得到通道注意力模块cam的计算结果f'；
13、将计算结果f'输入到空间维度注意力模块sam，在空间注意力模块中进行二维卷积ms∈r1*h*w操作，再将卷积结果与原特征图f'相乘，得到空间维度注意力模块sam的计算结果f”，即cbam注意力模块的计算结果f”。
14、进一步的，通道注意力模块cam包括并行的maxpool层和avgpool层、share mlp模块；特征图f经过两个并行的maxpool层和avgpool层，将特征图f从c*h*w变为c*1*1的大小，然后经过share mlp模块，在share mlp模块中，先将通道数压缩为原来的1/r倍，再扩张到原通道数，经过relu激活函数得到两个激活后的结果。将这两个输出结果进行逐元素相加，再通过一个sigmoid激活函数得到通道注意力的输出结果。
15、运算如下式
16、
17、进一步的，空间维度注意力模块sam包括最大池化、平均池化层和卷积层；
18、特征图f'分别经过最大池化和平均池化得到两个1*h*w的特征图，然后经过concat操作对两个特征图进行拼接，再通过卷积层变为1通道的特征图，再经过一个sigmoid得到空间维度的特征图ms(f')；
19、运算如下式
20、
21、进一步的，所述计算钻杆接头的位姿参数，具体如下：
22、基于yolov8神经网络对图像数据中的钻杆接头识别跟踪，并通过extract_tracks()函数提取检测框信息，检测框信息中包含了钻杆接头四角的坐标像素值；
23、以钻杆接头中心为坐标原点，建立世界坐标系，获得检测框四角的世界坐标；
24、采用pnp算法通过检测框四角的坐标像素与四角的世界坐标，解算出相机坐标系到世界坐标系的变换矩阵，通过变换矩阵即可解算出相机坐标系下钻杆接头的位姿参数，所述位姿参数是指相机坐标系下钻杆接头的旋转矩阵与平移向量。
25、进一步的，在钻杆接头检测框信息中提取4个像素坐标设为[u,v,1]t,世界坐标系中的钻杆接头的4个坐标为[xw,yw,zw]t,齐次坐标表示为[xw,yw,zw,1]t。经pnp解算，由下式解的世界坐标系到相机坐标系的旋转矩阵r与平移向量t
26、
27、令
28、
29、由逆变换可得，相机坐标系到世界坐标系的变换矩阵为
30、
31、进一步的，根据所述位姿参数计算钻杆接头与铁钻工的高度差，具体如下：
32、相机坐标系下钻杆接头的旋转矩阵与平移向量为r1与t1＝(x1,y1,z1)，且已知相机坐标系下铁钻工的旋转矩阵和平移向量为r2和t2＝(x2,y2,z2)；
33、由于钻杆与铁钻工之间在世界坐标系的x与y轴上平行，所以钻杆接头与铁钻工之间高度差d使用欧几里距离公式计算：
34、
35、进一步的，上位机采用springboot和vue的前后端架构，并部署于docker环境中；
36、在springboot框架下部署yolov8网络模型,利用yolov8网络模型和pnp姿态解算对图像中钻杆接头进行识别与姿态解算。
37、进一步的，利用yolov8网络模型和pnp姿态解算对图像中钻杆接头进行识别与姿态解算，具体如下：
38、首先，对yolov8神经网络进行训练与验证，获得最佳权重文件best.pt；
39、利用pytorch和onnx库将权重文件best.pt转换为best.onnx的权重文件；
40、在spring boot后端通过onnx runtime推理引擎调用best.onnx权重文件实现对图像数据中钻杆接头识别；
41、调用opencv库中函数solvepnp()计算出钻杆接头的旋转r1和平移参数t1、以及位姿参数；
42、通过websocket通信协议将yolov8检测后的图像数据与计算出的位姿参数实时传输到前端进行显示，所述处理后的图像数据是指在图像数据中增加检测框信息。
43、有益效果：
44、①高度自动化：利用深度学习或机器学习技术可以通过训练模型来自动学习和识别钻头与钻杆的衔接位置，无需人工介入即可实现自动化衔接，从而提高作业效率和减少人力成本。
45、②适应性强：采用传统视觉算法与深度学习结合的方法，深度学习模型具有一定的泛化能力，可以适应不同的钻井环境和条件，例如不同的钻头和钻杆类型、不同的光照和环境条件等，从而提高了系统的稳定性和适用性，解决传统视觉方案光线影响大、泛化能力差等问题，。
46、③准确性高：采用yolov8神经网络模型与pnp算法结合的方法；采用yolov8深度学习网络模型先对钻杆目标进行目标检测，并采用实时追踪识别目标的策略提取钻杆在图片中的信息，再利用pnp算法解算目标检测框数据信息，准确获取钻杆接头的位姿参数，精确地识别和定位钻杆接头的衔接位置，减少误判和误差，提高了作业的精确度。
47、④对yolov8改进，采用cbam注意力模块对yolov8的backbone进行改进，提高检测精度。
1.基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，包括：
2.根据权利要求1所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，所述yolov8神经网络的backbone中包括cbam注意力模块，所述cbam注意力模块与sppf模块的输出端连接，cbam注意力模块的输出连接yolov8神经网络的neck部分；
3.根据权利要求2所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，通道注意力模块cam包括并行的maxpool层和avgpool层、share mlp模块；
4.根据权利要求2所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，空间维度注意力模块sam包括最大池化、平均池化层和卷积层；
5.根据权利要求1所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，所述计算钻杆接头的位姿参数，具体如下：
6.根据权利要求5所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，在钻杆接头检测框信息中提取4个像素坐标设为[u,v,1]t,世界坐标系中的钻杆接头的4个坐标为[xw,yw,zw]t,齐次坐标表示为[xw,yw,zw,1]t；经pnp解算，由下式解的世界坐标系到相机坐标系的旋转矩阵r与平移向量t
7.根据权利要求6所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，根据所述位姿参数计算钻杆接头与铁钻工的高度差，具体如下：
8.根据权利要求1所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，上位机采用springboot和vue的前后端架构，并部署于docker环境中；
9.根据权利要求1所述基于yolov8神经网络的钻机钻杆衔接的控制系统，其特征在于，利用yolov8网络模型和pnp姿态解算对图像中钻杆接头进行识别与姿态解算，具体如下：
