本发明涉及视觉检测,尤其涉及一种安全帽佩戴检测方法、装置、设备及存储介质。
背景技术:
1、作业人员佩戴安全帽不仅是安全生产作业的规范要求,更是人身安全的重要保障。因此,有必要对工业现场的安全帽佩戴进行检测。
2、目前通常使用工业现场的彩色图像进行安全帽佩戴检测,虽然实现了相应的检测需求,也达到了一定的准确率,但是由于工业现场的复杂环境,其光照不均匀、安全帽颜色不同等都会影响某些场景下的安全帽检测结果,带来一定的误判,导致安全帽检测的准确性较低。
技术实现思路
1、本发明提供一种安全帽佩戴检测方法、装置、设备及存储介质,能够有效避免出现安全帽佩戴检测的误判现象,提高安全帽检测的准确性。
2、为实现上述目的,本发明实施例提供了一种安全帽佩戴检测方法,包括:
3、获取作业区域的彩色图像和深度图像;
4、利用预设的图像目标检测模型,对所述彩色图像进行目标检测,得到安全帽区域;
5、将所述安全帽区域映射到所述深度图像,计算所述安全帽区域的点云数据;
6、计算所述点云数据的全局特征描述子;
7、利用预设的图像分类模型,对所述全局特征描述子进行检测,得到安全帽检测结果。
8、作为上述方案的改进,通过以下步骤获取所述图像目标检测模型:
9、获取所述作业区域的历史彩色图像;
10、对所述历史彩色图像的安全帽区域进行标注,得到标注图像;
11、对所述标注图像采用目标检测算法,得到所述图像目标检测模型。
12、作为上述方案的改进,所述将所述安全帽区域映射到所述深度图像,计算所述安全帽区域的点云数据,包括:
13、将所述安全帽区域映射到所述深度图像,得到所述安全帽区域的像素点在所述深度图像上对应位置的深度值;
14、利用所述深度值,计算所述安全帽区域的像素点在空间坐标系下的三维位置信息。
15、作为上述方案的改进,所述计算所述点云数据的全局特征描述子,包括:
16、获取所述点云数据的参考帧;
17、计算所述参考帧的旋转变换矩阵和平移变换矩阵;
18、根据所述旋转变换矩阵和所述平移变换矩阵,对所述点云数据进行旋转平移变换,得到所述点云数据在参考帧坐标系下的三维位置信息;
19、统计落在所述参考帧坐标系下的空间网格内的点的数量;
20、根据所述数量,计算所述点云数据的形状描述子。
21、作为上述方案的改进,所述获取所述点云数据的参考帧,包括:
22、对所述点云数据进行求平均值处理,得到质心的位置信息;
23、根据所述质心的位置信息和所述点云数据,计算所述点云数据对应的点与所述质心之间的协方差矩阵;
24、计算所述协方差矩阵的每一特征值,和每一所述特征值对应的特征向量;
25、将最小的所述特征值对应的第一特征向量作为所述点云数据的参考帧的z轴,将最大的所述特征值对应的第二特征向量作为所述参考帧的x轴,将所述第一特征向量与所述第二特征向量的外积作为所述参考帧的y轴。
26、作为上述方案的改进,所述计算所述协方差矩阵的每一特征值,和每一所述特征值的特征向量,包括:
27、获取特征方程其中,λ表示未知数,e表示单位矩阵,c表示协方差矩阵,c11表示协方差矩阵c的第一行第一个元素、c12表示协方差矩阵c的第一行第二个元素、c13表示协方差矩阵c的第一行第三个元素、c21表示协方差矩阵c的第二行第一个元素、c22表示协方差矩阵c的第二行第二个元素、c23表示协方差矩阵c的第二行第三个元素、c31表示协方差矩阵c的第三行第一个元素、c32表示协方差矩阵c的第三行第二个元素、c33表示协方差矩阵c的第三行第三个元素;
28、对所述特征方程采用初等变换方式变换行列式,得到多项式(λ-λ1)(λ-λ2)(λ-λ3)=0;其中,λ表示未知数,λ1表示第一个特征值,λ2表示第二个特征值,λ3表示第三个特征值;
29、根据所述多项式(λ-λ1)(λ-λ2)(λ-λ3)=0,得到协方差矩阵的所有特征值。
30、根据齐次线性方程组(λje-c)x=0,得到每一个特征值对应的特征向量;其中,λj表示第j个特征值,x表示特征向量矩阵。
31、作为上述方案的改进,通过以下步骤获取所述图像分类模型:
32、获取所述作业区域的历史彩色图像和历史深度图像;
33、对所述历史彩色图像进行标注,得到历史安全帽区域;
34、将所述历史安全帽区域映射到所述历史深度图像,计算所述历史安全帽区域的历史点云数据;
35、计算所述历史点云数据的历史全局特征描述子;
36、利用所述历史全局特征描述子进行学习分类,得到所述图像分类模型。
37、为实现上述目的,本发明实施例提供了一种安全帽佩戴检测装置,包括:
38、图像获取模块,用于获取作业区域的彩色图像和深度图像;
39、目标检测模块,用于利用预设的图像目标检测模型,对所述彩色图像进行目标检测,得到安全帽区域;
40、点云数据获取模块,用于将所述安全帽区域映射到所述深度图像,计算所述安全帽区域的点云数据;
41、全局特征描述子计算模块,用于计算所述点云数据的全局特征描述子;
42、安全帽检测结果获取模块,用于利用预设的图像分类模型,对所述全局特征描述子进行检测,得到安全帽检测结果。
43、为实现上述目的,本发明实施例提供了一种安全帽佩戴检测设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如上述的安全帽佩戴检测方法。
44、为实现上述目的,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序;其中,所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述的安全帽佩戴检测方法。
45、与现有技术相比,本发明实施例提供的一种安全帽佩戴检测方法、装置、设备及存储介质,通过获取作业区域的彩色图像和对应的深度图像,利用目标检测算法处理彩色图像,得到安全帽区域即为初步检测结果。然后将初步检测结果映射到对应的深度图像,基于三维几何特征对初步检测结果进一步分析判断,检测出潜在的误识别目标,提高最终的安全帽佩戴检测精度。由此可见,本发明实施例通过将安全帽佩戴检测过程分为预处理和后处理两个阶段,能够有效避免出现安全帽佩戴检测的误判现象,提高安全帽检测的准确性。
1.一种安全帽佩戴检测方法,其特征在于,包括:
2.如权利要求1所述的安全帽佩戴检测方法,其特征在于,通过以下步骤获取所述图像目标检测模型:
3.如权利要求1所述的安全帽佩戴检测方法,其特征在于,所述将所述安全帽区域映射到所述深度图像,计算所述安全帽区域的点云数据,包括:
4.如权利要求1所述的安全帽佩戴检测方法,其特征在于,所述计算所述点云数据的全局特征描述子,包括:
5.如权利要求4所述的安全帽佩戴检测方法,其特征在于,所述获取所述点云数据的参考帧,包括:
6.如权利要求5所述的安全帽佩戴检测方法,其特征在于,所述计算所述协方差矩阵的每一特征值,和每一所述特征值的特征向量,包括:
7.如权利要求1所述的安全帽佩戴检测方法,其特征在于,通过以下步骤获取所述图像分类模型:
8.一种安全帽佩戴检测装置,其特征在于,包括:
9.一种安全帽佩戴检测设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如权利要求1~7任一项所述的安全帽佩戴检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序;其中,所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1~7任一项所述的安全帽佩戴检测方法。