本发明涉及深度学习，尤其涉及一种基于轻量化目标检测算法的施工电梯内人数统计方法。
背景技术：
1、如今高层、超高层建筑施工日益增多的情况下，作为人员垂直运输的施工升降机使用也越来越频繁，因其特殊的工作环境，乘坐人员安全专业意识薄弱，安全管理工作得不到合理安排等原因，施工升降机在使用过程中还是事故频发。
2、根据国家安监法规的安全人数限制要求，目前的施工电梯没有很好的解决方法。施工电梯承载能力强，进入电梯人数超载的情况下，一般不易触发质量超限报警，导致施工电梯依旧启动，降低了其安全性。
3、目前电梯轿厢内人数的统计方法主要分为人工计数法、称重法等。其中，人工计数法主要是利用监控人员对电梯轿厢内的人数进行人工计数，但是这种方法受人为因素影响较大，需要工作人员具有高度的责任意识和工作热情，容易计算错误；称重法利用重力感应器进行计数，但是重力感应安装要求高、成本高，不确定性也较大，如无法有效统计检测出重量较轻的人等；红外法主要利用红外传感器对进出电梯的人数进行统计，但是对红外传感器下逗留、两个或多人贴得很近的情况，特别是前后拥挤、接踵而至的施工人员进出识别效果较差；计算机视觉法是利用计算机视觉技术自动对电梯轿厢内的人数进行识别与统计，其具有成本低、安装维护简单、识别精度高、检测流畅等优点。将计算机视觉融入工程机械，有助于提高工作安全性。稳定快速的目标检测系统通过串行通信总线实现与施工电梯的实时信息交互，当超过设定人数后，禁止电梯启动，确保安全。
4、目前，深度卷积神经网络主要有两大类：一种是rcnn基于候选区域的方法；另一种是ssd、retinanet、yolo等无候选区域的方法。基于单步检测的yolo算法，不同于rcnn为代表的双步检测算法，网络结构更加简单。相同条件下，基于单步检测的yolo算法的检测速率相比于faster-rcnn快约10倍。由深度卷积神经网络的yolo检测，在复杂条件下具有检测速度感高、稳定性好的优点。
5、然而，施工电梯在人员密集、头部遮挡等复杂情况下，准确率低，造成施工电梯内人数统计不准确，且目标检测算法模型一般运行在边缘设备上，对模型的大小有一定的要求。因此，通过目标检测算法实现准确高效的施工电内人数统计是一个亟待解决的难题。
技术实现思路
1、本发明的目的在于提供一种基于轻量化目标检测算法的施工电梯内人数统计方法，解决施工电梯人数检测准确率低、模型较大等技术问题，该方法得出一种施工电梯内人数统计的通用模型,可以更好的运行在性能有限的设备上，实现电梯内人数统计的智能化，减少人工监管所耗费的时间和精力。保障乘坐施工电梯的人员安全。
2、为了实现上述发明目的，本发明采用技术方案具体为：一种基于轻量化目标检测算法的施工电梯内人数统计方法，包括以下步骤：
3、s1、样本数据制作与增强
4、(1)从施工电梯的现场获得监控视频并制作数据集
5、从多个不同建筑施工电梯的现场获得监控视频，确保数据集具有多样性和代表性，涵盖各种场景和对象。然后对采集的视频进行视频解码、帧提取，得到建筑施工电梯场景下的施工工人乘坐电梯的图片，为了让模型更好地学习如何处理遮挡和粘连目标这种情况，采用图像变换，如旋转、缩放、裁剪等和不同目标的图像合并数据增强技术，来生成更多的遮挡和粘连目标的样本。
6、(2)对得到的数据集使用标注工具标注出bbox框
7、使用labelimg手动注释训练集中的数据，并且注释以yolo格式存储。将数据集中佩戴安全帽的工人标注为“helmet”类别，将没有佩戴安全帽的工人标注为“person”类别。
8、s2、对原始yolov7网络模型进行改进；
9、(1)改进骨干网络
10、为了更好的对乘坐电梯的施工人员特征进行有效提取，将骨干网络初期的第1、2以及4个卷积模块替换为repconv模块，repconv(re-param conv)模块，如图2所示，采用了卷积重参数化方法，在训练阶段阶段采用bn层、1×1卷积和3×3卷积的并行结构丰富多尺度信息，在推理阶段阶段通过卷积重参数化方法将多分支融合成单分支结构，重参数化模块通过一个3×3卷积实现高效高精度检测。
11、第3个卷积模块替换为biformer视觉变换器模块，使模型可以在初期特征提取时进行自注意力特征计算，提升网络初期重要特征提取效率。
12、biformer视觉变换器通过将视觉变换计算分为2个阶段进行以减少计算开销：第1个阶段在控制稀疏性的前提下进行稀疏注意力计算，完成计算后的特征图被划分为需要计算注意力的图像区域以及非必要的图像区域；第2个阶段在第1个阶段得出的需要计算区域中进行细粒度自注意力计算。当进行注意力计算时，先将特征图划分为s×s个互不重叠的图像区域，再将每个区域通过线性映射分别获取该区域对应的key、value、query向量。在第1个阶段，利用key与query向量通过稀疏矩阵注意力计算筛选出关联性较强的图像区域。在第2个阶段，利用value向量通过矩阵计算对筛选出的重要图像区域进行细粒度自注意力计算，进而完成视觉变换注意力计算。
13、(2)轻量化neck部分,构建一个高效的颈部
14、为了解决原始yolov7中颈部的高度复杂性，使用轻量级卷积方法gsconv来替代标准卷积，便于在cnn中加快图像的预测计算，接着在gsconv的基础上引入gsbottleneck和一次性聚合方法设计跨级部分网络(gscsp)模块vov-gscsp，vov-gscsp结构是基于vovnet和cspnet设计的；它可以增强卷积神经网络的学习能力。该结构分为两个分支，然后将这两个分支的特征向量连接起来。这些模块不仅降低了计算和网络结构的复杂性，同时也保持了足够的精度,以构建一个高效的neck。
15、在这个架构中，不同尺度的特征图先通过gsconv处理，然后经上采样upsample)和拼接(concat)操作与其他尺度的特征图结合。处理后的特征图再次通过gsconv模块，最后使用vov-gscsp模块来进一步提取和融合特征，最终进入head进行检测。通过这种模块化和分层的方法，该架构能够在保持高准确度的同时减少计算复杂性和推理时间。
16、(3)在模型head中加入gam注意力机制，提高检测的准确度。
17、将gam全局注意力机制引入到yolov7模型结构的头部，通过减少信息分散和放大全局维度的交互特征，提高模型性能和对施工人员检测的特征表达能力。
18、gam通过给定一个特征图f1，经过两个独立的注意力子模块，先通过通道注意力机制模块对原特征图进行校正，得到中间状态f2，然后经过空间注意力机制模块再次校正，得到最终特征图f3。中间状态变量f2和最终输出f3表示如式(1)～(2)所示。
19、
20、式中mc和ms分别为通道注意图和空间注意图，符号表示元素方法的乘法计算。
21、(4)损失函数改进
22、在原始的yolov7网络中，计算预测框坐标损失采用的是ciou，其同时考虑了真实边界框和预测边界框的中心点距离和高宽比，但定义的边界框高宽比是相对值，不利于模型收敛。同时原始的iou损失函数虽然能够衡量两个边界框的重叠程度，但在当目标之间存在重叠或者边界框尺寸差异较大时不够精确，且现有损失函数在检测任务中泛化能力弱、收敛速度慢。为解决上述问题，引入mpdiou作为yolov7的边界框损失函数，并使用inner-iou来改进mpdiou，替换其中的iou计算部分，从而提升检测效果，其中mpdiou边界框损失函数计算过程为：
23、
24、式中a、b代表预测框和真实框，w、h代表输入图像的宽度和高度，d1与d2分别表示预测框与真实框左上角点与右下角点的欧式距离，其计算公式如下：
25、
26、式中为真实框的左上和右下点坐标，为预测框的左上和右下点坐标。
27、为了弥补现有损失函数在检测任务中泛化能力弱、收敛速度慢的缺点，我们使用使用辅助边框来计算损失，并加速包围盒回归过程，在内部iou中，用尺度因子比ratio来控制辅助边界框的大小，具体计算过程如式(6)-(12)所示：
28、
29、union＝(wgt*hgt)*(ratio)2+(w*h)*(ratio)2-inter(11)
30、
31、式中为真实框的中心点坐标，(xc,yc)表示预测框的中心点坐标，w、h、wgt、hgt分别表示预测框、真实框的宽度和高度，blgt、brgt分别表示辅助真实框左、右边框与y轴的距离，bbgt、btgt分别表示辅助真实框上、下边框与x轴的距离，bl、br分别表示辅助预测框左、右边框与y轴的距离，bb、bt分别表示辅助预测框上、下边框与x轴的距离，inter、union分别代表辅助框的交集和并集：
32、最终，改造后的损失函数mpdiouinner表示如下：
33、
34、s3、利用s2中改进的yolov7网络模型对s1中制作的数据集进行训练，得到训练后的模型；
35、s4、修改推理代码detect.py，将检测出“person”和“helmet”类别的数目相加并输出最终相加的数目。
36、s5、将待检测图像和视频输入训练好的模型中进行推理预测，得到施工电梯内的人数。
37、与现有技术相比，本发明的有益效果为：
38、1、本发明在yolov7的基础上通过改进骨干网络、在gsconv的基础上引入gsbottleneck和gscsp模块vov-gscsp来轻量化neck部分以及在模型head中加入gam注意力机制来解决施工电梯中人数检测准确率低、模型较大等问题，使模型可以更好的运行在性能有限的设备上。
39、2、本发明使用inner-iou损失函数的思想来改进mpdiou，以mpdiouinner代替原损失函数，来解决目标之间存在重叠或者边界框尺寸差异较大的情况，使模型获得更快的收敛速度和更准确的回归结果。
40、3、本发明得出一种施工电梯内人数统计的通用模型,可以更好的运行在性能有限的设备上，实现电梯内人数统计的智能化，减少人工监管所耗费的时间和精力，及时检测并制止施工电梯超载行为，保障乘坐施工电梯的人员安全。
1.一种基于轻量化目标检测算法的施工电梯内人数统计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于轻量化目标检测算法的施工电梯内人数统计方法，其特征在于，所述步骤s1中，样本数据制作与增强，包括以下步骤：
3.根据权利要求1所述的基于轻量化目标检测算法的施工电梯内人数统计方法，其特征在于，所述步骤s2、对原始yolov7网络模型进行改进，包括以下步骤：
