本发明涉及图像处理技术和人体姿态估计领域，特别是涉及一种面向多人姿态估计应用的遮挡数据集构造方法。
背景技术：
1、人体姿态估计是计算机视觉领域的一个重要任务，并在动作识别、动作捕捉、姿态追踪、人机交互等方面都得到了广泛的应用。现有的人体姿态估计模型可以在非遮挡场景下实现很好的性能，但在人体拥挤程度高、遮挡等复杂场景下仍面临挑战。
2、由于人工采集数据会花费大量时间，且对新的数据进行标注工作量大、难度高。为了增加模型训练的数据量，现有的方法通过全局缩放、旋转、翻转等数据增广策略来实现，现有方法虽然能够提高网络模型在图像质量不一致情况下的泛化能力，但是对遮挡人体的姿态估计问题无能为力。更有研究者通过生成一定大小的灰度块对图像中人物实例进行随机遮挡，或通过将人物分割成多个补丁，将适当的身体部位补丁安装到被遮挡的人体部位来增广图像。然而，上述方法生成的数据破坏了原始图像中人体构造，虽然能够在一定程度上模拟人体被遮挡的场景，但是与真实人体遮挡场景仍有较大差别。
3、本发明专利提出一种面向多人姿态估计应用的遮挡数据集构造方法，能够更接近真实环境中人体被遮挡场景，减少数据采集时间，降低数据标注难度，提升模型在遮挡场景下的人体姿态估计性能。
技术实现思路
1、针对现有技术不足，本发明的目的是提供一种面向多人姿态估计应用的遮挡数据集构造方法。考虑到在非遮挡数据集上训练的人体姿态估计模型在遮挡数据集上性能有限，而对遮挡数据集进行标注的人工成本高且标注难度太大，本发明提出了一种构造遮挡数据集的方法，能够在不增加人力成本的情况下提高模型在遮挡场景中的人体姿态估计性能。
2、本发明提供如下技术方案：
3、一种面向多人姿态估计应用的遮挡数据集构造方法，包括以下步骤：
4、s1，从非遮挡数据集中筛选单人图像，使用人像抠图算法对筛选后的单人图像进行抠图并根据人体框标注信息进行剪裁，同时更新关键点位置信息，剪裁后的单人图像及其更新后的标注数据构成单人数据集；
5、s2，从非遮挡数据集中选取一副图像作为待遮挡图像，然后从构建的单人数据集中随机抽取一幅单人图像缩放后对待遮挡图像中的人体进行定位遮挡，同时在非遮挡数据集的标注文件中添加单人图像的人体标注信息，生成遮挡图像及其对应的标注文件；
6、s3，通过对非遮挡数据集中的所有图像进行遮挡操作，构造带标注信息的遮挡数据集。
7、进一步地，还包括步骤s4，利用构造的遮挡数据集在人体姿态估计模型中训练，提高模型在拥挤场景下人体姿态估计性能。
8、进一步地，步骤s1中，所述单人图像的筛选包括以下步骤：
9、a1，为保证人像抠图生成图像中人体的完整性，根据原数据集标注信息，筛选人体关键点个数为17且只有一个人体检测框的图像，其中，筛选单人图像集合p表示如下：
10、
11、其中，pn表示第n张图像，n表示人体关键点个数，blist表示人体检测框数量。
12、进一步地，步骤s1中，所述单人图像的抠图以及剪裁包括以下步骤：
13、b1，基于图像抠图算获取人像前景图像，图像抠图算法的直接输出为单人图像所对应的透明度图像，透明度图像与原图相乘，能够提取前景人物，剔除多余背景；其中，所述图像抠图算法公式表示如下：
14、
15、式中，c表示单人图像当前可观察的像素，f表示前景像素，b表示背景像素，表示透明度，当时，所对应的像素为前景；对于背景像素，其透明度
16、b2，对于抠图后的人体图像，读取其人体框标注信息，并进行剪裁，得到剪裁后的单人图像；其中，人体框标注信息表示为：
17、bbox＝[x,y,w,h]
18、式中，x，y分别表示人体框左上角在原图像中的横坐标和纵坐标；w，h分别表示人体框的宽度和高度。
19、进一步地，步骤s1中，所述关键点位置信息的更新包括以下步骤：
20、c1，剪裁后的单人图像宽度和高度为人体框的宽度w和高度h；因此，相对应的人体关键点位置坐标发生改变，表示如下：
21、
22、式中，x，y分别表示人体框左上角在原图像中的横坐标和纵坐标；分别表示剪裁前单人图像中第i个人体关键点横坐标和纵坐标；分别表示剪裁后单人图像中第i个人体关键点横坐标和纵坐标，人体有17个关键点，因此i的取值范围为1-17。
23、进一步地，步骤s1中，所述单人数据集的构成包括以下步骤：
24、d1，对筛选的具有完整关键点信息的单人图像集合p进行上述抠图剪裁，并更新骨骼点位置信息，构成单人数据集。
25、进一步地，步骤s2中，所述待遮挡图像的人体框信息表示为：
26、bbox'＝[x',y',w',h']
27、式中，x'，y'分别表示待遮挡人体框左上角的横坐标和纵坐标；w'，h'分别表示待遮挡人体框的宽度和高度。
28、进一步地，步骤s2中，所述单人图像的缩放包括以下步骤：
29、e1，以待遮挡人体宽度为基准，将单人图像缩放至等宽，同时将单人图像高度同比例缩放，缩放后单人图像宽度和高度表示如下：
30、new_w＝w*(w'/w)
31、new_h＝h*(w'/w)
32、式中，new_w，new_h分别表示缩放后单人图像的宽度和高度。
33、进一步地，步骤s2中，所述定位遮挡的方法包括以下步骤：
34、f1，以单人图像中心点为定点，使其随机定位在待遮挡人体框区域，其中，选取单人图像中心点的定位坐标表示如下：
35、xcenter＝random(x',x'+w')
36、ycenter＝random(y',y'+h')
37、式中，xcenter，ycenter分别表示单人图像中心点在待遮挡图像中定位的横坐标和纵坐标；
38、f2，根据单人图像中心点的定位坐标计算出单人图像左上角在待遮挡图像中的坐标表示如下：
39、new_x＝xcenter-new_w/2
40、new_y＝ycenter-new_h/2
41、式中，new_x，new_y分别表示单人图像左上角在待遮挡图像中的横坐标和纵坐标；定位后的单人图像在待遮挡图像上的人体框标注信息更新为bbox_new＝[new_x,new_y,new_w,new_h]。
42、进一步地，步骤s2中，所述单人图像的人体标注信息的添加包括以下步骤：
43、t1，单人图像经过缩放和定位后，人体框大小和位置、以及图中人体关键点位置坐标都将改变；由于每个人体实例都有唯一的id，从1开始为添加的单人图像生成新的id，其中，人体框、人体关键点位置坐标、人体id在生成数据集中的表示如下：
44、bbox_new＝[new_x,new_y,new_w,new_h]
45、
46、
47、j＝1，id＝j，j++
48、式中，bbox_new表示单人图像缩放和定位后人体框信息，分别表示剪裁前单人图像中第i个人体关键点横坐标和纵坐标，分别表示单人图像中第i个人体关键点经过剪裁、缩放和定位后坐标位置，id为数据集中人体框索引唯一标号。
49、进一步地，所述通过对原始非遮挡数据集中的所有图像进行遮挡操作，构造带标注信息的遮挡数据集；利用构造的遮挡数据集训练网络模型，得到更加鲁棒的多人姿态估计性能。该方法不仅降低了人工采集图像成本和遮挡数据集的标注难度，还使构造的遮挡数据集更加符合现实场景中人与人之间的肢体遮挡现象。将该数据集用于人体姿态估计模型中训练，能够有效提高模型在拥挤场景下人体姿态估计性能。
50、与现有技术相比，本发明具有以下有益效果：
51、(1)本发明一种面向多人姿态估计应用的遮挡数据集构造方法，本发明能够构造新的遮挡数据集及对应标注文件，增加遮挡数据训练样本数量，大大降低人工采集图像成本以及对遮挡数据集的标注难度。
52、(2)本发明一种面向多人姿态估计应用的遮挡数据集构造方法，本发明将构造的遮挡数据集适用于所有人体姿态估计模型的训练，能够提升模型在遮挡场景下人体姿态估计的性能。
1.一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，还包括步骤
3.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s1中，所述单人图像的筛选包括以下步骤：
4.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s1中，所述单人图像的抠图以及剪裁包括以下步骤：
5.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s1中，所述关键点位置信息的更新包括以下步骤：
6.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s1中，所述单人数据集的构成包括以下步骤：
7.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s2中，所述待遮挡图像的人体框信息表示为：
8.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s2中，所述单人图像的缩放包括以下步骤：
9.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s2中，所述定位遮挡的方法包括以下步骤：
10.根据权利要求1所述一种面向多人姿态估计应用的遮挡数据集构造方法，其特征在于，步骤s2中，所述单人图像的人体标注信息的添加包括以下步骤：
