本发明涉及图像识别，具体为一种基于虚幻引擎的手部图像标注仿真数据集生成方法。
背景技术：
1、随着当前各行业对智能化、自动化的需求不断增加，基于深度学习的图像识别、物体检测技术得到了越来越广泛的应用。然而基于深度学习的方法通常需要大量高质量的数据进行训练。在这个过程中，传统仿真数据集的制作方式暴露了很多缺点，例如需要大量时间和人力成本，标注存在误差，不同人员的主观理解影响标注结果，人工数据集通常数据量少，数据质量和安全性难以保证等等。
2、在智能晨检机领域，对于手部信息的数据获取同样面临着类似的困难。难以以人工方式大范围采集，同时生物信息采集和处理具有高度敏感性，有隐私泄露的法律风险。对于一些目前已有的生成虚拟图像并标注和导出数据集的方法，都存在各自的缺点，关于图位姿进行训练监督，公开号cn110765844a，名称为一种基于对抗学习的非感应式餐盘图像数据自动标注方法的中国专利公开了在没有标注标签的图像数据上自动标注餐盘的掩码图标签和包围框标签，所生成的数据只针对目标对象的位置识别以及实例分割任务，无法做到对场景中物体的位姿进行训练监督。
3、关于生成数据集和标注的方法，公开号cn117034591a，名称为基于虚幻引擎仿真数据集的ai视觉模型构建方法及系统的中国专利和公开号cn116630538a，名称为面向餐桌场景的仿真数据集生成方法与装置的中国专利都公开了一种各自生成数据集和标注的方法，但面对的都是工业品场景，没有对生物特征参数化生成的内容。
技术实现思路
1、本发明的目的在于提供一种基于虚幻引擎的手部图像标注仿真数据集生成方法，以解决上述背景技术中提出的问题。
2、为了解决上述技术问题，本发明提供如下技术方案：一种基于虚幻引擎的手部图像标注仿真数据集生成方法，方法包括：
3、步骤s100：通过使用3d建模软件和虚幻引擎，建立基础手部模型素材库、手部常见特征库、场景素材库；
4、步骤s200：在虚幻引擎中，创建动态光源并参数化调整光照效果，导入场景素材库中预设桌面模型并使用随机化工具随机生成布局，在桌面区域内使用随机数生成函数生成干扰物体，为其添加物理组件和重力效果，确保干扰物体自动堆放在桌面上；
5、步骤s300：通过真实晨检设备摄像机的物理光学参数设置虚幻引擎中摄像机属性，根据生成的桌面模型的位置，确定虚幻引擎中摄像机正确位置；
6、步骤s400：使用虚幻引擎，根据手部模型素材库中手部模型变化参数随机生成一组参数并初始化手部模型，通过手部常见特征库，利用参数化材质控制生物特征贴图显示，制作手部动作骨骼动画并创建混合空间，创建参数化面板控制非生物特征生成；
7、步骤s500：随机调整双手在摄像机取景框内位置，通过计算判断双手手掌在镜头内且截面在镜头外的要求，若符合要求，则计算双手包围盒在相机坐标系内的取值范围；
8、步骤s600：利用虚幻引擎生成动作序列，渲染仿真场景，生成rgb图像和深度图像，通过计算顶点集合在ndc中的最小外接矩形，定位手部位置，对手部渲染图像进行标注，生成手部标注图像，根据设定的生物特征参数，对病理特征区域进行标注处理，生成手部病理特征标注图像，按设定的输出格式导出处理后的标注图像；
9、步骤s700：重复随机生成手部模型、桌面模型、光照进行训练，生成不同手部特征的rgb-d多模态仿真数据集。
10、进一步的，步骤s100包括：
11、步骤s110：使用3d建模软件制作若干个预设的手部模型，其中手部模型包括手掌和小臂部分长度；
12、步骤s111：通过利用建模软件的变形修改器，将手部模型进行参数化变形绑定，使用虚幻引擎对手部模型的变化参数进行控制；
13、步骤s112：使用图形处理软件制作若干套手部模型的材质贴图，模拟各种皮肤特性，使用虚幻引擎制作参数化材质，模拟各种皮肤和手部特殊的生理生活反应，对手部模型的材质贴图制作蒙版贴图，用于控制特征出现的区域；
14、步骤s113：对手部模型绑定手部骨骼，以实现手部姿态控制，为手掌和小臂断面分别制作包围盒，通过对手部模型骨骼上的特殊位置新建骨骼槽位，以便可以将首饰模型附加于手部骨骼上并跟随其运动。
15、上述步骤相当于对手部模型的变化参数进行绑定，其中手部模型的变化参数包含主参数和微调参数，主参数包括但不限于性别、年龄、粗糙度、胖瘦、手部关节突出程度、手指纤细程度，微调参数包括手指关节长度、指甲样式和长度、毛发等，控制特征出现的区域包括手心、手背、手指、指甲等区域，不同皮肤和手部特殊的生理生活反应，包括湿润、冷等状态。
16、步骤s120：制作生物特征和非生物特征的rgb贴图，建立生物特征库和非生物特征库，使用虚幻引擎创建参数化材质；
17、步骤s121：利用3d建模软件制作首饰模型。
18、上述步骤相当于制作生物特征和非生物特征的rgb贴图，其中生物特征包括痣、胎记等和括皮疹、疱疹、麻疹、丘疹、红斑等不同的病理种类，非生物特征包括擦伤、划伤、结痂、刀疤、手术疤痕、烟疤、烫伤疤等不同的疤痕种类和泥垢、笔迹、纹身等，首饰模型包括手镯、手环、戒指、电子手环、手表等模型。
19、步骤s130：采集不同光照、色彩装饰风格的环境背景素材，利用图像处理软件制作桌面pbr贴图，使用建模软件制作不同的桌面，使用虚幻引擎创建桌面的材质节点，统一整合模型，得到若干种预设桌面模型；
20、步骤s131：使用3d建模软件制作桌面常见的干扰物体，在虚幻引擎中设置场景物体的参数。
21、上述步骤中环境背景包括但不限于hdri天空球、场景模型、倾斜摄影、点云等。
22、进一步的，步骤s200包括：
23、步骤s201：在虚幻引擎中创建动态光源，光照参数可以进行参数化调整，通过调整动态光源的参数，模拟现实世界中的光照效果；
24、步骤s202：在虚幻引擎中，导入场景素材库所制作的预设桌面模型，使用虚幻引擎的随机化工具，在场景中随机生成桌面的布局，在生成逻辑中添加参数，以实现对桌面布局的灵活控制；
25、步骤s203：使用随机数生成函数在桌面区域内生成若干个干扰物体，并确保它们的包围盒不相交，以避免碰撞，同时，为每个干扰物体随机设置一个高度值；
26、步骤s204：利用虚幻引擎的物理系统，为生成的干扰物体添加物理组件，并设置重力效果。
27、上述步骤相当于对桌面模型进行随机建立。
28、进一步的，步骤s300包括：
29、步骤s301：根据真实晨检设备摄像机的物理光学参数，在虚幻引擎内设置摄像机的属性；
30、步骤s302：将随机生成的桌面模型绕z轴随机初始化角度，在桌面模型上随机生成位置(x1，y1，z1)，在该位置初始化晨检机模型，采集得到真实晨检机摄像头高度为h，虚幻引擎中摄像机位置(x1，y1，z1+h)，将虚幻引擎中摄像机垂直桌面模型，将桌面模型平移，使虚幻引擎中摄像机位置置于世界坐标系原点。
31、上述步骤相当于对虚幻引擎内摄像机进行初始化，真实晨检设备摄像机的物理光学参数，包括但不限于视场角度、焦距、光圈、分辨率。
32、进一步的，步骤s400包括：
33、步骤s401：使用虚幻引擎，导入手部模型素材库，根据手部模型的变化参数集合和参数范围，随机生成一组参数，并根据随机生成的参数初始化手部模型，利用手部常见特征库中所创建的手部模型的材质贴图参数化材质，控制手部生物特征贴图的显示效果；
34、步骤s402：在虚幻引擎的动画编辑器中，制作若干个手部动作骨骼动画，创建一个混合空间，对不同手部动作的骨骼动画进行混合拼接；
35、步骤s403：在虚幻引擎中创建一个参数化面板，控制非生物特征的生成开关和生成概率，创建一个蓝图脚本，用于根据参数化面板中的设置，使用随机数生成器结合参数化面板中的生成概率参数，在手部模型对应的骨骼槽位上生成非生物特征模型。
36、上述步骤骨骼动画，包括翻掌、握拳、手势等。
37、进一步的，步骤s500包括：
38、步骤s501：双手置于摄像机取景框内，小臂断面不在摄像机视椎体内，新建group组，将左手初始化于group组坐标系内，左手于group组沿z轴方向随机旋转δ角度，δ的取值范围为参数预设，以包围盒在x轴方向上的最大值为中心，作为y轴对称轴进行镜像对称操作，将右手初始化至其镜像位置；
39、步骤s502：对右手加入x轴偏移量x'和y轴随机偏移量y'，x'和y'取值范围为参数预设，左手于模型local坐标系x轴旋转m角度，m取值范围为参数预设，双手同时于group组坐标系x轴旋转m'角度，m'取值范围为参数预设，得到模拟双手随机位姿；
40、步骤s503：双手同时于group组坐标系z轴旋转n'角度，n'取值范围为参数预设，采集双手包围盒中双手模型的包围盒为a，采集双手包围盒中双手模型的手臂截面的包围盒为b，若a和b不相交，则ab包围盒间距为j，通过a包围盒z轴高度a_height_z、a包围盒中心点z轴坐标a_center_z、b包围盒z轴高度b_height_z、包围盒b中心点z轴坐标b_center_z和摄像头垂直视场角vfov，计算长度l，其中l表示为a盒在摄像机取景范围内、b盒在取景范围外的最小距离，根据公式：
41、
42、如果j<l，则不满足手掌在镜头内，截面在镜头外的要求，重复初始化手部位姿，直到j>＝l；
43、步骤s504：计算a包围盒在相机坐标系内的取值范围，a在z轴取值范围，根据公式：
44、
45、当z1<z2时，zmax为z1，当z1≥z2时，zmax为z2，
46、
47、a在y轴取值范围，根据公式：
48、
49、当j2>j时，left_length为j2，当j2≤j时，left_length为j，
50、
51、ymax＝ymin+left_length
52、a在x轴取值范围，根据公式：
53、
54、xmax＝-xmin
55、其中，z1表示为a包围盒基于y轴宽度计算得到的最大z轴高度，z2表示为a基于x轴长度计算得到的最大z轴高度，z0表示为a在z轴取值范围[zmin，zmax]内随机生成的数，j2表示为通过计算得到ab包围盒间距为j，left_length表示为a在y轴左侧长度，vfov为摄像机垂直视场角，hfov为摄像机水平视场角，a_width_y为a的y轴方向宽度，a_long_x为a的x轴方向长度，a_height_z为a的z轴方向高度，a在x轴取值范围为[xmin，xmax]，a在y轴取值范围为[ymin，ymax]，a在z轴取值范围为[zmin，zmax]，xmin为a在x轴的最小值，xmax为a在x轴的最大值，ymin为a在y轴的最小值，ymax为a在y轴的最大值，zmin为a在z轴的最小值，zmax为a在z轴的最大值，根据取值范围随机取位置。
56、上述步骤相当于对双手位置进行判断，确保双手都在摄像机的范围内。
57、进一步的，步骤s600包括：
58、步骤s601：根据虚幻引擎内预设的手部动作骨骼动画，生成动作序列，从生成的动作序列中逐帧遍历并选取每一个动作帧；
59、步骤s602：利用虚幻引擎，对每一个动作帧，进行渲染仿真场景，生成rgb图像和深度图像，通过虚幻引擎渲染管线，经过mvp变换后的模型在归一化设备坐标系ndc中的顶点集合可以用来计算手部渲染图像的最小外接矩形，通过计算顶点在x轴和y轴上的最大值和最小值，可以确定手部渲染图像的边界范围，从而准确定位手部在图像中的位置；
60、步骤s603：根据处理后的手部渲染图像，将生物特征的位置进行纯色填充处理，以突出标注区域，得到手部标注图像，根据设定的生物特征参数，将病理特征区域也进行标注处理，生成手部病理特征标注图像；
61、步骤s604：将处理后的rgb图像、深度图像、手部标注图像、手部病理特征标注图像，按照设定的输出格式进行导出。
62、上述步骤相当于对手部特征进行标记，得到处理后的rgb图像、深度图像、手部标注图像、手部病理特征标注图像。
63、进一步的，步骤s700包括：
64、重复执行步骤s300-步骤s600，生成多个晨检打卡环境下不同手部特征的rgb-d多模态仿真数据集。
65、上述步骤相当于通过重复训练，得到手部图像标注仿真数据集。
66、与现有技术相比，本发明所达到的有益效果是：本发明主要解决深度学习数据集生成方法中存在的标注不精确、数据维度单一、数据量小、复用性低、数据安全性差、工具链路长等问题。本发明的首要目的是提供一种基于虚幻引擎的手部图像标注多模态仿真数据集的生成方法，基于该方法生成的数据集可用于晨检机手部生物特征、伤口和病理图像识别的深度学习网络模型的训练，完成现实场景中手部识别、伤情和病理情况识别和估计。
1.一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s100中建立基础手部模型素材库，包括以下步骤：
3.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s100中建立手部常见特征库，包括以下步骤：
4.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s100中建立场景素材库，包括以下步骤：
5.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s200，包括以下步骤：
6.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s300，包括以下步骤：
7.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s400，包括以下步骤：
8.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s500，包括以下步骤：
9.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s600，包括以下步骤：
10.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s700中重复执行步骤s300-步骤s600，生成多个晨检打卡环境下不同手部特征的rgb-d多模态仿真数据集。
