本发明涉及图像数据处理，尤其涉及一种竣工建筑信息模型生成方法、装置、设备及存储介质。
背景技术：
1、传统方法无论使用2d还是3d语义分割，由于泛化能力有限，阻碍了scan2bim在未见过的场景中的实际应用。并且由于mep系统的复杂性和多变的全局形态，预训练的视觉模型也不能直接应用于scan2bim过程。
技术实现思路
1、有鉴于此，本发明的目的是为了克服现有技术中的不足，提供一种竣工建筑信息模型生成方法、装置、设备及存储介质，用于将视觉模型和竣工建筑信息模型进行桥接，生成适用于任意场景中任意物体的竣工建筑信息模型。
2、本发明提供如下技术方案：
3、第一方面，本发明公开提供一种竣工建筑信息模型生成方法，所述方法包括：
4、基于深度学习模型对训练图像进行特征提取，得到训练图像特征；
5、基于深度学习模型对测试图像进行特征提取，得到所述测试图像的目标激活图，根据所述目标激活图确定多个提示点；
6、基于分割模型对多个所述提示点进行分割，得到最终分割掩膜；
7、基于相机坐标和世界坐标的转换矩阵，将所述最终分割掩膜投影至3d空间，得到目标点云；根据所述目标点云以参数化形式生成竣工建筑信息模型。
8、在一实施方式中，基于平均池化操作得到所述训练图像中目标对象的全局视觉表达；
9、基于所述深度学习模型，根据所述目标对象的全局视觉表达得到所述测试图像第一激活图；
10、对所述第一激活图进行尺寸和双线性插值的调整，得到所述目标激活图。
11、在一实施方式中，获取所述目标对象的掩码，得到参考掩码；
12、根据所述训练图像特征和所述参考掩码进行对应元素相乘，得到所述目标对象的视觉特征。
13、在一实施方式中，所述根据所述目标激活图确定多个提示点，包括：
14、消除所述目标激活图中激活度小于第一阈值的像素点，得到第二激活图；
15、根据所述第二激活图中的多个局部极大值确定多个所述提示点。
16、在一实施方式中，所述基于分割模型对多个所述提示点进行分割，得到最终分割掩膜，包括：
17、将所述提示点输入所述分割模型进行分割，得到对应的第一分割掩膜；
18、分别获取所述第一分割掩膜的置信度分数和分割纯度；
19、获取置信度分数高于第二阈值且分割纯度高于第三阈值的第一分割掩膜，得到第二分割掩膜；
20、确定所述第二分割掩膜为所述最终分割掩膜。
21、在一实施方式中，所述基于相机坐标和世界坐标的转换矩阵，将所述最终分割掩膜投影至3d空间，得到目标点云，包括：
22、根据所述测试图像得到世界坐标下的初始点云；
23、基于相机坐标和世界坐标的转换矩阵，根据所述初始点云得到相机坐标下的第一点云；
24、将所述第一点云投影至平面图像，得到所述第一点云对应的图像坐标，将所述图像坐标转换为像素坐标，并根据所述像素坐标对所述第一点云进行点消除，得到第二点云；
25、根据所述第二点云与所述最终分割掩膜的标签信息，生成所述目标点云。
26、第二方面，本发明公开提供一种竣工建筑信息模型生成装置，所述装置包括：
27、提取模块，用于基于深度学习模型对训练图像进行特征提取，优化损失函数，得到训练图像特征；
28、确定模块，用于基于深度学习模型对测试图像进行特征提取，根据所述测试图像特征得到所述测试图像的目标激活图；根据所述目标激活图确定多个提示点；
29、分割模块，用于基于分割模型对多个所述提示点进行分割，得到最终分割掩膜；
30、生成模块，用于基于相机坐标和激光扫描坐标的转换矩阵，将所述最终分割掩膜投影至3d空间，得到目标点云；根据所述目标点云以参数化形式生成竣工建筑信息模型。
31、第三方面，本发明公开提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的竣工建筑信息模型生成方法的步骤。
32、第四方面，本发明公开提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的竣工建筑信息模型生成方法的步骤。
33、本发明公开的竣工建筑信息模型生成方法、装置、设备及存储介质，基于视觉深度学习模型对训练图像进行特征提取，得到训练图像特征；之后基于视觉深度学习模型对测试图像进行特征提取，并得到测试图像的目标激活图；根据目标激活图确定多个提示点；基于分割模型对多个提示点进行分割，得到最终分割掩膜；基于相机坐标和世界坐标的转换矩阵，将最终分割掩膜投影至3d空间，得到目标点云。根据所述目标点云以参数化形式生成竣工建筑信息模型。这样，基于视觉模型和3d点云可使得竣工建筑信息模型适用于任意场景的任意物体。
34、为使本发明的上述目的、特征和优点能更明显和易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。
1.一种竣工建筑信息模型生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的竣工建筑信息模型生成方法，其特征在于，所述根据所述测试图像特征得到所述测试图像的目标激活图，包括：
3.根据权利要求2所述的竣工建筑信息模型生成方法，其特征在于，所述基于平均池化操作得到所述训练图像中目标对象的全局视觉表达，包括：
4.根据权利要求1所述的竣工建筑信息模型生成方法，其特征在于，所述根据所述目标激活图确定多个提示点，包括：
5.根据权利要求1所述的竣工建筑信息模型生成方法，其特征在于，所述基于分割模型对多个所述提示点进行分割，得到最终分割掩膜，包括：
6.根据权利要求1所述的竣工建筑信息模型生成方法，其特征在于，所述基于相机坐标和世界坐标的转换矩阵，将所述最终分割掩膜投影至3d空间，得到目标点云，包括：
7.一种竣工建筑信息模型生成装置，其特征在于，所述装置包括：
8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6任一项所述的竣工建筑信息模型生成方法的步骤。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的竣工建筑信息模型生成方法的步骤。
