本发明涉及三维建模,特别是基于多模态融合的三维建模评估系统及方法。
背景技术:
1、随着计算机图形学和三维建模技术的飞速发展,三维模型在各个领域的应用日益广泛,如工业设计、影视特效、虚拟现实、增强现实以及医学成像等;这些应用对三维模型的精度、真实感和效率提出了越来越高的要求;
2、多模态融合是指将来自不同传感器、成像设备或数据源的多种信息模态(如图像、深度信息、点云数据等)进行有效整合,以获得更全面、准确和丰富的三维模型数据;通过多模态融合,可以弥补单一模态数据在表达上的不足,提高建模的精度和真实感,满足不同应用场景的需求;
3、传统的三维建模评估方法主要侧重于单一模态的数据质量评估,这种方法忽略了不同模态数据之间的互补性和协同作用,无法反映多模态融合建模的优势从而使得三维建模评估的不全面;此外,传统的三维建模评估方法也主要依赖于人工视觉检查或简单的几何度量,这些方法往往耗时费力且易受主观因素影响,难以准确地评估三维模型的质量。
技术实现思路
1、(一)解决的技术问题
2、针对背景技术中的技术问题,本发明提出基于多模态融合的三维建模评估系统及方法,将空间位置、纹理以及阴影三个方面的数据融合起来,得到三维建模的综合评估分数,根据综合评估分数进行三维建模等级的判断;从而解决了背景技术中记载的技术问题。
3、(二)技术方案
4、为实现以上目的,本发明通过以下技术方案予以实现:
5、基于多模态融合的三维建模评估方法,包括:
6、将实际扫描模型与建模后模型放入同一个空间直角坐标系中,并以实际扫描模型的重心为坐标原点;基于改进的harris算法分别提取出实际扫描模型与建模后模型的角点;从坐标系中获取每个角点的坐标值,并计算实际扫描模型与建模后模型中对应角点之间的欧氏距离;将所有角点之间的欧氏距离结合得到建模后模型的空间位置评估指数sle;
7、通过建模软件分别对实际扫描模型与建模后模型进行面的拆分;根据预设的方向与间隔分别构建每个面的灰度共生矩阵,对灰度共生矩阵进行归一化后得到共生概率矩阵p;对共生概率矩阵p进行特征运算得到对应的对比度con、能量asm以及熵ent;计算实际扫描模型与建模后模型中对应面的对比度差、能量差以及熵差;将实际扫描模型与建模后模型中所有面的对比度差、能量差以及熵差结合得到建模后模型的纹理评估指数te;
8、分别从多个方向对实际扫描模型与建模后模型进行光照模拟,获取每个光照方向下两个模型的阴影图像,并将相同光照方向下两个模型的阴影图像重叠,通过分析重叠阴影区域面积得到每个光照方向下两个模型阴影图像的重叠率ork;将所有光照方向下两个模型阴影图像的重叠率ork结合得到建模后模型的阴影评估指数sef;
9、将建模后模型的空间位置评估指数sle、纹理评估指数te以及阴影评估指数sef结合,得到建模后模型的综合评估分数score;将建模后模型的综合评估分数score与预设的建模评估表进行比较,对建模后模型进行建模等级评估。
10、具体的,通过三维建模软件中内置的重新计算工具确定分别确定两个模型的重心点,并以实际扫描模型的重心为原点,建立空间直角坐标系,将转换后的实际扫描模型与建模后的三维模型放入这一个空间直角坐标系中;并调整两个模型的位置,使实际扫描模型的重心点以及建模后的三维模型的重心点都与空间直角坐标系的原点重合,并按照实际模型正常使用时的摆放方式进行空间直角坐标系中的放置。
11、进一步的,基于改进的harris算法分别提取出实际扫描模型与建模后模型的角点,具体包括:
12、选取若干个方向,使得从这些方向对模型进行投影得到的所有投影图可以完全包括模型的所有特征;分别将实际扫描模型与建模后的三维模型按照上述若干个方向的视角投影到二维平面上,生成各自的若干张投影图像;将得到的若干张投影图像转换为灰度图像;
13、分别计算每个灰度图像在水平方向和垂直方向上的导数ix、iy,以及在两个方向上的乘积和ixy;对于灰度图像中的每个像素点,计算其周围区域的自相关矩阵m,表达式为:
14、
15、其中,a、b、c为矩阵m的三个元素;
16、利用自相关矩阵的特征值λ1和λ2计算每个像素点的角点响应值r,计算公式为:
17、r=det m-k(tracem)2
18、其中,det m为特征值的乘积,即det m=λ1λ2=ab-c2,trace m为特征值的和,即trace m=λ1+λ2=a+b,k为经验参数;
19、选取响应值r最大的像素点,设置自适应阈值t,该阈值由最大值rmax的α倍决定,即:
20、t=α×rmax
21、式中,α为小于1的常数,一般取值为0.01~0.025;依次将灰度图像的每个像素点与自适应阈值进行比较,对每个像素点以它为中心的窗口进行判断,若该像素点的响应值是这个窗口中的极大值,且大于自适应阈值t,则认为该像素点为角点。
22、进一步的,对于两个模型中提取的角点,使用暴力匹配的方法找出两个模型中相对应的角点,形成n个对应角点组,分别记为(p1i,p2i);在空间直角坐标系中标注出对应的角点位置以及角点坐标,记为(x1i,y1i,z1i)以及(x2i,y2i,z2i);计算实际扫描模型与建模后模型中对应角点之间的欧氏距离;将实际扫描模型与建模后模型中所有对应角点之间的欧氏距离di结合,得到建模后模型的空间位置评估指数sle,表达式为:
23、
24、其中,i表示第i个对应角点组。
25、具体的,使用建模软件分别对实际扫描模型与建模后模型的表面进行拆分,将拆分得到的曲面进行拉直操作,得到若干个拆分出的平面,并保留每个面上的特征;将若干个拆分出的面转化为图像文件,并将这些图像转换为灰度图像;
26、对于灰度化后的图像,按照水平方向和一倍像素大小的间隔,统计与指定方向、距离的邻居像素之间的灰度级别共生频数,这些共生频数将构成了灰度共生矩阵;灰度共生矩阵中的元素(a,b)的值表示了在图像中其中一个像素的灰度值为a,另一个像素的灰度值为b,并且相邻距离为d,方向为a的这样两个像素出现的次数;对共生矩阵进行归一化,得到共生概率矩阵p;根据得到的共生概率矩阵计算矩阵的特征,包括对比度con、能量asm以及熵ent。
27、进一步的,记实际扫描模型中每个面的对比度为con1j、能量为asm1j、熵为ent1j,建模后模型中每个面的对比度为con2j、能量为asm2j、熵为ent2j;基于相似度匹配算法对实际扫描模型与建模后模型中的面进行匹配,得到m个对应平面组;对每个平面组进行对比度差、能量差以及熵差的计算,并将m个对应平面组的对比度差、能量差以及熵差结合得到建模后模型的纹理评估指数te,表达式为:
28、
29、其中,j表示第j个对应平面组。
30、具体的,确定多个光照方向,并确保这些方向能够全面覆盖模型;在每个选定的光照方向下,为实际扫描模型和建模后模型配置相同的光源类型和属性;
31、对每个模型在每个光照方向下进行渲染,仅保留阴影信息,生成阴影图像;将阴影图像转换为二值图像,即图像中的每个像素点非黑即白;将相同光照方向下实际扫描模型和建模后模型的阴影图像在水平和垂直方向上对齐,并进行重叠;对两个二值化的阴影图像进行逻辑与操作,生成一个新的二值图像,其中只有在两个原始图像中都为黑色的像素点才会在新图像中显示为黑色;这个新图像表示了两个阴影图像的重叠区域。
32、进一步的,统计逻辑与操作结果后图像中黑色像素点的数量,根据每个像素点的尺寸将其转换为面积单位,这个面积表示两个阴影图像的重叠区域的面积s2k;将每个光照方向下的重叠区域面积分别跟对应方向下实际扫描模型的阴影区域面积s1k结合,得到每个方向下两个模型阴影图像的重叠率ork,表达式为:
33、
34、其中,k表示第k个光照方向;
35、将所有光照方向下的重叠率ork进行汇总并结合,得到建模后模型的阴影评估指数sef,表达式为:其中,l表示不同光照方向的总数。
36、进一步的,将建模后模型的空间位置评估指数sle、纹理评估指数te以及阴影评估指数sef结合,得到建模后模型的综合评估分数score,表达式为:
37、score=100[1-(β1*sle+β2*te+β3*sef)]
38、其中,β1、β2、β3分别为空间位置评估指数sle、纹理评估指数te以及阴影评估指数sef的预设权重系数,且1>β1>β3>β2>0,β1+β2+β3=1;
39、将计算出的建模后模型的综合评估分数score与预设的建模评估表进行比较,具体为:
40、当95≤score≤100时,建模后模型的建模等级为a,表示该建模后模型的完成质量高,能够直接用于对应的应用场景中;
41、当80≤score<95时,建模后模型的建模等级为b,代表该建模后模型的完成质量一般,需要对该模型的空间位置、纹理以及阴影进行进一步的检测与优化;
42、当score<80时,建模后模型的建模等级为c,表示该建模后模型的完成质量低,需要对该模型进行重新建模。
43、基于多模态融合的三维建模评估系统,包括:
44、空间位置评估模块,将实际扫描模型与建模后模型放入同一个空间直角坐标系中;基于改进的harris算法分别提取出实际扫描模型与建模后模型的角点;根据每个角点的空间坐标计算实际扫描模型与建模后模型中对应角点之间的欧氏距离;将所有角点之间的欧氏距离结合得到建模后模型的空间位置评估指数sle;
45、纹理评估模块,对实际扫描模型与建模后模型进行面的拆分;基于灰度共生矩阵算法计算对比度con、能量asm以及熵ent,进一步计算实际扫描模型与建模后模型中对应面的对比度差、能量差以及熵差;将实际扫描模型与建模后模型中所有面的对比度差、能量差以及熵差结合得到建模后模型的纹理评估指数te;
46、阴影评估模块,分别从多个方向对实际扫描模型与建模后模型进行光照模拟,获取每个光照方向下两个模型的阴影图像,并将相同光照方向下两个模型的阴影图像重叠,通过分析重叠阴影区域面积得到每个光照方向下两个模型阴影图像的重叠率ork;将所有光照方向下两个模型阴影图像的重叠率ork结合得到建模后模型的阴影评估指数sef;
47、综合评估模块,将建模后模型的空间位置评估指数sle、纹理评估指数te以及阴影评估指数sef结合,得到建模后模型的综合评估分数score;将建模后模型的综合评估分数score与预设的建模评估表进行比较,判断建模后模型的建模等级并进行后续操作的选择。
48、(三)有益效果
49、本发明提供了基于多模态融合的三维建模评估系统及方法,具备以下有益效果:
50、1、通过将实际扫描模型与建模后模型放入同一个空间直角坐标系,并以实际扫描模型的重心为坐标原点,确保了评估的一致性和准确性;利用改进的harris算法提取角点,不仅考虑了模型的多方向特征,还通过自适应阈值筛选角点,减少了人为设置阈值产生的误差,提高了角点检测的准确性和鲁棒性;通过计算对应角点之间的欧氏距离,并结合所有对应角点的距离得到空间位置评估指数,这能够全面、客观地评估建模后模型在空间位置上的准确性和一致性,为三维建模的质量控制和优化提供了有力的支持;
51、2、通过精细地对实际扫描模型与建模后模型进行面的拆分,并构建每个面的灰度共生矩阵,该方法能够全面捕捉并量化模型表面的纹理特征;通过对共生概率矩阵的特征运算,提取对比度、能量和熵等关键指标,有效评估了模型表面纹理的清晰度、粗细度和复杂度;通过计算实际扫描模型与建模后模型之间的对比度差、能量差和熵差,并结合所有面的差异得到纹理评估指数,这不仅有助于识别建模过程中的纹理失真和缺陷,还为优化建模策略、提升建模质量提供了有力支持;
52、3、通过对实际扫描模型与建模后模型进行全方位的光照模拟,并比较两者在不同光照方向下的阴影图像,该方法不仅全面考虑了光照对模型阴影的影响,还通过计算阴影图像的重叠率来量化建模的准确性;通过综合所有光照方向下的重叠率得到阴影评估指数,该方法还提供了一个综合性的评估指标,有助于更全面地了解模型在不同光照条件下的表现;
53、4、综合考量了建模后模型的空间位置、纹理和阴影等多个关键要素,通过预设权重系数将这些要素的评估指数结合起来,得到一个全面、客观的综合评估分数;这一分数能够准确反映建模后模型的整体质量,通过与预设的建模评估表进行比较,可以快速、准确地判断模型的建模等级,从而为后续操作提供明确的指导。
1.基于多模态融合的三维建模评估方法,其特征在于:包括:
2.如权利要求1所述的基于多模态融合的三维建模评估方法,其特征在于:
3.如权利要求2所述的基于多模态融合的三维建模评估方法,其特征在于:基于改进的harris算法分别提取出实际扫描模型与建模后模型的角点,具体包括:
4.如权利要求3所述的基于多模态融合的三维建模评估方法,其特征在于:
5.如权利要求4所述的基于多模态融合的三维建模评估方法,其特征在于:
6.如权利要求5所述的基于多模态融合的三维建模评估方法,其特征在于:
7.如权利要求6所述的基于多模态融合的三维建模评估方法,其特征在于:
8.如权利要求7所述的基于多模态融合的三维建模评估方法,其特征在于:
9.如权利要求8所述的基于多模态融合的三维建模评估方法,其特征在于:
10.基于多模态融合的三维建模评估系统,其特征在于,包括: