本发明涉及图像处理领域，具体是图像数据融合及着色增强处理方法。
背景技术：
1、当前，许多口腔cbct（cone beam computed tomography）设备配备了相机用于辅助定位，最典型的应用例子是planmeca proface相片。这些设备中的相机主要用于捕捉患者的正侧位面部图像，以帮助医生进行初步的定位和诊断。这种方法虽提供了一定的辅助功能，但其实际应用潜力尚未得到全面开发和利用。
2、具体问题和不足之处如下：
3、1．功能局限性
4、目前，口腔cbct设备中的相机主要用于辅助定位，这种功能虽然有助于进行面部图像与ct数据的初步配对，但其应用范围相对狭窄。相机的主要作用是提供一个二维的面部影像，这种影像通常用于帮助医生在cbct扫描前确定患者的具体位置和角度。虽然这种辅助功能在某些情况下可以提高定位的准确性，但它并未发挥出相机与ct技术结合的全部潜力。
5、2．未充分利用相机和ct技术的综合优势
6、目前的应用中，相机和ct成像技术被视为两个独立的系统，其结合并未得到深入挖掘。相机获取的面部图像和ct成像获取的骨骼数据通常分别处理，缺乏有效的融合和综合利用。这意味着，虽然相机可以提供面部的详细信息，但与ct图像的整合和应用仍然存在局限，未能实现数据的全面综合分析和使用。
7、3．设备功能的潜力未被挖掘
8、现有的配置主要利用相机的辅助定位功能，而忽略了相机与ct技术结合后可能带来的更多应用优势。相机和ct技术的深度融合可以实现更复杂的数据处理和分析，例如同时进行面部扫描和ct成像，并将二者的数据进行精确配对和融合。这样不仅可以提高面部与骨骼数据的匹配精度，还能在同一设备上获得更多维度的信息，从而提升临床诊断和治疗的综合效果。
9、4．实际应用的局限
10、由于现有设备的功能和应用相对有限，许多潜在的临床应用场景未能得到充分开发。例如，面部扫描数据可以与ct影像结合，实现更精准的面部表面重建、术前规划和术后评估。这些高级应用要求设备不仅能独立进行ct成像和面部扫描，还需能够高效整合和处理这两种数据。现有的相机配置未能提供这种综合能力，限制了设备的应用价值和临床效果。
技术实现思路
1、本发明的目的在于提供图像数据融合及着色增强处理方法，以解决上述问题。
2、为实现上述目的，本发明提供如下技术方案：
3、图像数据融合及着色增强处理方法，获取面部数据，将通过ct模式进行扫描以获取面部的详细解剖数据，同时使用高清相机获取rgbd图像数据；数据重建，将对ct扫描数据进行重建以获得详细的断层图像，同时利用高清相机采集的rgbd数据进行表面重建，最终生成面部的三维点云数据；表面着色处理，将重建后的ct数据和面部点云数据进行表面着色处理，生成最终的三维图像，其中表面着色处理的具体方法步骤为：三维立方体包围，使用tsdf算法将目标表面用三维立方体包围，并根据所需的重建精度，将立方体分隔成若干个体积像素阵列，体素用于进一步的表面构建和处理；深度图打分，对每一张深度图中的每个体素进行打分，通过综合不同视角的深度数据，确定最准确的表面位置，最终构建出面部的精细表面结构；表面着色，基于重建的ct数据对最终的体素阵列进行着色处理。
4、作为本发明进一步的方案：获取面部数据包括以下步骤：获取ct模式扫描的面部数据，其中，该步骤包括通过口腔cbct设备的ct扫描模块对患者的面部进行扫描，以获取具有三维立体结构的面部ct数据，该面部ct数据包含骨骼结构和软组织的细节信息；获取高清相机拍摄的rgbd图像数据，其中，该步骤包括通过集成在所述口腔cbct设备上的高清相机对患者面部进行拍摄，以获取带有深度信息的rgbd图像数据，该rgbd图像数据包含面部表面的纹理、颜色及深度信息。
5、作为本发明进一步的方案：所述的获取ct模式扫描的面部数据包括以下步骤：患者准备与定位，确保患者在扫描床上准确定位，扫描参数选择：根据患者的具体情况，如面部特征、病史和扫描需求，选择合适的扫描参数；扫描数据采集，在开始扫描前，确保所有设置均已正确配置，扫描过程中，x射线管和探测器环绕患者进行旋转，以多角度采集面部的断层数据，信号采集与转换：探测器接收穿透人体后的x射线信号，并将信号转化为电信号后传送到计算机，生成初步的投影数据；数据存储，所有采集到的原始数据将被安全存储在系统中，以便后续的图像重建和分析使用。
6、作为本发明进一步的方案：所述的获取高清相机拍摄的rgbd图像数据包括以下步骤：运动轨迹设定，根据具体应用场景或任务要求，规划高清相机的运动轨迹，该轨迹包括是直线、曲线或复杂路径，并通过控制器或专用软件进行精确设定，以确保数据采集的覆盖面和一致性；高清相机校准，在开始拍摄之前，对高清相机进行全面校准，包括调整相机的焦距、曝光时间和深度传感器的灵敏度参数，获取高质量的图像数据；数据采集，随着高清相机沿预设轨迹运动，实时捕捉rgbd图像，图像不仅包括传统的rgb颜色信息，还包括一个深度通道，从而描述场景中每个物体到相机的距离。
7、作为本发明进一步的方案：数据重建包括以下步骤：重建ct数据，其中，该步骤包括利用三维重建算法对获取的面部ct扫描数据进行处理，生成三维立体模型，该模型详细描述了面部内部结构，包括骨骼和软组织的分布情况；表面重建rgbd图像数据，其中，该步骤包括通过使用深度图像重建技术对获取的rgbd图像数据进行处理，生成面部外部表面的三维模型，该模型包括面部皮肤的纹理、颜色信息以及对应的深度数据。
8、作为本发明进一步的方案：重建ct数据包括以下步骤：
9、ct数据预处理：对采集到的原始ct数据进行必要的校正，如射线硬化校正、探测器响应校正等，以消除可能的伪影和失真，确保数据的准确，将时间域内的投影数据转换为空间域内的图像数据。
10、图像重建，使用先进的重建算法将校正后的投影数据重建为高分辨率的断层图像，对重建后的图像进行进一步处理，如噪声去除、对比度增强和边缘锐化，提升图像质量和可视化效果。
11、作为本发明进一步的方案：表面重建rgbd图像数据包括以下步骤：
12、坐标系一致性重建，在重建高清相机的表面数据时，使用与ct数据相同的坐标系；
13、tsdf算法应用，使用tsdf算法对rgbd数据进行表面重建，通过计算三维空间中的隐式表面，生成面部的三维点云数据，描述面部的外部形态。
14、数据集成显示，将重建后的面扫数据与ct数据整合在同一个软件中进行显示，调整面扫数据的透明度。
15、作为本发明进一步的方案：所述的深度图打分包括以下的步骤：
16、初始化所有标记体素，初始化所有体素的标记值为1，表示所有体素在初始状态下都是待处理的；标记体素为1意味着体素将参与到后续的深度图数据处理和打分中；
17、初始化权重体素，初始化权重体素；权重体素 w 用于计算每个体素的加权平均，以融合来自不同视角的数据；
18、初始化体素颜色，初始化体素的颜色rgb为全0（黑色）；为体素着色准备初始状态；
19、处理每张深度图像；
20、确定最佳表面处理结果，最终体素的数据将呈现出类似于目标表面的分布；tsdf值接近0的区域代表表面的位置，确定最佳表面位置，即tsdf值为0的位置；
21、表面提取，使用提取算法从体素网格中提取表面网格，从体素网格中生成可视化的三维表面模型，展示最终的重建结果。
22、作为本发明进一步的方案：所述的处理每张深度图像的步骤如下：
23、遍历每个体素，进行如下计算和更新：计算体素的投影位置：
24、计算体素p在深度图像上的投影位置；获取体素在深度图像中的对应点的位置；
25、获得投影位置的颜色：从深度图像中获得投影位置的颜色rgb(p),如果该体素在深度图中没有对应点，则跳过该体素，提取体素在深度图像中的颜色信息；
26、获得深度值：获取深度图像中点p投影位置的深度值ds；提取深度图中的深度信息；
27、计算体素到相机的深度：计算体素p到相机的实际深度值dv；获取体素在三维空间中的深度信息；
28、计算体素 p 到目标表面的sdf值，用于衡量体素到实际表面的距离；
29、
30、计算截断的带符号距离函数tsdf，将sdf值截断到 [-1, 1] 范围内，以适应tsdf的需求，t控制截断的范围：
31、
32、其中，参数：t是预设的阈值，用于截断 sdf 值；
33、计算权重：计算体素的权重，通常考虑视角和深度，较近的体素和更正面的视角会有更高的权重；
34、
35、其中，参数：θ是体素视角与相机的夹角，是体素到相机的实际深度值；
36、融合tsdf和颜色数据：使用加权平均方法融合当前体素的tsdf和颜色数据，同时更新体素的权重值；融合公式将考虑历史数据和新数据，提高最终重建的精度：
37、
38、
39、。
40、作为本发明进一步的方案：基于重建的ct数据对最终的体素阵列进行着色处理包括以下的步骤：
41、对ct重建体素进行阈值分隔,阈值分隔：根据体素值将体素分为空气部分和非空气部分。空气部分的体素标记为1，非空气部分的体素标记为-1；
42、三维高斯滤波处理，体素标记处理：对标记后的ct体素数据进行三维高斯滤波，以平滑体素数据并去除噪声；处理后的体素数据作为初始tsdf标记；
43、初始化权重体素，初始化权重体素w：定义权重体素集合，其中是一个可调节的权重参数；
44、初始化体素颜色，初始化颜色rgb：所有体素的初始颜色设为全0（黑色）；
45、处理深度图像，遍历每张深度图像；
46、确定最佳表面位置和颜色，确定最佳表面位置：经过处理，1到-1的过渡带中心（0分隔带）即为最佳的表面位置。该位置的颜色由对应的rgb体素值决定。
47、作为本发明进一步的方案：处理深度图像包括以下的步骤：
48、计算投影位置：计算该体素p在深度图像上的投影位置，获取该投影位置的颜色rgb(p)，如果该位置没有颜色信息，则跳过该体素；
49、获取深度值：获取深度图像上p点的投影位置的深度值；
50、计算体素深度：计算体素p到相机的深度dv；
51、计算sdf值：计算体素p对应的sdf值：；
52、计算tsdf值：计算体素p的tsdf值：
53、
54、其中，t是预设的阈值；
55、计算当前体素的权重：
56、
57、其中，是体素在深度图像中的视角角度；
58、融合tsdf和颜色：将当前tsdf值和颜色与历史tsdf值进行融合,融合公式如下：
59、
60、
61、。
62、与现有技术相比，本发明的有益效果是：
63、tsdf算法初始参数的精准标记：通过ct重建结果标记tsdf算法的初始参数，有效提升了算法计算的精度，从而使得生成的3d模型更加准确，能够更好地反映患者的实际解剖结构。
64、丰富的患者诊断信息：本发明结合了ct成像和面部扫描技术，通过同时获取患者的内部结构和外部形态，提供了更全面的诊断数据。这种多维度的信息融合，能够帮助医生在诊断和治疗方案制定中更好地理解患者的情况，提升诊断的准确性。
65、高效的医患沟通：在ct和面扫同时混合拍摄的过程中，面扫结果可以作为ct数据的着色补充。这种直观的3d影像不仅能够更清晰地展示患者的病变部位，还能大幅提升医患沟通的效率，帮助患者更好地理解其病情和治疗方案。
66、增强的准确性和融合效果：通过ct重建结果标记tsdf算法的初始参数，在ct和面扫同时混合拍摄的情况下，不仅确保了算法的高准确性，还优化了面扫数据和ct数据的融合效果，使得最终生成的影像数据更为精细、可靠。
1.一种图像数据融合及着色增强处理方法，其特征在于，获取面部数据，将通过ct模式进行扫描以获取面部的详细解剖数据，同时使用高清相机获取rgbd图像数据；
2.根据权利要求1所述的图像数据融合及着色增强处理方法，其特征在于，获取面部数据包括以下步骤：
3.根据权利要求2所述的图像数据融合及着色增强处理方法，其特征在于，所述的获取ct模式扫描的面部数据包括以下步骤：
4.根据权利要求2所述的图像数据融合及着色增强处理方法，其特征在于，所述的获取高清相机拍摄的rgbd图像数据包括以下步骤：
5.根据权利要求1所述的图像数据融合及着色增强处理方法，其特征在于，数据重建包括以下步骤：
6.根据权利要求5所述的图像数据融合及着色增强处理方法，其特征在于，重建ct数据包括以下步骤：
7.根据权利要求5所述的图像数据融合及着色增强处理方法，其特征在于，表面重建rgbd图像数据包括以下步骤：
8.根据权利要求1所述的图像数据融合及着色增强处理方法，其特征在于，所述的深度图打分包括以下的步骤：
9.根据权利要求1所述的图像数据融合及着色增强处理方法，其特征在于，基于重建的ct数据对最终的体素阵列进行着色处理包括以下步骤：
