本申请涉及图像处理,尤其涉及一种显微图像三维成像方法、装置、电子设备及存储介质。
背景技术:
1、显微成像是一种应用广泛的光学仪器,通过光学系统的作用放大被观察的对象,对微观组织结构进行显示,通过图像采集设备获得显微镜下的视野图像。双通道光片显微镜对细胞核、质染色后进行双通道信号的获取,能够得到质、核信息的增强显示,并在不用进行手动切片病理的条件下,完成病理组织的三维成像。
2、现有技术中,在双通道显微成像后,需要基于3d成像算法对显微镜采集的2d切片图像进行配准、重建。例如,在用显微镜采集岩石薄片时,采集多个视场下的图像,对待拼接图像做灰度偏差校正、然后基于边缘特征阈值法提取特征,基于hausdorff距离法进行图像配准,最后基于小波框架融合多幅图像,完成2d维图像的拼接。
技术实现思路
1、为了克服现有技术的不足,本发明提供一种显微图像三维成像方法、装置、电子设备及存储介质,重建目标细胞的3d显示,以提高显微图像三维成像的精度。
2、本申请的第一方面提供一种显微图像三维成像方法,所述方法包括:
3、获取目标细胞的细胞核图像和细胞质图像;
4、对所述细胞核图像和所述细胞质图像进行细胞核质对齐处理,得到目标二维图像;
5、对所述目标二维图像进行三维转换和图像重建,得到初始三维图像;
6、对所述初始三维图像进行配准拼接处理,得到目标三维图像。
7、在一个可选的实施方式中,所述对所述初始三维图像进行配准拼接处理,得到目标三维图像包括:
8、获取第一图像集合中的至少前3个初始三维图像,得到第一子图像集合,及获取第二图像集合中的至少前3个初始三维图像,得到第二子图像集合;
9、确定所述第一子图像集合和所述第二子图像集合的第二配准参数;
10、确定所述第一子图像集合和所述第二子图像集合的拼接位置和融合宽度;
11、根据所述第二配准参数、所述拼接位置和所述融合宽度对所述第一子图像集合和所述第二子图像集合进行图像融合,得到所述目标三维图像。
12、在一个可选的实施方式中,所述确定所述第一子图像集合和所述第二子图像集合的第二配准参数包括:
13、对第一子图像和第二子图像进行粗配准处理,以确定所述第一子图像与所述第二子图像的图像重叠区域,所述第一子图像为所述第一子图像集合中的第一个初始三维图像,所述第二子图像为所述第二子图像集合中的第一个初始三维图像;
14、提取所述图像重叠区域的sift特征点,及对所述sift特征点进行特征点匹配,得到初始匹配点对;
15、剔除所述初始匹配点对中的错误匹配点,得到目标匹配点对;
16、根据所述目标匹配点对估计所述第二配准参数。
17、在一个可选的实施方式中,所述对所述细胞核图像和所述细胞质图像进行细胞核质对齐处理,得到目标二维图像包括:
18、对所述细胞核图像和所述细胞质图像进行关键特征提取;
19、对所述关键特征进行特征匹配,得到第一配准参数;
20、基于所述第一配准参数对所述细胞核图像和所述细胞质图像进行空间对齐,得到初始二维图像;
21、根据预设颜色查找表对所述初始二维图像进行伪彩色处理,得到所述目标二维图像。
22、在一个可选的实施方式中,所述根据预设颜色查找表对所述初始二维图像进行伪彩色处理,得到所述目标二维图像包括:
23、根据所述预设颜色查找表确定所述初始二维图像的r、g、b分量;
24、根据所述r、g、b分量对所述初始二维图像进行染色;确定染色后的所述初始二维图像中细胞核图像的第一权重值,及细胞质图像的第二权重值;
25、根据所述第一权重值和所述第二权重值对染色后的所述初始二维图像进行加权求和,得到实施目标二维图像。
26、在一个可选的实施方式中,所述对所述目标二维图像进行三维转换和图像重建,得到初始三维图像包括:
27、基于切变变换矩阵对对所述目标二维图像进行三维转换;
28、基于vtk第三方库对所述三维转换完成的所述目标二维图像进行图像重建,得到所述初始三维图像。
29、在一个可选的实施方式中,所述切变变换矩阵通过如下公式表示:
30、;
31、其中,m为所述切变变换矩阵。
32、本申请第二方面提供一种显微图像三维成像装置,所述装置包括:
33、图像获取模块,用于获取目标细胞的细胞核图像和细胞质图像;
34、对齐处理模块,用于对所述细胞核图像和所述细胞质图像进行细胞核质对齐处理,得到目标二维图像;
35、三维重建模块,用于对所述目标二维图像进行三维转换和图像重建,得到初始三维图像;
36、三维配准模块,用于对所述初始三维图像进行配准拼接处理,得到目标三维图像。
37、本申请第三方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述显微图像三维成像方法的步骤。
38、本申请第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述显微图像三维成像方法的步骤。
39、综上所述,本申请提供的显微图像三维成像方法、装置、电子设备及存储介质,首先获取细胞核和细胞质的图像,并通过关键特征提取和特征匹配技术,实现了细胞核与细胞质图像的高精度对齐,确保了后续三维成像中细胞结构的完整性和准确性,避免了因图像错位导致的结构扭曲或信息丢失;接着利用切变变换矩阵进行三维转换,并借助vtk第三方库进行图像重建,直接生成初始三维图像,提高了处理效率和成像质量;进一步通过粗配准、特征点匹配、错误匹配点剔除等步骤,精确确定了不同图像间的配准参数和拼接位置,实现了多图像的高效融合,减少了拼接缝隙和重影现象,提高了最终三维图像的连续性和一致性。
1.一种显微图像三维成像方法,其特征在于,所述方法包括:
2.根据权利要求1所述的显微图像三维成像方法,其特征在于,所述对所述初始三维图像进行配准拼接处理,得到目标三维图像包括:
3.根据权利要求2所述的显微图像三维成像方法,其特征在于,所述确定所述第一子图像集合和所述第二子图像集合的第二配准参数包括:
4.根据权利要求1所述的显微图像三维成像方法,其特征在于,所述对所述细胞核图像和所述细胞质图像进行细胞核质对齐处理,得到目标二维图像包括:
5.根据权利要求4所述的显微图像三维成像方法,其特征在于,所述根据预设颜色查找表对所述初始二维图像进行伪彩色处理,得到所述目标二维图像包括:
6.根据权利要求1所述的显微图像三维成像方法,其特征在于,所述对所述目标二维图像进行三维转换和图像重建,得到初始三维图像包括:
7.根据权利要求6所述的显微图像三维成像方法,其特征在于,所述切变变换矩阵通过如下公式表示:
8.一种显微图像三维成像装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的显微图像三维成像方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的显微图像三维成像方法的步骤。