本发明是关于一种基于深度学习的广域视网膜血管分割方法、装置、设备及介质，涉及视网膜血管分割领域。
背景技术：
1、视网膜血管分割（retinal vessel segmentation）技术旨在基于给定的视网膜图像，自动分割出其中的血管区域，以用于后续的血管特征计算、眼底健康状况分析等多种下游任务。
2、得益于深度学习技术在图像分割领域取得的巨大成功，研究人员尝试应用深度学习技术对视网膜图像进行血管分割。一些现有技术基于普通眼底彩照（color fundusphotography，cfp）构建深度学习模型进行视网膜血管分割。另一些现有技术基于配对的超广角图像（ultra-widefield fundus imaging,uwf）和荧光造影图像（fundus fluoresceinangiography, ffa），将ffa上的血管标注配准到uwf上，在uwf上构建血管分割模型。还有一些现有技术基于光学相干断层造影图像（optical coherence tomography angiography,octa）构建血管分割模型。上述方法均是针对单一视网膜影像模态构建深度学习模型，并且依赖于人工标注对模型进行训练。因此，将上述方法应用到不同视网膜影像模态时，需要针对每个影像模态提供大量人工标注和单独训练相应的深度学习模型，从而限制了上述方法的推广。因此，广域视网膜血管分割（broad-domain retinal vessel segmentation）即使用一个网络完成多种视网膜影像模态上的血管分割任务非常重要。
3、无监督域适应（unsupervised domain adaptation, uda）方法可以使得源域上训练的模型在目标域图像上有更好的表现，并且不需要目标域图像上的人工标注，但是会影响源域模型上的效果。提示学习（prompt learning）最初旨在通过提示（prompt）的添加，使得大语言模型可以适应于不同的下游任务。应用到广域视网膜血管分割上，通过对不同的视网膜影像模态赋予不同的提示，可以使得在提示中学习到不同模态的特性，而在网络其它部分学习到不同模态的共性，从而使用一个模型完成多种视网膜影像模态上的血管分割，同时减少多人工标注数据的需求。现有技术存在一些在图像分析领域的提示学习方法，一些现有技术使用单层卷积层作为提示，优化网络在下游任务上的效果。但是对于广域视网膜血管分割，单层卷积层并不足以表示不同的影像模态之间的差异。另外一些现有技术采用一个单独的分支网络学习不同模态图像的特征，作为提示进行特征融合。但是，该方法没有考虑到对于细小血管分割很重要的模态特异的局部特征。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，针对上述问题，本发明的目的是提供一种基于深度学习的广域视网膜血管分割方法、装置、设备及介质，能够基于一个卷积网络模型对不同视网膜影像模态进行血管分割。
2、为了实现上述发明目的，本发明采用的技术方案为：
3、第一方面，本发明提供一种基于深度学习的广域视网膜血管分割方法，该方法包括：
4、获取视网膜影像数据；
5、将视网膜影像数据输入广域视网膜血管分割模型，获得视网膜血管分割结果，其中，广域视网膜血管分割模型是在卷积神经网络中增加双流卷积提示模块进行实现。
6、一些可能的实施方式中，卷积神经网络采用unet类网络结构，在跳跃连接中增加双流卷积提示模块，其中， xt为unet类网络结构的输入图像，fi为unet类网络结构中对应编码模块的输出的特征图，同时也是双流卷积提示模块和下一层编码模块的输入，fit为对应的双流卷积提示模块的输出，z1t为对应的解码模块的输出，同时也是下一层解码模块的输入，其中，i=1,2,3,4,5。
7、一些可能的实施方式中，构建广域视网膜血管分割模型，包括：对于输入到双流卷积提示模块的尺度为c*h*w的特征图进行无重复的网格化拆分为c*h*w的特征图块，其中，c、h和w分别表示特征图的通道数、高和宽，h和w分别为拆分后的小特征图的高和宽；对于每个特征图块使用相同的随机初始化的、可学习的提示特征图学习不同图像模态特异特征；对于每个特征图块采用学习到提示特征图进行空间维度提示融合和通道维度提示融合；将空间维度提示融合和通道维度提示融合的结果直接相加，并和一层卷积进行融合获得广域视网膜血管分割模型。
8、一些可能的实施方式中，对于每个特征图块采用学习到提示特征图进行空间维度提示融，具体过程为：
9、将学习得到的某模态的提示特征图维度设置为c*h*w，h为设定的网络超参数；
10、将该提示特征图与特征图块在高度的维度拼接后形成c*(h+h)*w的特征图，并进行尺度为的降采样；
11、将降采样后的特征图沿着空间维度即高和宽展开后，得到长度为的序列；
12、将上述序列输入多头自注意力模块中进行特征交互，得到的输出将提示特征图对应部分去掉后进行重构，并对重构后的特征图进行上采样得到c*h*w维特征图。
13、一些可能的实施方式中，对于每个特征图块采用学习到提示特征图进行通道维度提示融合，包括：
14、将学习得到的某模态的提示特征图维度设置为c*h*w，h为设定的网络超参数；
15、将该提示特征图与特征图在通道维度拼接后，形成(c+c)*h*w的特征图；
16、沿通道维度展开为长度为c+c的序列；
17、将该序列输入到多头自注意力模块中进行特征交互，得到的输出将提示特征图对应的部分去掉后，重构为c*h*w维特征图。
18、一些可能的实施方式中，对构建的广域视网膜血管分割模型进行训练，得到训练好的广域视网膜血管分割模型，包括：
19、选择不同模态的视网膜影像数据和对应的血管分割标注，不同模态表示不同成像技术或相同成像技术下不同参数设备所拍摄图像；
20、设置优化策略、学习率参数；
21、将视网膜影像数据输入构建的广域视网膜血管分割模型得到视网膜血管分割预测结果，并将血管分割预测结果与血管分割标注进行对比和计算损失函数，通过反向传播优化网络参数，反复迭代训练获得广域视网膜血管分割模型。
22、第二方面，本发明还提供一种基于深度学习的广域视网膜血管分割装置，该装置包括：
23、影像获取单元，被配置为获取视网膜影像数据；
24、血管分割单元，将视网膜影像数据输入广域视网膜血管分割模型，获得视网膜血管分割结果，其中，广域视网膜血管分割模型是在卷积神经网络中增加双流卷积提示模块进行实现。
25、一些可能的实施方式中，卷积神经网络采用基于常用的unet类网络结构，在跳跃连接中增加双流卷积提示模块。
26、第三方面，本发明还提供一种电子设备，包括：
27、至少一个处理器；以及
28、与所述处理器通信连接的存储器；其中，
29、所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行任一项所述的方法。
30、第四方面，本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括计算机指令，所述计算机指令用于使计算机执行任一项所述的方法。
31、本发明由于采取以上技术方案，其具有以下特点：
32、1、相对于传统的针对每一种视网膜影像开发一个血管分割模型的方案，本发明基于一个广域视网膜血管分割模型，对不同视网膜影像模态进行血管分割，由于仅仅采用一个广域视网膜血管分割模型，节省了模型存储和运行时的开销。
33、2、本发明针对卷积网络设计双流卷积提示模块，从特征通道和空间两个维度同时对不同视网膜影像模态的特征进行提取和融合，解决了现有提示学习模型无法有效提取不同视网膜影像模态特异特征的问题。
34、3、本发明使用提示特征图学习模态特异的特征，其余网络部分学习模态共有的特征，因此，对于部分数据量较小的影像模态，可以利用到数据量多的影像模态上学习到的模态共有特征，提升数据量较小模态的分割效果。
35、4、本发明通过对特征图在空间维度进行网格化拆分，对拆分后的特征图使用相同的提示，从而提取平移不变的提示特征，使得提示可以更好地关注到模态特异的局部特征。
36、综上，本发明在多种不同眼底影像血管分割上均取得了领先的性能，可用于精确的眼底血管特征分析，从而对眼底以及全身健康状况进行分析，推动疾病的筛查与预防。同时基于分割的血管进行眼底影像配准，追踪病患眼底病情发展情况。综上，本发明具有较强的实用价值和推广应用价值，能够带米良好的经济和社会效益，可以广泛应用于广域视网膜血管分割中。
1.一种基于深度学习的广域视网膜血管分割方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于深度学习的广域视网膜血管分割方法，其特征在于，卷积神经网络采用unet类网络结构，在跳跃连接中增加双流卷积提示模块，其中，xt为unet类网络结构的输入图像，fi为unet类网络结构中对应编码模块的输出的特征图，同时也是双流卷积提示模块和下一层编码模块的输入，fit为对应的双流卷积提示模块的输出，z1t为对应的解码模块的输出，同时也是下一层解码模块的输入，其中，i=1,2,3,4,5。
3.根据权利要求2所述的基于深度学习的广域视网膜血管分割方法，其特征在于，构建广域视网膜血管分割模型，包括：
4.根据权利要求3所述的基于深度学习的广域视网膜血管分割方法，其特征在于，对于每个特征图块采用学习到提示特征图进行空间维度提示融，具体过程为：
5.根据权利要求3所述的基于深度学习的广域视网膜血管分割方法，其特征在于，对于每个特征图块采用学习到提示特征图进行通道维度提示融合，包括：
6.根据权利要求1所述的基于深度学习的广域视网膜血管分割方法，其特征在于，对构建的广域视网膜血管分割模型进行训练，得到训练好的广域视网膜血管分割模型，包括：
7.一种基于深度学习的广域视网膜血管分割装置，其特征在于，该装置包括：
8.根据权利要求7所述的基于深度学习的广域视网膜血管分割装置，其特征在于，卷积神经网络采用unet类网络结构，在跳跃连接中增加双流卷积提示模块。
9.一种电子设备，其特征在于，包括：
10.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括计算机指令，所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的方法。
