本公开涉及医疗器械，具体而言，涉及一种视觉补偿方法、装置、电子设备及存储介质。
背景技术：
1、随着机器人技术的发展，医疗机器人在临床应用中越来越广泛。其中，腹腔镜手术机器人通过介入治疗的方式减轻医生的劳动强度，加快患者的术后恢复。优秀的手术器械可以帮助医生完成更复杂的手术操作。因此，安全高效的手术器械是一台手术获得成功的重要因素之一。
2、目前，腹腔镜手术机器人在手术过程中通常选择单个内窥镜采集图像进行视觉定位。一方面，单个内窥镜在手术过程中由于光学的限制以及设备分辨率的不足，导致无法采集到高质量的图像。腔内采集图像易受照明以及视野的不足影响，容易导致目标病灶的遗漏以及识别精度的降低。并且内窥镜在运动过程中易受其他器械的遮挡干扰会影响医生对于病灶的定位以及控制精度。另一方面，现有腹腔镜手术机器人的内窥镜视觉补偿算法大多基于如sift等传统特征点检测匹配算法。这类算法对特征点的检测具有较高要求，并且在面对手术过程中复杂的遮挡环境下，无法有效重建出高质量的深度图进行视觉补偿。
技术实现思路
1、本公开实施例至少提供一种视觉补偿方法、装置、电子设备及存储介质，可以提升内窥镜在受到遮挡时的视觉补偿效果。
2、本公开实施例提供了一种视觉补偿方法，应用于主轴外径上设置有多个内窥镜的手术器械，所述方法包括：
3、在所述手术器械的运动过程中，获取不同角度所述内窥镜采集到的存在遮挡的第一图像以及不存在遮挡的第二图像；
4、将不同曝光级别的所述第一图像构建为第一图像序列，并输入至预设第一视觉特征提取网络，确定所述第一图像序列对应的双目视觉图像特征；
5、将不同曝光级别的所述第二图像构建为第二图像序列，并输入至预设第二视觉特征提取网络，确定包括补充图像特征以及对应位置信息的目标补充特征；
6、将所述双目视觉图像特征与所述目标补充特征融合生成目标融合特征，并根据所述目标融合特征确定目标深度图，根据所述目标深度图恢复所述第一图像中的遮挡区域。
7、一种可选的实施方式中，所述方法还包括：
8、获取所述内窥镜对应的相机标定参数；
9、根据所述相机标定参数构建每个所述内窥镜对应的校正旋转矩阵，并根据所述校正旋转矩阵校正位于不同角度的所述内窥镜拍摄图像时产生的角度畸变。
10、一种可选的实施方式中，将不同曝光级别的所述第一图像构建为第一图像序列，并输入至预设第一视觉特征提取网络，确定所述第一图像序列对应的双目视觉图像特征，具体包括：
11、将所述第一图像划分为双目视觉场景下的左视图像与右视图像；
12、将不同曝光级别的所述左视图像与所述右视图像分别构建为左视图像序列以及右视图像序列，以所述左视图像序列以及所述右视图像序列作为所述第一图像序列；
13、将所述第一图像序列输入至所述预设第一视觉特征提取网络中，通过预设第一特征提取器进行下采样，提取所述第一图像序列对应的初步特征信息，并通过预设混合注意力模块以提高特征提取能力；
14、将所述初步特征信息输入至预设多尺度特征提取器，通过不同膨胀率、不同尺寸的卷积核进行卷积处理，确定多尺度的所述双目视觉图像特征。
15、一种可选的实施方式中，将不同曝光级别的所述第二图像构建为第二图像序列，并输入至预设第二视觉特征提取网络，确定包括补充图像特征以及对应位置信息的目标补充特征，具体包括：
16、将所述第二图像序列依次输入至所述预设第二视觉特征提取网络中，通过预设补充特征提取器中不同大小的池化层，压缩每幅所述第二图像的图像特征至多个尺度并进行通道拼接后确定所述补充图像特征；
17、针对所述第二图像序列中的每幅所述第二图像，确定该第二图像对应所述补充图像特征的位置关系特征向量；
18、逐个叠加每幅所述第二图像对应的所述位置关系特征向量并进行池化操作，确定所述位置信息；
19、将所述补充图像特征与所述位置信息进行通道拼接，确定所述目标补充特征。
20、一种可选的实施方式中，在获取不同角度所述内窥镜采集到的存在遮挡的第一图像以及不存在遮挡的第二图像之后，所述方法还包括：
21、针对所述第一图像与所述第二图像进行预处理，其中，所述预处理过程至少包括滤波去噪、直方图均衡化以及对比度增强。
22、一种可选的实施方式中，根据所述相机标定参数构建每个所述内窥镜对应的校正旋转矩阵，并根据所述校正旋转矩阵校正位于不同角度的所述内窥镜拍摄图像时产生的角度畸变，具体包括：
23、根据所述相机标定参数中的旋转矩阵与平移向量，分别构建所述内窥镜在三维坐标轴方向上，对应每个轴的旋转向量；
24、根据每个轴的所述旋转向量构建所述校正旋转矩阵；
25、针对每个所述内窥镜，根据该内窥镜对应的所述旋转矩阵以及所述校正旋转矩阵，确定所述内窥镜对应的更新旋转矩阵；
26、根据所述更新旋转矩阵针对所述内窥镜拍摄的图像进行极线校正计算，以校正所述角度畸变。
27、一种可选的实施方式中，将所述双目视觉图像特征与所述目标补充特征融合生成目标融合特征，并根据所述目标融合特征确定目标深度图，具体包括：
28、将所述双目视觉图像特征与所述目标补充特征进行通道拼接，确定所述目标融合特征；
29、针对所述目标融合特征进行上采样卷积操作，确定所述目标深度图。
30、本公开实施例还提供一种视觉补偿装置，应用于主轴外径上设置有多个内窥镜的手术器械，所述装置包括：
31、图像采集模块，用于在所述手术器械的运动过程中，获取不同角度所述内窥镜采集到的存在遮挡的第一图像以及不存在遮挡的第二图像；
32、双目视觉图像特征提取模块，用于将不同曝光级别的所述第一图像构建为第一图像序列，并输入至预设第一视觉特征提取网络，确定所述第一图像序列对应的双目视觉图像特征；
33、目标补充特征提取模块，用于将不同曝光级别的所述第二图像构建为第二图像序列，并输入至预设第二视觉特征提取网络，确定包括补充图像特征以及对应位置信息的目标补充特征；
34、遮挡区域恢复模块，用于将所述双目视觉图像特征与所述目标补充特征融合生成目标融合特征，并根据所述目标融合特征确定目标深度图，根据所述目标深度图恢复所述第一图像中的遮挡区域。
35、本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述视觉补偿方法，或上述视觉补偿方法中任一种可能的实施方式中的步骤。
36、本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述视觉补偿方法，或上述视觉补偿方法中任一种可能的实施方式中的步骤。
37、本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序、指令被处理器执行时实现上述视觉补偿方法，或上述视觉补偿方法中任一种可能的实施方式中的步骤。
38、本公开实施例提供的一种视觉补偿方法、装置、电子设备及存储介质，应用于主轴外径上设置有多个内窥镜的手术器械，通过在所述手术器械的运动过程中，获取不同角度所述内窥镜采集到的存在遮挡的第一图像以及不存在遮挡的第二图像；将不同曝光级别的所述第一图像构建为第一图像序列，并输入至预设第一视觉特征提取网络，确定所述第一图像序列对应的双目视觉图像特征；将不同曝光级别的所述第二图像构建为第二图像序列，并输入至预设第二视觉特征提取网络，确定包括补充图像特征以及对应位置信息的目标补充特征；将所述双目视觉图像特征与所述目标补充特征融合生成目标融合特征，并根据所述目标融合特征确定目标深度图，根据所述目标深度图恢复所述第一图像中的遮挡区域。可以提升内窥镜在受到遮挡时的视觉补偿效果。
39、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
1.一种视觉补偿方法，其特征在于，应用于主轴外径上设置有多个内窥镜的手术器械，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，将不同曝光级别的所述第一图像构建为第一图像序列，并输入至预设第一视觉特征提取网络，确定所述第一图像序列对应的双目视觉图像特征，具体包括：
4.根据权利要求1所述的方法，其特征在于，将不同曝光级别的所述第二图像构建为第二图像序列，并输入至预设第二视觉特征提取网络，确定包括补充图像特征以及对应位置信息的目标补充特征，具体包括：
5.根据权利要求1所述的方法，其特征在于，在获取不同角度所述内窥镜采集到的存在遮挡的第一图像以及不存在遮挡的第二图像之后，所述方法还包括：
6.根据权利要求2所述的方法，其特征在于，根据所述相机标定参数构建每个所述内窥镜对应的校正旋转矩阵，并根据所述校正旋转矩阵校正位于不同角度的所述内窥镜拍摄图像时产生的角度畸变，具体包括：
7.根据权利要求1所述的方法，其特征在于，将所述双目视觉图像特征与所述目标补充特征融合生成目标融合特征，并根据所述目标融合特征确定目标深度图，具体包括：
8.一种视觉补偿装置，其特征在于，应用于主轴外径上设置有多个内窥镜的手术器械，所述装置包括：
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述的视觉补偿方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7中任一项所述的视觉补偿方法的步骤。
