本申请涉及图像处理,尤其涉及一种图像处理方法、图像处理设备、存储介质及计算机产品。
背景技术:
1、深度神经网络在计算机视觉任务中取得了显著的成功,高性能高可靠性的视觉神经网络模型性能表现往往与大量有标签注释数据可用有着强相关性,在机房设备目标检测任务中,这种情况更为凸显。但是,大量的移动机房网络设备存在保密性和难进入等特点,无法获得大量移动机房网络设备场景的真实图片,此外标注数据需要额外的成本。因此,通过少量样本图像实现目标检测是亟待解决的问题。
技术实现思路
1、本申请实施例提供一种图像处理方法、图像处理设备、存储介质及计算机产品。
2、本申请实施例的技术方案是这样实现的:
3、本申请实施例提供了一种图像处理方法,该方法包括:
4、获取第一图像和第二图像,所述第二图像为待检测图像,所述第一图像为检测所述第二图像时所用的参考图像;
5、利用特征提取网络模型对所述第一图像进行特征提取,得到第一初始特征;
6、利用所述特征提取网络模型对所述第二图像进行特征提取,得到第二初始特征;
7、利用自注意力模型对所述第一初始特征进行增强,得到增强后的全局特征;
8、利用特征融合模型对所述第一初始特征和所述第二初始特征进行特征融合,得到融合特征;
9、利用区域提取模型对所述融合特征进行区域提取,得到区域特征;
10、利用关系网络模型对所述全局特征和所述区域特征进行匹配,得到匹配结果。
11、上述方案中,所述利用特征提取网络模型对所述第一图像进行特征提取,得到第一初始特征,包括:
12、将所述第一图像输入特征提取网络模型的卷积层,得到卷积处理后的第一特征;
13、将所述第一特征输入多个深度可分离卷积层,得到所述第一初始特征。
14、上述方案中,所述利用所述特征提取网络模型对所述第二图像进行特征提取,得到第二初始特征,包括:
15、将所述第二图像输入特征提取网络模型的卷积层,得到卷积处理后的第二特征;
16、将所述第二特征输入多个深度可分离卷积层,得到所述第二初始特征。
17、上述方案中,所述深度可分离卷积层由分组卷积和标准卷积组成,所述分组卷积用于学习特征,所述标准卷积用于调整维度。
18、上述方案中,所述利用特征融合模型对所述第一初始特征和所述第二初始特征进行特征融合,得到融合特征,包括:
19、将所述第一初始特征输入特征融合模型的第一分支网络,得到第一深层特征图;
20、将所述第二初始特征输入特征融合模型的第二分支网络,得到第二深层特征图;
21、将所述第二初始特征输入特征融合模型的第三分支网络,得到第三深层特征图;
22、对所述第一深层特征图、所述第二深层特征图和所述第三深层特征图进行加法融合,得到融合后的特征图;
23、利用激活函数对所述融合后的特征图进行处理,得到处理后的特征;
24、对所述处理后的特征和所述第二初始特征进行乘法融合,形成所述融合特征。
25、上述方案中,所述利用自注意力模型对所述第一初始特征进行增强,得到增强后的全局特征,包括:
26、将所述第一初始特征输入所述自注意力模型的卷积层,得到映射后的特征;
27、将所述映射后的特征输入所述自注意力模型的空间平均池化层,得到标量值;
28、将所述标量值输入所述自注意力模型的全连接层,得到所述第一初始特征中不同空间位置的权重;
29、将所述不同空间位置的权重输入所述自注意力模型的归一化层,得到所述第一初始特征中重标定的每个位置的权重;
30、对所述第一初始特征中不同空间位置的权重进行重标定操作,得到调整后的第一初始特征;
31、对所述调整后的第一初始特征和所述第一初始特征进行乘法融合,得到所述增强后的全局特征。
32、上述方案中,所述利用区域提取模型对所述融合特征进行区域提取,得到区域特征,包括:
33、对所述融合特征和所述第一初始特征进行卷积处理,得到增强特征;
34、利用所述区域提取模型对所述增强特征进行区域提取,得到所述区域特征。
35、一种图像处理设备,包括:第一通信接口和第一处理器;其中,所述第一处理器,用于获取第一图像和第二图像,所述第二图像为待检测图像,所述第一图像为检测所述第二图像时所用的参考图像;
36、利用特征提取网络模型对所述第一图像进行特征提取,得到第一初始特征;
37、利用所述特征提取网络模型对所述第二图像进行特征提取,得到第二初始特征;
38、利用自注意力模型对所述第一初始特征进行增强,得到增强后的全局特征;
39、利用特征融合模型对所述第一初始特征和所述第二初始特征进行特征融合,得到融合特征;
40、利用区域提取模型对所述融合特征进行区域提取,得到区域特征;
41、利用关系网络模型对所述全局特征和所述区域特征进行匹配,得到匹配结果。
42、本申请实施例还提供了一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一方法的步骤。
43、本申请实施例还提供了一种计算机产品,包括计算机程序,所述计算机程序被处理器执行时实现上述任一方法的步骤。
44、本申请实施例提供的一种图像处理方法、图像处理设备、存储介质及计算机产品,该方法包括:获取第一图像和第二图像,第二图像为待检测图像,第一图像为检测第二图像时所用的参考图像;利用特征提取网络模型对第一图像进行特征提取,得到第一初始特征;利用特征提取网络模型对第二图像进行特征提取,得到第二初始特征;利用自注意力模型对第一初始特征进行增强,得到增强后的全局特征;利用特征融合模型对第一初始特征和第二初始特征进行特征融合,得到融合特征;利用区域提取模型对融合特征进行区域提取,得到区域特征;利用关系网络模型对全局特征和区域特征进行匹配,得到匹配结果;即使只有少数样本可用,通过上述网络模型仍然能够利用第一图像对第二图像进行准确地识别和定位,如此,本申请可以通过少量样本图像实现目标检测。
1.一种图像处理方法,其特征在于,包括:
2.根据权利要求1的方法,其特征在于,所述利用特征提取网络模型对所述第一图像进行特征提取,得到第一初始特征,包括:
3.根据权利要求1的方法,其特征在于,所述利用所述特征提取网络模型对所述第二图像进行特征提取,得到第二初始特征,包括:
4.根据权利要求2或3的方法,其特征在于,所述深度可分离卷积层由分组卷积和标准卷积组成,所述分组卷积用于学习特征,所述标准卷积用于调整维度。
5.根据权利要求1的方法,其特征在于,所述利用特征融合模型对所述第一初始特征和所述第二初始特征进行特征融合,得到融合特征,包括:
6.根据权利要求1的方法,其特征在于,所述利用自注意力模型对所述第一初始特征进行增强,得到增强后的全局特征,包括:
7.根据权利要求1的方法,其特征在于,所述利用区域提取模型对所述融合特征进行区域提取,得到区域特征,包括:
8.一种图像处理设备,其特征在于,包括:第一通信接口和第一处理器;其中,
9.一种存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现权利要求1至7任一项方法的步骤。
10.一种计算机产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项方法的步骤。