本发明涉及计算机点云分析和特征学习,特别是涉及一种面向点云场景分割的无参几何引导的测试时间适应方法。
背景技术:
1、随着深度学习的发展,使用神经网络进行点云识别越来越受到研究者的重视。虽然点云数据是无序无规则的,但得益于pointnet++提出使用ball query或者knn构建局部邻域,并使用对称的聚合函数提取局部特征,许多基于pointnet++的神经网络在多个点云识别任务如物体分类,场景分割,目标检测上均获得较高的性能。然而,这些方法通常要求实际应用或者测试的数据分布与训练的数据分布接近一致,否则将会导致性能大幅度下降,这被称为域偏移问题,其中训练数据被称为源域,而测试数据称为目标域,但这在实际应用中是难以保证源域和目标域是一致的。
2、为了解决这类域偏移问题,测试时间适应是一个实用的解决方案,其主要是针对已训练好的源域模型,在无标签的目标域上进行微调使得模型从源域迁移至目标域,提高性能。以前的方法主要通过引入简单的熵最小化损失以及伪标签来微调模型,然而这些方法通常在简单的图像分类任务上表现良好,当迁移到面向点云场景分割的应用场景时,通常会导致训练崩溃,性能反而大幅度下降的问题。由于3d场景非常复杂,导致源域与目标域的差异过大,因此以前简单的测试时间适应方法难以生效。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此,提出一种面向点云场景分割的无参几何引导的测试时间适应方法。鉴于无参几何能够较好捕获数据底层的流形信息,其能粗糙的表示目标域的分布信息,因此,将其作为中间域引导源域模型迁移至目标域,大大减少测试时间适应的难度,有效提升模型在目标域上的性能。
3、本发明的另一个目的在于提出一种面向点云场景分割的无参几何引导的测试时间适应系统。
4、为达上述目的,本发明一方面提出一种面向点云场景分割的无参几何引导的测试时间适应方法,包括:
5、获取同一点云场景的点云数据;
6、分别将所述点云数据输入至训练好的深度视觉模型和无参几何模型以对应提取源域特征和几何特征;
7、对所述源域特征和所述几何特征进行特征蒸馏损失计算,并基于特征蒸馏损失计算确定每个点的类别预测结果;
8、根据基于所述源域特征和所述几何特征的软投票策略修正伪标签,并将修正后的伪标签与所述类别预测结果进行交叉熵损失计算。
9、本发明实施例的面向点云场景分割的无参几何引导的测试时间适应方法还可以具有以下附加技术特征:
10、在本发明的一个实施例中,分别将所述点云数据输入至训练好的深度视觉模型和无参几何模型以对应提取源域特征和几何特征,包括:
11、将3d空间中的点云数据输入至训练好的深度视觉模型进行深度特征提取以得到多个点的源域特征;以及,
12、将3d空间中的点云数据输入至无参几何模型进行几何特征提取以输出多个点的几何特征。
13、在本发明的一个实施例中,基于特征蒸馏损失计算确定每个点的类别预测结果,包括:
14、基于特征蒸馏损失计算得到源域特征分布向几何特征分布靠近的特征分布靠近结果;
15、基于所述特征分布靠近结果将深度视觉模型输出的多个点的源域特征输入到分类器中,以输出得到多个点的类别预测结果。
16、在本发明的一个实施例中,根据基于所述源域特征和所述几何特征的软投票策略修正伪标签,包括:
17、基于源域特征和几何特征并通过knn算法分别为点云数据的每个点寻找多个邻域点;
18、将多个邻域点的标签预测结果进行平均,并将平均结果作为每个点对应的伪标签。
19、在本发明的一个实施例中,所述方法,还包括:
20、基于多个点的类别预测结果并根据伪标签将每个点分配到一个类中;
21、对于每个类均匀采样m个类别预测结果熵最小的样本,基于有c个类别的数据集,最终得到c*m个样本进行熵最小化损失计算;
22、基于计算的特征蒸馏损失、交叉熵损失以及熵最小化损失得到总损失。
23、为达上述目的,本发明第二方面实施例提出一种面向点云场景分割的无参几何引导的测试时间适应系统,包括:
24、点云数据获取模块,用于获取同一点云场景的点云数据;
25、源域特征和几何特征提取模块,用于分别将所述点云数据输入至训练好的深度视觉模型和无参几何模型以对应提取源域特征和几何特征;
26、特征蒸馏损失计算和类别预测模块,用于对所述源域特征和所述几何特征进行特征蒸馏损失计算,并基于特征蒸馏损失计算确定每个点的类别预测结果;
27、软投票和交叉熵损失计算模块,用于根据基于所述源域特征和所述几何特征的软投票策略修正伪标签,并将修正后的伪标签与所述类别预测结果进行交叉熵损失计算。
28、本发明实施例的面向点云场景分割的无参几何引导的测试时间适应方法及系统,过无参几何的引导学习减少复杂点云场景源域和目标域之间的域差异,提高模型在目标域上的性能。
29、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种面向点云场景分割的无参几何引导的测试时间适应方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,分别将所述点云数据输入至训练好的深度视觉模型和无参几何模型以对应提取源域特征和几何特征,包括:
3.根据权利要求1所述的方法,其特征在于,基于特征蒸馏损失计算确定每个点的类别预测结果,包括:
4.根据权利要求3所述的方法,其特征在于,根据基于所述源域特征和所述几何特征的软投票策略修正伪标签,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法,还包括:
6.一种面向点云场景分割的无参几何引导的测试时间适应系统,其特征在于,包括:
7.根据权利要求6所述的系统,其特征在于,所述源域特征和几何特征提取模块,还用于:
8.根据权利要求6所述的系统,其特征在于,所述特征蒸馏损失计算和类别预测模块,还用于:
9.根据权利要求8所述的系统,其特征在于,所述软投票和交叉熵损失计算模块,还用于:
10.根据权利要求9所述的系统,其特征在于,所述系统,还包括熵最小化和总损失计算模块,用于: