本发明涉及点云质量评价的，具体而言，涉及一种基于图卷积神经网络的三维点云质量预测方法。
背景技术：
1、近年来，3d视觉信息获取技术的发展使得点云更容易获取，并逐渐成为一种流行的视觉数据类型，这种3d视觉数据通常以点云、体素或网格的形式表示，由于点云能够完整、准确地描述三维物体，因此被认为是一种有效的三维数据表示方法。点云主要用于描述一个完整的三维场景或物体，包括几何属性、颜色属性和其他属性（法向量、不透明度、反射率、时间等）。目前，点云在三维重建、分类与分割、人脸表情表示、自动驾驶、虚拟现实等应用场景中得到了广泛的研究和应用。点云虽然可以通过巨大的点集逼真地记录三维物体，但也消耗大量内存，且难以在有限的网络带宽下实现数据传输。这种新的、有效的数据表示方式对当前的硬件存储和网络传输提出了挑战，因此，为了实现高效的存储和传输，需要对点云进行压缩。
2、然而，点云压缩可能会引入伪影，导致点云视觉质量下降，有效的点云质量预测方法不仅可以帮助人们预测点云的失真程度和压缩算法的性能，而且有利于优化扭曲点云的视觉质量。因此，如何准确评价点云数据的感知质量成为一个关键问题，在现有的点云质量评价方法中，基于点的方法和基于投影的方法已经取得了一定的效果，然而，目前大多数基于投影的方法主要依赖于6个投影平面进行质量评价，未考虑人眼视觉系统对点云质量的多视角感知，这意味着模型未能充分利用不同投影图像之间的相关性进行建模，导致其在感知点云整体质量方面的能力不足，不能有效捕获全局结构信息，冗余计算较多，预测准确性很有限。
技术实现思路
1、本发明要解决的技术问题是实现有效捕获全局结构信息，减少冗余计算，提高预测质量分数的准确性，为克服以上现有技术（或相关技术）的缺陷，本发明提供一种基于图卷积神经网络的三维点云质量预测方法。
2、本发明提供一种基于图卷积神经网络的三维点云质量预测方法，包括：
3、步骤s1，针对至少一个三维物体，获取所述三维物体的数据集，所述数据集包括多个失真点云和各所述失真点云对应的主观质量评分，随后对每个所述失真点云进行双路径多视角投影并对投影图像进行预处理得到对应的预处理后投影图像；以及将各所述预处理后投影图像和各所述预处理后投影图像对应的所述主观质量评分划分为训练集和测试集；
4、步骤s2，利用深度学习框架搭建无参考点云质量评价网络，所述无参考点云质量评价网络包括主干模块、多层次注意力感知模块、多层次转换模块和质量预测模块，通过所述主干模块接收两条路径的投影图像组并输出特征图和特征图，通过所述多层次注意力感知模块对所述特征图和所述特征图依次进行卷积操作、特征图相乘操作和全局平均池化操作得到特征图和特征图，通过所述多层次转换模块对所述特征图和所述特征图进行处理得到图结构和图结构，通过所述质量预测模块对所述图结构和所述图结构进行处理得到预测质量分数s；
5、步骤s3，使用所述训练集对所述无参考点云质量评价网络进行训练得到所述训练集中每个所述失真点云对应的所述预测质量分数s；
6、步骤s4，按照所述步骤s3对所述无参考点云质量评价网络训练多轮次，得到无参考点云质量评价网络模型；
7、步骤s5，通过所述无参考点云质量评价网络模型对所述测试集中的每个所述失真点云进行测试，输出每个所述失真点云的所述预测质量分数s作为无参考点云质量的评价结果。
8、本发明一种基于图卷积神经网络的三维点云质量预测方法与现有技术相比，具有以下优点：
9、本发明中在步骤s1中对失真点云进行双路径多视角投影以获得不同投影路径上的两组投影图像，并在此基础上通过预处理构建高度感知一致的预处理后投影图像来表征不同的预处理后投影图像之间的相互依赖关系，从而有效捕获全局结构信息；在步骤s2中于图结构上应用图卷积网络，描述不同预处理后投影图像之间的全局依赖关系，并聚合多视角投影图像的特征信息，有效减少冗余计算，提高三维点云质量预测方法的全局理解能力；在步骤s3中对利用训练集对无参考点云质量评价网络进行训练，在步骤s4中对无参考点云质量评价网络进行多轮次训练，提高无参考点云质量评价网络模型的鲁棒性，有效提升预测质量分数的准确性。
10、在一种可能的实施方式中，所述步骤s1中，对所述数据集中的每个所述失真点云进行双路径多视角投影，每条投影路径上得到的投影图像的数量为n，随后对每幅所述投影图像进行尺寸调整、裁剪和归一化的预处理，得到图像尺寸为的所述预处理后投影图像。
11、在一种可能的实施方式中，所述步骤s1中，对每幅所述投影图像进行预处理的过程包括：
12、对每幅所述投影图像进行调整尺寸、裁剪，并将各所述投影图像的尺寸缩放为，随后对缩放后的各所述投影图像进行归一化处理，将缩放后的所述投影图像的r通道中的所有像素点的像素值归一化为均值为0.485且方差为0.229，将g通道中的所有像素点的像素值归一化为均值为0.456且方差为0.224，将b通道中的所有像素点的像素值归一化为均值为0.406且方差为0.225。
13、在一种可能的实施方式中，所述步骤s2中，所述主干模块为包含五层结构的resnet101骨干网络，所述五层结构依次连接，第一层的输入端作为所述主干模块的输入端并同时接收两条路径的所述投影图像组，每个所述投影图像组包含n幅尺寸为的所述预处理后投影图像，第二层和第五层的输出端作为所述主干模块的多层次输出端，第一层的输出端输出特征图，第二层的输入端接收所述特征图，第二层的输出端输出所述特征图，第三层的输入端接收所述特征图，第三层的输出端输出特征图，第四层的输入端接收所述特征图，第四层的输出端输出特征图，第五层的输入端接收所述特征图，第五层的输出端输出所述特征图；其中，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为。
14、在一种可能的实施方式中，所述步骤s2中，所述多层次注意力感知模块通过两条支路得到所述特征图和所述特征图，其中，第一条支路的执行步骤包括：
15、以所述特征图为输入，通过一个卷积核大小为1、步距大小为1、填充为0、输入通道数为256、输出通道数为1的卷积层进行通道大小压缩，并应用sigmoid激活函数将特征值范围映射到[0,1]，得到注意力特征图，所述注意力特征图的尺寸为；以及以所述特征图为输入，通过一个全局平均池化层进行空间维度的全局平均池化，然后依次通过一个卷积核大小为1、步距大小为1、填充为0、输入通道数为256、输出通道数为16的卷积层和一个卷积核大小为1、步距大小为1、填充为0、输入通道数为16、输出通道数为256的卷积层，并应用sigmoid激活函数将特征值范围映射到[0,1]，得到注意力特征图，所述注意力特征图的尺寸为；随后将所述注意力特征图和所述注意力特征图进行相乘得到混合注意力特征图，所述混合注意力特征图的尺寸为；以及将所述混合注意力特征图与所述特征图相乘，并通过残差连接与所述特征图相加，再执行一个全局平均池化操作，得到所述特征图，所述特征图的尺寸为；
16、第二条支路的执行步骤包括：
17、以所述特征图为输入，通过一个卷积核大小为1、步距大小为1、填充为0、输入通道数为2048、输出通道数为1的卷积层进行通道大小压缩，并应用sigmoid激活函数将特征值范围映射到[0,1]，得到注意力特征图，所述注意力特征图的尺寸为；以及以所述特征图为输入，通过一个全局平均池化层进行空间维度的全局平均池化，然后依次通过一个卷积核大小为1、步距大小为1、填充为0、输入通道数为2048、输出通道数为128的卷积层和一个卷积核大小为1、步距大小为1、填充为0、输入通道数为128、输出通道数为2048的卷积层，并应用sigmoid激活函数将特征值范围映射到[0,1]，得到注意力特征图，所述注意力特征图的尺寸为；以及将所述注意力特征图和所述注意力特征图进行相乘得到混合注意力特征图，所述混合注意力特征图的尺寸为；以及将所述混合注意力特征图与所述特征图相乘，并通过残差连接与所述特征图相加，再执行一个全局平均池化操作，得到所述特征图，所述特征图的尺寸为。
18、在一种可能的实施方式中，所述步骤s2中，所述多层次转换模块包括多层次特征融合块和图构建块，通过所述多层次特征融合块对所述特征图和所述特征图进行通道拼接，得到特征图，所述特征图的尺寸为，随后按照双路径多视角投影的投影路径对所述特征图进行分割，得到水平投影特征图和垂直投影特征图，所述水平投影特征图的尺寸为，所述垂直投影特征图的尺寸为；通过所述图构建块将所述水平投影特征图和所述垂直投影特征图中的每个投影特征作为一个节点，并根据任意两个所述节点之间的邻接关系构建得到邻接矩阵和，所述邻接矩阵的尺寸为nxn，所述邻接矩阵的尺寸为nxn，随后根据所述特征图、所述特征图、所述邻接矩阵和所述邻接矩阵形成对应的所述图结构和所述图结构。
19、在一种可能的实施方式中，所述步骤s2中，所述质量预测模块包括两个结构相同、不共享的图卷积网络和一个混合预测块，两个所述图卷积网络均包含四层结构且所述四层结构依次连接，通过第一个所述图卷积网络接收所述图结构并处理得到特征图、特征图、特征图和特征图，通过第二个所述图卷积网络接收所述图结构并处理得到特征图、特征图、特征图和特征图，随后通过所述混合预测块对所述特征图、所述特征图、所述特征图、所述特征图、所述特征图和所述特征图使用平均池化和输出通道数为1的全连接层得到对应的第一处理后特征图，并对所述特征图和所述特征图分别进行平均池化和使用全连接层得到对应的第二处理后特征图，随后对各所述第一处理后特征图和各所述第二处理后特征图进行通道拼接得到混合特征图，所述混合特征图的尺寸为10x1，最后将所述混合特征图通过一个输入通道数为10、输出通道数为1的全连接层得到所述预测质量分数s。
20、与现有技术相比，采用上述技术方案后，通过对两个不共享权重的图卷积网络提取的水平投影图像和垂直投影图像进行图像特征的动态融合，增强无参考点云质量评价网络模型的特征表示能力，有效提升预测质量分数的准确性。
21、在一种可能的实施方式中，所述步骤s2中，针对第一个所述图卷积网络，第一层的输入端作为第一个所述图卷积网络的输入端接收所述图结构，第一层的输出端输出所述特征图，第二层的输入端接收图结构，第二层的输出端输出所述特征图，第三层的输入端接收图结构，第三层的输出端输出特征图，第四层的输入端接收图结构，第四层的输出端输出特征图；其中，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为。
22、在一种可能的实施方式中，所述步骤s2中，针对第二个所述图卷积网络，第一层的输入端作为第二个所述图卷积网络的输入端接收所述图结构，第一层的输出端输出所述特征图，第二层的输入端接收图结构，第二层的输出端输出所述特征图，第三层的输入端接收图结构，第三层的输出端输出特征图，第四层的输入端接收图结构，第四层的输出端输出特征图；其中，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为。
23、在一种可能的实施方式中，所述步骤s2中，两个所述图卷积网络均包括依次连接的四个图卷积块，第一个所述图卷积块的输入端作为所述图卷积网络的输入端，第二个所述图卷积块的输入端接收第一个所述图卷积块的输出端输出的特征图，第三个所述图卷积块的输入端接收第二个所述图卷积块的输出端输出的特征图，第四个所述图卷积块的输入端接收第三个所述图卷积块的输出端输出的特征图，第一、二、三、四个所述图卷积块的输出端输出的特征图作为所述图卷积网络的输出端；其中，前三个所述图卷积块的结构相同，均包括依次连接的图卷积层、批归一化层和softplus激活函数层，第四个所述图卷积块仅包含依次连接的所述图卷积层和所述softplus激活函数层，所述图卷积层的输入端作为其所在的所述图卷积块的输入端，所述softplus激活函数层的输出端作为其所在的所述卷积块的输出端；第一个所述图卷积块中的所述图卷积层的输入通道数为2304、输出通道数为512，第二个所述图卷积块中的所述图卷积层的输入通道数为512、输出通道数为128，第三个所述图卷积块中的所述图卷积层的输入通道数为128、输出通道数为32，第四个所述图卷积块中的所述图卷积层的输入通道数为32、输出通道数为1。
1.一种基于图卷积神经网络的三维点云质量预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的三维点云质量预测方法，其特征在于，所述步骤s1中，对所述数据集中的每个所述失真点云进行双路径多视角投影，每条投影路径上得到的投影图像的数量为n，随后对每幅所述投影图像进行尺寸调整、裁剪和归一化的预处理，得到图像尺寸为的所述预处理后投影图像。
3.根据权利要求2所述的三维点云质量预测方法，其特征在于，所述步骤s1中，对每幅所述投影图像进行预处理的过程包括：
4.根据权利要求1所述的三维点云质量预测方法，其特征在于，所述步骤s2中，所述主干模块为包含五层结构的resnet101骨干网络，所述五层结构依次连接，第一层的输入端作为所述主干模块的输入端并同时接收两条路径的所述投影图像组，每个所述投影图像组包含n幅尺寸为的所述预处理后投影图像，第二层和第五层的输出端作为所述主干模块的多层次输出端，第一层的输出端输出特征图，第二层的输入端接收所述特征图，第二层的输出端输出所述特征图，第三层的输入端接收所述特征图，第三层的输出端输出特征图，第四层的输入端接收所述特征图，第四层的输出端输出特征图，第五层的输入端接收所述特征图，第五层的输出端输出所述特征图；其中，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为。
5.根据权利要求1所述的三维点云质量预测方法，其特征在于，所述步骤s2中，所述多层次注意力感知模块通过两条支路得到所述特征图和所述特征图，其中，第一条支路的执行步骤包括：
6.根据权利要求1所述的三维点云质量预测方法，其特征在于，所述步骤s2中，所述多层次转换模块包括多层次特征融合块和图构建块，通过所述多层次特征融合块对所述特征图和所述特征图进行通道拼接，得到特征图，所述特征图的尺寸为，随后按照双路径多视角投影的投影路径对所述特征图进行分割，得到水平投影特征图和垂直投影特征图，所述水平投影特征图的尺寸为，所述垂直投影特征图的尺寸为；通过所述图构建块将所述水平投影特征图和所述垂直投影特征图中的每个投影特征作为一个节点，并根据任意两个所述节点之间的邻接关系构建得到邻接矩阵和，所述邻接矩阵的尺寸为nxn，所述邻接矩阵的尺寸为nxn，随后根据所述特征图、所述特征图、所述邻接矩阵和所述邻接矩阵形成对应的所述图结构和所述图结构。
7.根据权利要求1所述的三维点云质量预测方法，其特征在于，所述步骤s2中，所述质量预测模块包括两个结构相同、不共享的图卷积网络和一个混合预测块，两个所述图卷积网络均包含四层结构且所述四层结构依次连接，通过第一个所述图卷积网络接收所述图结构并处理得到特征图、特征图、特征图和特征图，通过第二个所述图卷积网络接收所述图结构并处理得到特征图、特征图、特征图和特征图，随后通过所述混合预测块对所述特征图、所述特征图、所述特征图、所述特征图、所述特征图和所述特征图使用平均池化和输出通道数为1的全连接层得到对应的第一处理后特征图，并对所述特征图和所述特征图分别进行平均池化和使用全连接层得到对应的第二处理后特征图，随后对各所述第一处理后特征图和各所述第二处理后特征图进行通道拼接得到混合特征图，所述混合特征图的尺寸为10x1，最后将所述混合特征图通过一个输入通道数为10、输出通道数为1的全连接层得到所述预测质量分数s。
8.根据权利要求7所述的三维点云质量预测方法，其特征在于，所述步骤s2中，针对第一个所述图卷积网络，第一层的输入端作为第一个所述图卷积网络的输入端接收所述图结构，第一层的输出端输出所述特征图，第二层的输入端接收图结构，第二层的输出端输出所述特征图，第三层的输入端接收图结构，第三层的输出端输出特征图，第四层的输入端接收图结构，第四层的输出端输出特征图；其中，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为。
9.根据权利要求7所述的三维点云质量预测方法，其特征在于，所述步骤s2中，针对第二个所述图卷积网络，第一层的输入端作为第二个所述图卷积网络的输入端接收所述图结构，第一层的输出端输出所述特征图，第二层的输入端接收图结构，第二层的输出端输出所述特征图，第三层的输入端接收图结构，第三层的输出端输出特征图，第四层的输入端接收图结构，第四层的输出端输出特征图；其中，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为，所述特征图的尺寸为。
10.根据权利要求7所述的三维点云质量预测方法，其特征在于，所述步骤s2中，两个所述图卷积网络均包括依次连接的四个图卷积块，第一个所述图卷积块的输入端作为所述图卷积网络的输入端，第二个所述图卷积块的输入端接收第一个所述图卷积块的输出端输出的特征图，第三个所述图卷积块的输入端接收第二个所述图卷积块的输出端输出的特征图，第四个所述图卷积块的输入端接收第三个所述图卷积块的输出端输出的特征图，第一、二、三、四个所述图卷积块的输出端输出的特征图作为所述图卷积网络的输出端；其中，前三个所述图卷积块的结构相同，均包括依次连接的图卷积层、批归一化层和softplus激活函数层，第四个所述图卷积块仅包含依次连接的所述图卷积层和所述softplus激活函数层，所述图卷积层的输入端作为其所在的所述图卷积块的输入端，所述softplus激活函数层的输出端作为其所在的所述卷积块的输出端；第一个所述图卷积块中的所述图卷积层的输入通道数为2304、输出通道数为512，第二个所述图卷积块中的所述图卷积层的输入通道数为512、输出通道数为128，第三个所述图卷积块中的所述图卷积层的输入通道数为128、输出通道数为32，第四个所述图卷积块中的所述图卷积层的输入通道数为32、输出通道数为1。
