本申请涉及人工智能，尤其涉及一种网络量化方法、装置、设备、存储介质及计算机程序产品。
背景技术：
1、神经网络模型的性能通常与模型大小相关，当模型变大时则神经网络模型的性能可能会提高，但与此同时，更深和更宽的神经网络存在巨大的参数量和计算量，而巨大的内存和计算需求使得在边缘设备部署神经网络架构变得异常困难。因此，对神经网络模型进行量化就显得尤其重要。
2、对神经网络模型进行量化，实际上是对模型大小进行压缩，从而降低内存和计算成本，以及减少模型推理所需的计算资源，但由于量化是一种近似操作，可能会使得量化后的神经网络模型的效果变得非常差，因此，如何提升量化神经网络模型的性能，是亟待解决的问题。
技术实现思路
1、为解决相关技术中存在的技术问题，本申请实施例提供一种网络量化方法、装置、设备、存储介质及计算机程序产品。
2、为达到上述目的，本申请实施例的技术方案是这样实现的：
3、第一方面，本申请实施例提供了一种网络量化方法，所述方法包括：
4、确定目标损失函数；
5、其中，所述目标损失函数与第一损失值相关，所述第一损失值表征第一网络模型与第二网络模型之间的特征注意力损失；所述第一网络模型表征原始的全精度神经网络模型，所述第二网络模型表征所述第一网络模型的量化网络模型；
6、利用所述目标损失函数更新所述第二网络模型的参数，直至所述第二网络模型满足设定条件，得到第三网络模型；所述第三网络模型表征对所述第二网络模型进行优化得到的目标量化网络模型。
7、第二方面，本申请实施例还提供了一种网络量化装置，包括：
8、确定单元，用于确定目标损失函数；其中，所述目标损失函数与第一损失值相关，所述第一损失值表征第一网络模型与第二网络模型之间的特征注意力损失；所述第一网络模型表征原始的全精度神经网络模型，所述第二网络模型表征所述第一网络模型的量化网络模型；
9、更新单元，用于利用所述目标损失函数更新所述第二网络模型的参数，直至所述第二网络模型满足设定条件，得到第三网络模型；所述第三网络模型表征对所述第二网络模型进行优化得到的目标量化网络模型。
10、第三方面，本申请实施例还提供了一种网络量化设备，包括：处理器和用于存储能够在所述处理器上运行的计算机程序的存储器；
11、其中，所述处理器用于运行所述计算机程序时，执行本申请实施例所述的网络量化方法的步骤。
12、第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例所述的网络量化方法的步骤。
13、第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请实施例所述的网络量化方法的步骤。
14、本申请实施例提供的网络量化方法、装置、设备、存储介质及计算机程序产品，确定目标损失函数；其中，所述目标损失函数与第一损失值相关，所述第一损失值表征第一网络模型与第二网络模型之间的特征注意力损失；所述第一网络模型表征原始的全精度神经网络模型，所述第二网络模型表征所述第一网络模型的量化网络模型；利用所述目标损失函数更新所述第二网络模型的参数，直至所述第二网络模型满足设定条件，得到第三网络模型；所述第三网络模型表征对所述第二网络模型进行优化得到的目标量化网络模型。采用本申请实施例的方法，通过在目标损失函数中加入第一网络模型与第二网络模型之间的特征注意力损失，即原始的全精度神经网络模型与原始的全精度神经网络模型的量化网络模型之间的特征注意力损失，从而将第一网络模型与第二网络模型之间的特征注意力损失、第一网络模型的预测输出结果与第二网络模型的预测输出结果之间的蒸馏损失以及第二网络模型的原始损失作为约束项，共同对第二网络模型即第一网络模型的量化网络模型进行优化，从而提高第一网络模型的量化网络模型的性能。
1.一种网络量化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述确定目标损失函数之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在所述模型参数包括权重的情况下，所述对所述第一网络模型中各网络层对应的模型参数进行量化，生成所述第二网络模型，包括：
4.根据权利要求2所述的方法，其特征在于，在所述模型参数包括权重的情况下，所述对所述第一网络模型中各网络层对应的模型参数以及所述第一网络模型中各网络层的激活值进行量化，生成所述第二网络模型，包括：
5.根据权利要求1所述的方法，其特征在于，在所述利用所述目标损失函数更新所述第二网络模型的参数时，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述生成动态激活函数，包括：
7.根据权利要求1所述的方法，其特征在于，所述确定目标损失函数，包括：
8.根据权利要求7所述的方法，其特征在于，所述确定所述第一损失值，包括：
9.根据权利要求8所述的方法，其特征在于，所述确定所述第一网络模型的第一特征注意力，包括：
10.根据权利要求8所述的方法，其特征在于，所述确定所述第二网络模型的第二特征注意力，包括：
11.根据权利要求7所述的方法，其特征在于，所述确定第二损失值，包括：
12.一种网络量化装置，其特征在于，包括：
13.一种网络量化设备，其特征在于，包括：处理器和用于存储能够在所述处理器上运行的计算机程序的存储器；
14.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求1至11任一项所述方法的步骤。
