本说明书一个或多个实施例涉及多方安全计算,尤其涉及一种多方联合部署神经网络的方法、装置和设备。
背景技术:
1、通过神经网络来对文本进行处理,从而实现文本问答、文本翻译等已成为一种广泛应用的技术。随着神经网络技术的发展,在某些场景下,需要多方协同利用神经网络完成推理,以保证数据的安全和隐私性。
2、为了保护数据安全,现有技术中多个参与方一般利用隐私计算手段来完成神经网络的推理。隐私计算是一种在保证各个参与方的隐私数据安全的同时,实现多个参与方之间的协同计算的方法。常用的隐私计算方式包括,同态加密(homomorphic encryption,he)和多方安全计算mpc(secure multi-party computation)。不管是同态加密还是mpc,密态运算一般只支持乘法、加法等线性运算。然而,神经网络中一般存在大量的非线性函数运算,比如归一化指数函数(softmax)等。
3、因此,希望能有改进的方案,更好地在多方联合推理的场景下部署包括非线性函数的神经网络。
技术实现思路
1、有鉴于此,本说明书一个或多个实施例提供一种多方联合部署神经网络的方法、装置、介质和设备。
2、根据本说明书一个或多个实施例的第一方面,提出了一种多方联合部署神经网络的方法,所述神经网络用于文本处理,所述方法通过多方中任意一方执行,包括:
3、获取文本数据集在所述神经网络的第一非线性层形成的输入数据分布;所述第一非线性层对应第一非线性函数;
4、确定拟合误差满足预设条件的分段多项式函数,所述拟合误差为定义域内各输入值的误差值的加权累积,其中任意输入值的误差值根据所述第一非线性函数和所述分段多项式函数各自针对该输入值的输出结果之差确定,加权权重值为该输入值在所述输入数据分布中的分布概率值;
5、根据所述分段多项式函数,确定所述第一非线性层在所述多方中的分布部署方式。
6、根据本说明书一个或多个实施例的第二方面,提出了一种多方联合部署神经网络的装置,所述神经网络用于文本处理,所述装置部署在通过多方中任意一方执行中,包括:输入数据分布获取模块,用于获取文本数据集在所述神经网络的第一非线性层形成的输入数据分布;所述第一非线性层对应第一非线性函数;
7、分段多项式函数确定模块,用于确定拟合误差满足预设条件的分段多项式函数,所述拟合误差为定义域内各输入值的误差值的加权累积,其中任意输入值的误差值根据所述第一非线性函数和所述分段多项式函数各自针对该输入值的输出结果之差确定,加权权重值为该输入值在所述输入数据分布中的分布概率值;
8、第一非线性层部署模块,用于根据所述分段多项式函数,确定所述第一非线性层在所述多方中的分布部署方式。
9、根据本说明书实施例的第三方面,提供一种计算机设备,所述计算机设备包括:处理器;用于存储处理器可执行指令的存储器;所述处理器通过运行所述可执行指令以实现如本说明书实施例第一方面所述的多方联合部署神经网络的。
10、根据本说明书实施例的第四方面,提供一种计算机程序产品,所述计算机程序产品被处理器执行时实现如本说明书实施例第一方面所述的多方联合部署神经网络的。
11、本说明书一个或多个实施例中提出了一种多方联合部署神经网络的方法。该神经网络用于文本处理。多方中的一方获取神经网络的第一非线性层的输入数据分布,再确定拟合误差满足预设条件的分段多项式函数。其中,拟合误差是:以输入值在数据分布中的分布概率值为权重,各输入值通过第一非线性函数和分段多项函数的输出结果之差的加权累积值。最终根据分段多项式函数,确定第一非线性层在多方中的部署方式。
12、通过上述方法,在进行函数的拟合时考虑到了输入数据分布的影响,从而通过拟合误差的控制,使得相比于相关技术中拟合的分段多项式函数,在和相关技术的分段多项式函数同样的最高次幂和分段段数下,本说明书的方法拟合得到的函数针对同一批数据,平均误差更小。进而可以在保证误差和相关技术的方法相差不大的情况下,降低最高次幂和分段段数的大小,减少神经网络的计算开销,提高多方联合部署的神经网络计算效率。
13、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
1.一种多方联合部署神经网络的方法,所述神经网络用于文本处理,所述方法通过多方中任意一方执行,包括:
2.根据权利要求1所述的方法,其中,所述获取文本数据集在所述神经网络的第一非线性层形成的数据分布概率,包括:
3.根据权利要求1所述的方法,其中,所述获取文本数据集在所述神经网络的第一非线性层形成的数据分布概率,包括:
4.根据权利要求1所述的方法,其中,所述确定拟合误差满足预设条件的分段多项式函数,包括:
5.根据权利要求4所述的方法,其中,所述n个分界点的初始值,根据所述输入数据分布确定。
6.根据权利要求4所述的方法,所述根据n个分界点的初始值,获取每个分界点的候选值,包括:
7.根据权利要求1所述的方法,其中,所述第一非线性函数为高斯误差线性单元gelu,指数函数,或归一化指数函数softmax。
8.根据权利要求1所述的方法,其中,所述神经网络还包括第二非线性层,所述第二非线性层对应所述第一非线性函数,针对所述第一非线性层和所述第二非线性层分别确定的分段多项式函数不同。
9.一种多方联合部署神经网络的装置,所述神经网络用于文本处理,所述装置部署在多方中任意一方中,包括:
10.一种计算机程序产品,所述计算机程序产品被处理器执行时实现如权利要求1-6中任一项所述的多方联合部署神经网络的方法。
11.一种计算机设备,包括: