本技术涉及物联网,尤其涉及一种信息处理方法、装置、设备及存储介质。
背景技术:
1、随着人工智能(artificial intelligence,ai)技术以及第五代移动通信技术(5th generation mobile communication technology,5g)等先进的通信技术的不断落地发展,各类智能设备的应用普及程度达到了新高,均一化的智能服务已不再能满足用户的个性化需求,基于个性化用户数据形成的差异化智能服务成为未来物联网发展的主要方向。在实现差异化服务过程中,通常希望智能设备具备一定的自我更新和持续学习能力,如此可以在个性化场景中进行自动化的自我更新,在此实现过程中,为了降低数据传输过程中涉及隐私泄露的问题,提出了智能设备实现本地模型训练和更新的技术实现方案。目前,为了降低数据搬运过程中巨大的能量消耗,本领域人员提出了一种新型的计算技术—存算一体技术,其从材料、器件、计算范式、架构等方面进行革新,可使用存储单元完成计算功能实现存算零距离,大幅提升算力和能效水平,可以广泛应用于智能设备的本地模型训练和更新过程。
2、然而实现存算一体技术的存算一体器件存在非理想特性、模拟计算存在精度误差等问题,导致模型训练的过程中,模型参数的改变不可控,即网络参数为黑盒,无法进行准确的梯度计算,且ai模型的训练过程对精度要求较高,随着网络的深度增加会产生梯度消失、梯度爆炸等问题,因此传统基于反向传播的模型训练优化方法不适用于存算一体技术中的模型训练。目前,亟需一种在存算一体技术中实现可靠的模型训练和更新的方法,以保证模型的使用可靠性。
3、申请内容
4、为解决上述技术问题,本技术期望提供一种信息处理方法、装置、设备及存储介质,解决了目前针对存算一体技术中没有可靠的模型训练和更新的方法等问题,提出了一种在存算一体设备的本地进行模型更新的方法,保证了存算一体设备中使用的模型的应用可靠性。
5、本技术的技术方案是这样实现的:
6、本技术提供一种信息处理方法,所述方法应用于存算一体设备,所述方法包括:
7、确定待训练模型;
8、基于第一数据集合,生成第二数据集合;其中,所述第二数据集合中的训练样本数据是由所述第一数据集合中属于两种不同类别的采样数据生成的;
9、采用所述第二数据集合,按照逐层训练的方法对所述待训练模型进行模型训练更新,得到更新后的目标模型;
10、获取待预测数据;
11、采用所述目标模型对所述待预测数据进行预测处理,得到预测结果。
12、上述方案中,所述基于第一数据集合,生成第二数据集合,包括:
13、从所述第一数据集合中,获取属于第一类别的第一采样数据和属于第二类别的第二采样数据;
14、基于所述第一采样数据和所述第二采样数据,生成第一正样本数据;
15、基于所述第一采样数据和所述第二采样数据,生成第一负样本数据;其中,所述第二数据集合包括所述第一正样本数据和所述第一负样本数据。
16、上述方案中,所述基于所述第一采样数据和所述第二采样数据,生成第一正样本数据,包括:
17、确定第一权重系数与第一采样数据的第一乘积;
18、确定1与所述第一权重系数的第一差值;
19、确定所述第一差值与所述第二采样数据的第二乘积;
20、确定所述第一乘积与所述第二乘积的和值,得到所述第一正样本数据。
21、上述方案中,所述基于所述第一采样数据和所述第二采样数据,生成第一负样本数据,包括:
22、基于预设不变参数对所述第一采样数据进行分组,得到无需改变的第一参数集合和需要改变的第二参数集合;
23、确定所述第二参数集合中的参数与所述第二采样数据中对应的参数的差值,得到第三参数集合;
24、确定所述第一负样本数据为所述第一参数集合和所述第三参数集合。
25、上述方案中,所述采用所述第二数据集合,按照逐层训练的方法对所述待训练模型进行模型训练更新,得到更新后的目标模型,包括:
26、确定所述待训练模型的第i层隐藏层的参数的情况下,保持所述待训练模型的第i+1层隐藏层至第n层隐藏层的参数为预设参数值;其中,i=1,2,……,n,n为所述待训练模型包括的隐藏层的总数;
27、确定所述待训练模型的所述待训练模型的第1层隐藏层至第i-1层隐藏层的参数为已训练得到的训练参数值;
28、从所述第二数据集合中获取待输入样本数据集合;
29、输入所述待输入样本数据集合至所述待训练模型,得到输出结果集合;
30、基于所述输出结果集合,计算第一损失值;
31、若所述第一损失值大于或等于预设阈值,确定所述第i层隐藏层的已训练好的参数为第一当前参数;
32、若所述第一损失值小于所述预设阈值,基于所述第一损失值更新所述第i层隐藏层的参数后,执行步骤“从所述第二数据集合中获取待输入样本数据集合”,直至确定得到调整所述第i层隐藏层的参数为第二当前参数时,所述待训练模型的输出结果的第二损失值大于或等于所述预设阈值,或者直至针对所述第i层隐藏层的参数进行训练的训练次数为预设次数。
33、上述方案中,所述基于所述输出结果集合,计算第一损失值,包括:
34、基于所述待输入样本数据集合中的第二正样本数据的样本标签和所述输出结果集合中的第一输出标签,确定第一子损失值;其中,所述第一输出标签与所述第二正样本数据一一对应;
35、基于所述输出结果集合中的第一输出标签和所述输出结果集合中的第二输出标签,确定第二子损失值;其中,所述第二输出标签为所述输出结果集合中与所述待输入样本数据中的第二负样本数据对应的输出标签;
36、确定所述第一子损失值与所述第二子损失值的和值,得到所述第一损失值。
37、上述方案中,所述基于所述待输入样本数据集合中的第二正样本数据的样本标签和所述输出结果集合中的第一输出标签,确定第一子损失值,包括:
38、确定每一所述第二正样本数据的样本标签与对应的所述第一输出标签的差值,得到m个第二差值;其中,所述第二正样本数据属于所述待输入样本数据集合,所述第一输出标签为所述输出结果集合中与所述第二正样本数据对应的输出标签,m为所述待输入样本数据集合中包括的所述第二正样本数据的数量;
39、确定所述第一子损失值为m个所述第二差值的平均值。
40、上述方案中,所述基于所述输出结果集合中的第一输出标签和所述输出结果集合中的第二输出标签,确定第二子损失值,包括:
41、确定每一所述第一输出标签与每一所述第二输出标签之间的样本距离,得到m组样本距离;
42、确定m组所述样本距离的累加和值的负值,得到目标数值;
43、确定所述第二子损失值为e的所述目标数值次方。
44、本技术提供一种信息处理装置,所述装置应用于存算一体设备,所述装置包括:确定单元、生成单元、训练单元、获取单元和预测单元;其中:
45、所述确定单元,用于确定待训练模型;
46、所述生成单元,用于基于第一数据集合,生成第二数据集合;其中,所述第二数据集合中的训练样本数据是由所述第一数据集合中属于两种不同类别的采样数据生成的;
47、所述训练单元,用于采用所述第二数据集合,按照逐层训练的方法对所述待训练模型进行模型训练,得到更新后的目标模型;
48、所述获取单元,用于获取待预测数据;
49、所述预测单元,用于采用所述目标模型对所述待预测数据进行预测处理,得到预测结果。
50、本技术提供一种存算一体设备,所述设备至少包括:存算一体单元和通信总线;其中:
51、所述通信总线,用于实现信息传输;
52、所述存算一体单元,用于执行存储的信息处理程序,实现如上述任一项所述的信息处理方法的步骤。
53、本技术提供一种存储介质,所述存储介质上存储有信息处理程序,所述信息处理程序被存算一体单元执行时实现如上述任一项所述的信息处理方法的步骤。
54、本技术实施例提供了一种信息处理方法、装置、设备及存储介质,通过存算一体设备确定待训练模型后,基于第一数据集合,生成第二数据集合,并采用第二数据集合,按照逐层训练的方法对待训练模型进行模型训练更新,得到更新后的目标模型,最后获取待预测数据,并采用目标模型对待预测数据进行预测处理,得到预测结果。这样,对第一数据集合进行不同类别的采样数据进行处理,生成得到第二数据集合,并采用第二数据集合采用逐层训练的方法对待训练模型进行模型训练更新,得到更新后的目标模型,以用应用更新后的模型,解决了目前针对存算一体技术中没有可靠的模型训练和更新的方法等问题,提出了一种在存算一体设备的本地进行模型更新的方法,保证了存算一体设备中使用的模型的应用可靠性。
技术实现思路
1.一种信息处理方法,其特征在于,所述方法应用于存算一体设备,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于第一数据集合,生成第二数据集合,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一采样数据和所述第二采样数据,生成第一正样本数据,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述第一采样数据和所述第二采样数据,生成第一负样本数据,包括:
5.根据权利要求1所述的方法,其特征在于,所述采用所述第二数据集合,按照逐层训练的方法对所述待训练模型进行模型训练更新,得到更新后的目标模型,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述输出结果集合,计算第一损失值,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述待输入样本数据集合中的第二正样本数据的样本标签和所述输出结果集合中的第一输出标签,确定第一子损失值,包括:
8.根据权利要求6所述的方法,其特征在于,所述基于所述输出结果集合中的第一输出标签和所述输出结果集合中的第二输出标签,确定第二子损失值,包括:
9.一种信息处理装置,其特征在于,所述装置应用于存算一体设备,所述装置包括:确定单元、生成单元、训练单元、获取单元和预测单元;其中:
10.一种存算一体设备,其特征在于,所述设备至少包括:存算一体单元和通信总线;其中:
11.一种存储介质,其特征在于,所述存储介质上存储有信息处理程序,所述信息处理程序被存算一体单元执行时实现如权利要求1至7任一项所述的信息处理方法的步骤。