本技术涉及车联网模型训练，尤其涉及面向联邦学习的多模态车联网模型平衡化训练方法、系统及设备。
背景技术：
1、多模态学习是机器学习和人工智能领域的一个重要研究方向，它涉及到处理并整合来自多个模态的数据和数据。多模态学习的目标是提高系统对世界的理解和智能行为的能力，因为现实世界的任务和决策往往需要综合多种类型的感官输入。
2、举例来说，现实世界中的数据载体包括有文本、语音、图像以及视频等多种模态的数据，而深度学习模型对于这些数据载体的理解方式和人类不同，有些深度学习模型无法接收多模态数据，例如open ai公司的chat gpt3.5，只能接收分析文本数据，而例如kimi，则既可以接收分析文本数据，也可以接收分析图像数据。显然，kimi就比chat gpt3.5更加方便地和使用者进行沟通。
3、而多模态学习的处理方式是目前研究的热门方向，有些支持多模态输入输出的模型在接收到非文本数据时，先将其解析为文本数据，再转换成为非文本数据。对于多模态数据在解析时，由于各种数据的不一致甚至矛盾，导致模型训练难以优化。
4、因此，多模态模型的开发还面临着许多技术难题。特别是本技术面临的用于医疗诊断的多模态模型训练问题。
5、因此，同时进行多模态学习和联邦学习的车联网模型，将会同时面临多模态数据和联邦学习中的不平衡问题，例如训练数据不平衡和客户端算力不平衡。
6、多模态的训练数据不平衡的现象有：各个客户端上传的数据模态不平衡，不同的数据模态固有的特性和信息量不同。
7、造成多模态的算力不平衡的现象有：各个客户端的设备算力不同，因为联邦学习的特性，导致算力弱的客户端会拖慢整个模型学习的进程。
8、因此，为了训练多模态的车联网模型，同时解决上述不平衡问题，本技术提供一种面向联邦学习的多模态车联网模型平衡化训练方法、系统及设备。
技术实现思路
1、为克服相关技术中存在的问题，本技术提供1.一种面向联邦学习的多模态车联网模型平衡化训练方法，其特征在于，包括：
2、s1、在服务端构建车联网模型并分发到n个客户端；所述n为大于等于1的整数；
3、s2、所述服务端根据客户端评估公式确定所述客户端的评估分数；
4、s3、所述服务端根据所述第n个客户端的评估分数和动态客户选择算法确定参与模型训练的所述客户端，确保了高效的资源利用和模态平衡化所需模态客户；
5、s4、所述服务端获取中间特征，并根据所述中间特征进行模型训练；所述中间特征由参与模型训练的各个所述客户端根据本地训练集提取并上传；所述中间特征包括n个所述客户端收集的本地数据特征；根据模态i的shapley值调整全局模型的训练参数，确保每种模态的贡献被公正地反映在训练过程中；
6、s5、所述服务端根据学习率计算总训练集中各模态类型数据的学习率，确保不同模态在训练过程中的贡献被公平对待，避免某一模态的数据对模型产生过大影响；
7、s6、所述服务端根据所述学习率确定下一轮次训练的模态优化策略；
8、s7、所述服务端将更新的所述模态优化策略分发到参与训练的所述客户端；
9、s8、所述客户端根据所述模态优化策略调整本地特征提取参数，并从各自的本地数据集中提取中间特征；
10、s9、判断全局模型是否完成训练，若是，则输出训练完成的全局模型若否，则执行步骤s3。
11、在一种实施方式中，所述客户端评估公式为：
12、scoren＝α1×diin+α2×mcin+β×cpin
13、其中，diin为第n个客户端提供的本地训练集的数据完整性指数，mcin为第n个客户端提供的本地训练集的模态覆盖度，cpin为第n个客户端的计算能力，α1、α2和β是各自调整权重的系数，scoren为第n个客户端的评估分数。
14、在一种实施方式中，所述动态客户选择算法为：
15、cn＝scoren+γ×mfn
16、其中，γ是调节模态因素重要性的系数，mfn表示第n个客户端提供的模态类型的多样性和当前服务端对模态的需求性进行评分。
17、在一种实施方式中，所述学习率的计算公式为：
18、
19、其中，lrm是模态i的学习率，erri是模态i的当前错误率，tgt是目标错误率，γ是学习率调整因子，lrbase为初始学习率。
20、在一种实施方式中，当前轮次的训练完成后，所述服务端将对模型性能评估算法确定模型性能；
21、所述模型性能评估算法为：
22、p＝ω1×acc+ω2×f1
23、其中，acc是准确率，f1是f1分数，ω1和ω2是调整两者重要性的系数，p为当前轮次更新后的模型性能指标；
24、根据所述模型性能指标调整动态客户选择算法和模态优化策略，优化后续训练批次的效果。
25、在一种实施方式中，所述模态权重参数基于训练集的模态i的shapley值确定，所述shapley值的计算公式为：
26、
27、其中，ψi(f)是模态i的shapley值，m是模态的集合，m是模态的总数，t是任意一个不包含模态i的模态集合，f(t)是模态集合t的模型性能值，f(t∪{i})是模态集合t与模态i结合后的模型性能值；
28、所述模态权重参数的计算公式为：
29、
30、其中，wi,s表示样本s中模态i的权重,ψi,s表示模态i的shapley值。
31、在一种实施方式中，所述模态优化策略具体包括：
32、所述客户端根据中间特征提取的损失函数进行特征提取；
33、中间特征提取损伤函数为：
34、
35、其中，lossi是针对模态i的损失函数，k是样本数量，yk是第k个样本的真实标签，xk是第k个样本的输入数据，f(xk；θi)是针对模态i的特征提取函数的预测值，θi是特征提取函数的权重参数。具体的，特征提取损失函数的θi根据学习率进行调整优化。
36、本技术第二方面提供一种分布式模型训练系统，包括：客户端和服务端；
37、所述服务端用于执行所述多模态车联网模型平衡化训练方法中的全局模型的聚合步骤；
38、所述客户端用于执行所述多模态车联网模型平衡化训练方法中的本地训练步骤。
39、本技术第三方面提供一种分布式模型训练设备，基于所述多模态车联网模型平衡化训练方法，用于多模态车联网模型的训练。
40、本技术提供的技术方案可以包括以下有益效果：
41、(1)本技术通过一种动态调节的学习策略，能够针对不同模态的特性调整其学习过程，从而允许选择阶段存在一定的误差。确保即使是在数据量或质量上相对较弱的模态也能获得适当的关注和强化，确保了整个模型的学习过程更为均衡和高效。
42、(2)本技术通过客户动态选择算法在联邦训练中选取符合要求的客户端参与训练。本技术让提供最有价值数据的客户端参与当前训练批次，从而避免了所有客户端均参与每一次训练的需要，显著降低计算负担，特别是在参与设备性能参差不齐的情况下，可以显著减少对低性能设备的计算要求。
43、(3)本技术便于集成到各种现有的多模态联邦学习框架中，不需改变原有模型架构，而是通过在模型训练过程中引入动态客户选择和模态优化机制，使得本发明能够无缝集成到各种现有技术中。
44、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
1.一种面向联邦学习的多模态车联网模型平衡化训练方法，其特征在于，包括：
2.根据权利要求1所述的多模态车联网模型平衡化训练方法，其特征在于，所述客户端评估公式为：
3.根据权利要求2所述的多模态车联网模型平衡化训练方法，其特征在于，所述动态客户选择算法为：
4.根据权利要求1所述的多模态车联网模型平衡化训练方法，其特征在于，所述学习率的计算公式为：
5.根据权利要求1所述的多模态车联网模型平衡化训练方法，其特征在于，
6.根据权利要求1所述的多模态车联网模型平衡化训练方法，其特征在于，
7.根据权利要求1所述的多模态车联网模型平衡化训练方法，其特征在于，所述模态优化策略具体包括：
8.一种分布式模型训练系统，其特征在于，包括：客户端和服务端；
9.一种分布式模型训练设备，其特征在于，基于权利要求1至7任一项所述的多模态车联网模型平衡化训练方法，用于多模态车联网模型的训练。
