本发明属于数据处理,具体的说是多源异构数据融合下的商用货车画像构建与标签分配方法。
背景技术:
1、商用货车画像是一种将商用货车的多维度特征数据整合成易于理解和使用的结构化形式的过程,包括车辆的基本属性:如品牌、型号、吨位,运营状态:如行驶里程、维修记录,行驶行为:如常跑路线、平均速度信息,通过数据挖掘和机器学习技术,将这些复杂的数据转化为一系列标签或特征向量,形成每辆车的独特画像。
2、标签分配是在货车画像构建的基础上,根据车辆的特定属性和行为模式,给每辆货车分配一个或多个类别标签的过程,这些标签可以是车辆类型:如冷藏车、平板车,使用频率:如高频使用、低频备用,维护状态:如良好、需维修,而标签分配旨在通过简洁明了的标签来快速识别和区分不同特性的货车,支持高效决策和自动化流程。
3、如公开号为cn111291236a的中国专利申请公开了一种高速路网用户画像信息获取与分析方法及系统,包括:使用了用户画像技术,建立etc用户画像建设方案模型并开发一套etc用户画像分析原型系统,对高速公路etc用户构建用户基本属性、用户消费、用户出行时空习惯、用户价值、用户活跃度、用户信用等标签,多角度描述、刻画用户。在用户分群的基础上刻画不同用户的出行习惯,进一步分析客车和货车出行的关联性、差异性及背后的原因;从时间角度,分析节假日、昼夜等对用户出行的影响。系统基于所提出的etc用户画像模型,基于sql数据库和python语言设计。该技术方案具有使用高效、运算成本低和结果实时性强等优势,能够满足实际应用需求。
4、以上现有技术均存在以下问题:1)在面对复杂多变的交通环境和用户行为时,精细度较低;2)在面对快速变化的交通状况和用户需求时,其动态调整能力可能受限;3)应用场景相对单一。
技术实现思路
1、针对现有技术的不足,本发明提出了多源异构数据融合下的商用货车画像构建与标签分配方法,通过收集多源异构数据,采用自适应预处理与主成分分析提取关键特征,并构造高级特征进行融合,形成多维度特征数据集;基于该数据集,运用复合增强学习算法结合多模态数据构建商用货车画像,并分配精准画像标签;系统引入因果推断方法检测标签分配中的偏差与异常,建立反馈机制优化机器学习模型参数及画像体系;货车画像在实际业务中应用,收集反馈持续优化,并开发个性化服务推荐系统,提升物流行业智能化水平,增强服务个性化与精准度。
2、为实现上述目的,本发明提供如下技术方案:
3、多源异构数据融合下的商用货车画像构建与标签分配方法,包括:
4、步骤s1:收集多源异构数据,并使用自适应算法进行预处理,采用主成分分析方法对预处理后的多源异构数据进行特征提取,同时,基于预处理后的多源异构数据,通过特征构造方法构造高级特征,并将特征提取结果与高级特征进行融合,获得多维度特征数据集;
5、步骤s2:基于多维度特征数据集,采用画像构建策略构建商用货车画像,引入多模态数据,并使用复合增强学习算法为货车分配对应的画像标签;
6、步骤s3:使用因果推断方法识别标签分配中的偏差和异常,建立反馈机制,将检测到的偏差和异常信息反馈给画像构建系统,调整机器学习模型的参数,并根据反馈结果,迭代优化画像构建系统和标签分配策略;
7、步骤s4:将货车画像应用于实际业务场景,收集应用效果的反馈,持续迭代优化画像构建系统,同时,利用货车画像数据,结合用户行为分析,开发个性化服务推荐系统。
8、具体地,所述步骤s2的具体步骤包括:
9、s2.1:获取多维度特征数据集,其中,表示货车基本信息特征,表示货车运营数据特征,表示环境数据特征,表示货车司机的行为数据特征,n表示货车基本信息特征的数量,m表示货车运营数据特征的数量,p表示环境数据特征的数量,q表示货车司机的行为数据特征的数量;
10、s2.2:根据多维度特征数据集类别定义画像维度,根据画像维度,使用标签计算方法将标签划分为事实标签、模型标签和高级标签体系,基于标签计算方法和多维度特征数据集x,为每个标签设置取值范围。
11、具体地,所述步骤s2的具体步骤还包括:
12、s2.3:对x进行聚类分析,聚类完成后,使用分类策略划分每类特征,并使用深度强化学习结合聚类-分类结果,为每类特征进行标签分配;
13、s2.4:基于标签体系,构建货车画像,并使用评估指标评估画像构建效果,根据评估结果调整特征选择、复合增强学习算法参数,优化画像构建过程。
14、具体地,所述s2.2中标签计算方法具体包括:
15、s2.21:确定标签计算方法和取值;
16、若为事实标签,则根据数据集中的特征值进行赋值,并设置取值范围,其中,a、b分别表示事实标签数值范围的最小值和最大值;
17、若为高级标签,则基于多个事实标签通过加权求和进行综合计算,并设置取值范围,其中,c、d分别表示高级标签数值范围的最小值和最大值;
18、若为模型标签,则使用回归统计方法计算标签值,并根据标签值设置级别为高、中、低;
19、s2.22:使用定义好的标签计算方法和x,计算每个特征对象的标签值,并将计算得到的标签值赋给对应的特征对象,构建标签体系。
20、具体地,所述s2.3的具体步骤包括:
21、s2.31:根据轮廓系数法设置聚类数和距离度量方式,使用聚类策略将x进行簇划分,并计算每个数据点的轮廓系数,并使用改进的轮廓算法评估聚类效果,公式为:
22、
23、其中,表示商用货车i的综合评分,表示第j个指标的权重,和表示货车i在第j个指标下的最低性能指标值和最高性能指标值,和表示用于调整和在计算中的权重系数,表示偏移量,j表示不同指标类型,r表示指标类型的总数;
24、s2.32:基于聚类结果,分析每个簇的特征,根据不同特征制定分类策略,并使用分类策略为聚类后的每个簇分配标签。
25、具体地,所述s2.3的具体步骤还包括:
26、s2.33:利用深度强化学习算法,根据货车在不同状态下的特征,学习最优的行为策略,其中,以聚类标签作为状态空间;
27、s2.34:根据实际应用效果,收集反馈信息,对聚类算法、分类策略、深度强化学习模型进行迭代优化,调整参数和深度强化学习模型结构。
28、具体地,所述s2.33中深度强化学习算法的具体公式为:
29、
30、其中,表示参数的梯度,表示梯度函数,表示在策略下的期望,表示t时刻的动作,表示策略函数,是在状态下选择动作的概率,表示t时刻的状态,表示优势函数,是从时间t开始到终止状态的累积奖励,表示折扣因子,表示状态下的价值函数,表示状态下的价值函数,表示基线函数,t表示时间长度。
31、一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现多源异构数据融合下的商用货车画像构建与标签分配方法的步骤。
32、一种计算机可读存储介质,其上存储有计算机指令,当计算机指令运行时执行多源异构数据融合下的商用货车画像构建与标签分配方法的步骤。
33、与现有技术相比,本发明的有益效果是:
34、1.本发明提出多源异构数据融合下的商用货车画像构建与标签分配方法,通过收集并融合来自不同源,如传感器、社交媒体、卫星图像、移动应用,和不同类型,如结构化、半结构化、非结构化的数据,提高了数据的全面性和多样性;采用自适应算法对数据进行预处理,包括数据清洗、数据集成和数据转换步骤,有效去除了数据中的噪声和异常值,提高了数据的质量和可用性;通过对预处理后的多源异构数据进行主成分分析,提取了数据中的主要特征,降低了数据的维度并保留了关键信息;通过特征构造方法构造高级特征,并将特征提取结果与高级特征进行融合,获得了多维度特征数据集,这种融合方式进一步丰富了画像的特征维度,提高了画像构建的精准度和丰富度。
35、2.本发明提出多源异构数据融合下的商用货车画像构建与标签分配方法,基于多维度特征数据集,采用画像构建策略构建商用货车画像,并引入多模态数据和复合增强学习算法为货车分配对应的画像标签,这种方法能够根据货车的实际运行情况和市场环境,动态调整标签分配策略,提高标签的准确性和适用性;使用因果推断方法识别标签分配中的偏差和异常,建立反馈机制,能够及时发现并纠正标签分配中的错误和不合理之处,确保画像的准确性和可靠性。
1.多源异构数据融合下的商用货车画像构建与标签分配方法,其特征在于,包括:
2.如权利要求1所述的多源异构数据融合下的商用货车画像构建与标签分配方法,其特征在于,所述步骤s2的具体步骤包括:
3.如权利要求2所述的多源异构数据融合下的商用货车画像构建与标签分配方法,其特征在于,所述步骤s2的具体步骤还包括:
4.如权利要求3所述的多源异构数据融合下的商用货车画像构建与标签分配方法,其特征在于,所述s2.2中标签计算方法具体包括:
5.如权利要求4所述的多源异构数据融合下的商用货车画像构建与标签分配方法,其特征在于,所述s2.3的具体步骤包括:
6.如权利要求5所述的多源异构数据融合下的商用货车画像构建与标签分配方法,其特征在于,所述s2.3的具体步骤还包括:
7.如权利要求6所述的多源异构数据融合下的商用货车画像构建与标签分配方法,其特征在于,所述s2.33中深度强化学习算法的具体公式为:
8.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的多源异构数据融合下的商用货车画像构建与标签分配方法的步骤。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,当计算机指令运行时执行权利要求1-7任一项所述的多源异构数据融合下的商用货车画像构建与标签分配方法的步骤。