一种基于课程学习的异质图节点分类方法、设备及产品

    技术2026-08-20  9


    本发明属于计算机科学和网络数据挖掘,涉及一种异质图节点分类方法、设备及产品,具体涉及一种基于课程学习的异质图节点分类方法、设备及产品。


    背景技术:

    1、图是一种用于描述实体及其关系的数据结构,通过节点和边来表示实体以及实体间的复杂关系。异质图表示具有多种节点类型或多种关系类型的复杂网络,典型的异质图包括购物网络、化学分子结构网络、知识图谱等。

    2、异质图节点分类是在异质图数据结构上的一项基本任务,其目标是在给定的有标签训练节点的帮助下,为未标记的节点分配标签。在学术网络分析、风控系统、社交网络分析等许多场景中,异质图节点分类都得到了广泛的应用。为了使用有限的标签信息进行节点分类,许多异质图节点分类模型被相继提出。这些节点分类模型往往先为节点生成一个向量表示,然后再通过节点的表示去推测其标签。早期的节点分类模型往往通过在图中执行随机游走生成节点序列,然后将这些序列视为句子,并采用浅层神经网络学习节点的向量表示。基于深度学习的节点分类模型则在图结构上定义卷积操作,通过邻域聚合机制迭代地聚集来自节点邻居的信息来为节点生成低维特征。尽管这些节点分类模型取得了许多进展,然而其假设所有训练节点都有相等的贡献,因此,在具有数据噪声的环境中,这些模型会受到低质量节点的负面影响,准确率显著下降。

    3、课程学习是一种机器学习训练方法,它首先使用一个高质量的训练子集来训练模型,然后逐渐引入较低质量的样本。通过在初始训练阶段排除低质量样本,课程学习减轻了模型对数据噪声的拟合,从而提高了模型的准确性和鲁棒性。课程学习中最关键的组成部分是度量样本质量的质量评估器。许多工作使用样本的特征来评估其质量,例如在自然语言处理任务中,句子的长度被广泛用于评估样本的质量,因为较短的句子更容易让模型学习。然而,在节点分类任务中,无法直接使用节点的特征来识别低质量节点。


    技术实现思路

    1、为了解决上述技术问题,本发明提出了一种基于课程学习的异质图节点分类方法、设备及产品,首先使用伪标签扩充图中的标签信息,然后使用质量评估器定位两种低质量节点。在得到节点质量之后,该方法按照从高到低的质量顺序将节点引入训练过程,使得基线模型首先从高质量节点中学习到清晰的决策边界,然后逐渐学习更复杂的知识,从而提高模型的性能。

    2、本发明的方法采用的技术方案是:一种基于课程学习的异质图节点分类方法,采用基线模型进行异质图节点分类;所述基线模型,是训练好的模型;训练过程中,首先对于给定的全部训练节点vl,依据每个节点的质量得分对训练集vl进行降序排列;然后通过平滑训练调度器,定义一个随训练轮次t单调递增的调度函数g(t),以从全部训练节点中选择训练子集vt,控制训练初期采用高质量节点进行训练,随着训练进程的推进,逐步将较低质量的节点加入训练;对于任何训练轮次t,使用训练子集vt来训练基线模型f,使用节点分类的交叉熵损失函数来反向更新模型参数;训练在达到预设的轮次后结束,最终完成模型的训练。

    3、作为有选,训练过程中,首先通过多视角节点质量评估器来评估所有训练节点的质量;所述多视角节点质量评估器,由伪标签扩展模块、局部视角节点质量评估器模块和全局视角节点质量评估器模块组成:

    4、所述伪标签扩展模块,由顺序连接的图神经网络、全连接神经网络组成;所述图神经网络,用于为图中节点生成低维表示;所述全连接神经网络,用于为图中节点生成伪标签,以此扩充可用于质量评估的标签资源;

    5、所述局部视角节点质量评估器,从局部图结构的角度出发提出标签分布熵,通过计算节点邻域的标签多样性以识别类间节点;

    6、所述全局视角节点质量评估器,从全局特征的角度提出了节点与其标签类别的一致性函数,从而识别误标节点。

    7、作为有选,所述伪标签扩展模块,对于给定的图g=(v,e,x,vl,y),其中v表示图中的节点集合,e表示图中的边集合,x表示图中节点的原始特征,vl表示训练节点集合,y表示训练节点的真实标签;采用标签扩展方法,首先训练一个节点表示学习模型fp,并使用fp生成节点的表示矩阵h:

    8、h=fp(v,e,x);

    9、然后从节点表示h中推理得到节点的伪标签最终将训练节点的伪标签替换为其原始输入标签,用于后续的质量评估:

    10、

    11、其中,yu表示训练节点u的真实标签,表示训练节点u的伪标签。

    12、作为有选,所述局部视角节点质量评估器模块,对于任意训练节点u,首先预定义一系列有效元路径然后在对于每个元路径引入加权邻域结构评估节点u在该语义关系中的局部质量;其中,在元路径p的语义中,节点u的加权邻域结构包含了通过元路径p实例连接的所有邻居节点集合其中,节点u与其邻居节点v之间的边权重euv被定义为两个节点间元路径实例的数量;

    13、在获得节点u在元路径p下的加权邻域后,进一步通过分析该邻域内的标签分布以评估节点u在此语义下的局部质量;使用表示全部类别的集合,对于给定的元路径p,首先计算节点u的在元路径p定义的加权邻域内归属于任意类别的比例:

    14、

    15、其中是一个指示函数,仅当节点v的伪标签为类别c时输出为1,反之则为0;公式计算了所有属于类别c的邻居权重之和,然后使用邻域的总权重进行归一化,得到类别c的邻居在邻域中的权重比例;

    16、在获取邻域内各个类别c对应的权重分布之后,采用邻域标签熵来量化节点u在元路径p下的局部质量;基于邻域标签熵的语义级局部质量qlocal(u,p)为:

    17、qlocal(u,p)=1-e(u,p);

    18、

    19、其中,e(u,p)表示节点u在元路径p语义下的邻域标签熵,邻域标签熵越大则说明节点u在该语义环境下的邻居节点标签越多样化,即节点更可能是一个类间节点;p(u,p,c)表示节点u在元路径p下的加权邻域中属于类别c的权重比例;qlocal(u,p)为邻域标签熵的补数,表示节点u在该语义下的局部质量,较大的qlocal(u,p)表明节点u通过元路径p相连的邻居节点分布比较一致,表示其在该语义下是个高质量的类内节点;

    20、得到节点u的多个语义级局部质量后,使用多个语义下质量的平均数作为节点的多语义局部质量:

    21、

    22、作为有选,所述全局视角节点质量评估器模块,对于任意一个训练节点u,使用hu来表示其特征;为了进行特征分析,首先使用vc表示图上所有伪标签为c的节点集合:

    23、

    24、其中v表示图中的节点集合;定义节点u对自己的标签类别cu的一致性qglobal(u)为:

    25、

    26、其中,表示全部类别的集合;分子部分,对于一个处于相同类别的节点v,使用特征内积hu·hv来计算计算节点u与相同类别节点之间特征的相似度;被用于将特征相似度进行归一化;分母部分,遍历所有类别逐一计算节点u与类别c的节点之间的相似度,并选出相似度最高的结果;

    27、综合局部和全局两个视角,节点的质量最终被定义为:

    28、q(u)=α·qlocal(u)+(1-α)·qglobal(u);

    29、其中α是一个超参数,被用于调节局部视角节点质量评估值qlocal(u)和全局视角节点质量评估值qglobal(u)在节点质量评估值中的占比。

    30、作为有选,所述调度函数g(t),为glinear(t)、groot(t)或ggeom(t);

    31、其中:

    32、

    33、其中,λ表示在训练初期被选择的训练节点的比例;t为轮次标记。

    34、作为有选,t时刻的训练子集vt和损失函数lt为:

    35、

    36、其中,vt包含了排序后的vl中下标从0开始,直到为止的所有节点,l表示vl的长度,表示向下取整运算;yuc代表节点u的真实标签的one-hot向量,如果节点u属于类别c,则yuc为1,否则为0;是基线模型预测节点u属于类别c的概率值。

    37、本发明的设备采用的技术方案是:一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现所述基于课程学习的异质图节点分类方法。

    38、本发明的产品采用的技术方案是:一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现所述基于课程学习的异质图节点分类方法。

    39、相对于现有技术,本发明的有益效果包括:

    40、(1)为了准确识别两种低质量节点,本发明提出了一种结合本地视角和全局视角的多视角节点质量评估器。本地视角评估器利用图的结构信息,通过分析节点邻域中的标签分布来定位类间节点,因为类间节点邻域中的标签多样性更高。而全局视角评估器则通过评估节点特征与其标签的一致性来识别误标节点。这种多视角节点质量评估器融合了图结构信息和节点特征信息,从而准确评估每个训练节点的质量。

    41、(2)在异质图中,节点的异质性使得质量评估器无法通过邻域标签分布来识别类间节点。为了解决这个问题,本发明提出了一种多语义节点质量评估器。对于每条元路径,评估器从异质图中解析得到一个特定语义下的同质子图,并在此子图上进行语义级别的节点质量评估。在得到多个元路径下的语义级评估结果后,评估器将这些评估结果进行融合,从而得到一个全面的节点质量评估结果。

    42、(3)本发明进一步设计了一种平滑的训练调度器,该调度器按照从高到低的质量顺序将节点引入到训练过程中。这样的方式能够减少模型对低质量节点的拟合,使模型在质量不均的训练集上有效地学习知识。


    技术特征:

    1.一种基于课程学习的异质图节点分类方法,其特征在于:采用基线模型进行异质图节点分类;所述基线模型,是训练好的模型;训练过程中,首先对于给定的全部训练节点vl,依据每个节点的质量得分对训练集vl进行降序排列;然后通过平滑训练调度器,定义一个随训练轮次t单调递增的调度函数g(t),以从全部训练节点中选择训练子集vt,控制训练初期采用高质量节点进行训练,随着训练进程的推进,逐步将较低质量的节点加入训练;对于任何训练轮次t,使用训练子集vt来训练基线模型f,使用节点分类的交叉熵损失函数来反向更新模型参数;训练在达到预设的轮次后结束,最终完成模型的训练。

    2.根据权利要求1所述的基于课程学习的异质图节点分类方法,其特征在于:训练过程中,首先通过多视角节点质量评估器来评估所有训练节点的质量;所述多视角节点质量评估器,由伪标签扩展模块、局部视角节点质量评估器模块和全局视角节点质量评估器模块组成:

    3.根据权利要求2所述的基于课程学习的异质图节点分类方法,其特征在于:所述伪标签扩展模块,对于给定的图g=(v,e,x,vl,y),其中v表示图中的节点集合,e表示图中的边集合,x表示图中节点的原始特征,vl表示训练节点集合,y表示训练节点的真实标签;采用标签扩展方法,首先训练一个节点表示学习模型fp,并使用fp生成节点的表示矩阵h:

    4.根据权利要求2所述的基于课程学习的异质图节点分类方法,其特征在于:所述局部视角节点质量评估器模块,对于任意训练节点u,首先预定义一系列有效元路径然后在对于每个元路径引入加权邻域结构评估节点u在该语义关系中的局部质量;其中,在元路径p的语义中,节点u的加权邻域结构包含了通过元路径p实例连接的所有邻居节点集合其中,节点u与其邻居节点v之间的边权重euv被定义为两个节点间元路径实例的数量;

    5.根据权利要求2所述的基于课程学习的异质图节点分类方法,其特征在于:所述全局视角节点质量评估器模块,对于任意一个训练节点u,使用hu来表示其特征;为了进行特征分析,首先使用vc表示图上所有伪标签为c的节点集合:

    6.根据权利要求1-5任一项所述的基于课程学习的异质图节点分类方法,其特征在于:所述调度函数g(t),为glinear(t)、groot(t)或ggeom(t);

    7.根据权利要求1-5任一项所述的基于课程学习的异质图节点分类方法,其特征在于:t时刻的训练子集vt和损失函数lt为:

    8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述基于课程学习的异质图节点分类方法。

    9.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于课程学习的异质图节点分类方法。


    技术总结
    本发明公开了一种基于课程学习的异质图节点分类方法、设备及产品,采用基线模型进行异质图节点分类;所述基线模型,是训练好的模型;训练过程中,首先对于给定的全部训练节点V<subgt;L</subgt;,依据每个节点的质量得分对训练集V<subgt;L</subgt;进行降序排列;然后通过平滑训练调度器,定义一个随训练轮次t单调递增的调度函数g(t),以从全部训练节点中选择训练子集V<subgt;t</subgt;,控制训练初期采用高质量节点进行训练,随着训练进程的推进,逐步将较低质量的节点加入训练;对于任何训练轮次t,使用训练子集V<subgt;t</subgt;来训练基线模型f,使用节点分类的交叉熵损失函数来反向更新模型参数。本发明有助于在现实世界的节点分类场景中提升基线模型的准确率和鲁棒性。

    技术研发人员:胡文斌,魏孝文
    受保护的技术使用者:武汉大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-47219.html

    最新回复(0)