大语言模型文本分类中边界模糊与固有偏差的处理方法

    技术2024-12-25  52


    本发明涉及自然语言处理技术,尤其涉及一种大语言模型文本分类中边界模糊与固有偏差的处理方法。


    背景技术:

    1、传统文本分类方法通常涉及使用rnn、gcn或transformer进行特征提取,这些特征随后被输入到分类器头部并分配相应的标签。为了解决常见的数据稀缺问题,元学习范式出现,利用从已知类别中获得的先验知识来识别具有最小标记示例的新类别。然而,这些方法需要监督微调,并且应用有限。现代语言模型的强大功能使其能够实现零样本或少样本分类,而无需更新模型。尽管有这些进步,但基于语言模型的分类方法在解决实际挑战方面的探索仍然不足,例如处理模糊边界和固有偏差。


    技术实现思路

    1、本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种大语言模型文本分类中边界模糊与固有偏差的处理方法。

    2、本发明解决其技术问题所采用的技术方案是:一种大语言模型文本分类中边界模糊与固有偏差的处理方法,包括以下步骤:

    3、1)获取待分类的目标文本以及待选择的候选标签选项集y

    4、基于所述目标文本从全量标签确定待选择的候选标签选项集y;

    5、2)采用大语言模型基于所述目标文本从所述候选标签选项集中选择与所述目标文本相匹配的目标标签;

    6、2.1)模型自减;

    7、大语言模型通过多轮策略迭代,细化候选标签选项以到达r,即pθ(r|x,y);

    8、2.1.1)使用llms在候选集y中逐次选择最有可能的标签选项,并在下一次迭代中将其隔离,持续迭代直到达到预设阈值,从而促进标签的稳定细化;

    9、2.1.2)基于聚类的窗口减小(cbwr):对步骤2.1.1)剩余的标签选项,对其进行聚类分为k个簇,对每个簇中的样本均匀采样并放入窗口中,使用llms从窗口中选择前n名候选人,逐步丢弃可能性较低的选项;

    10、2.1.3)将步骤2.1.1)隔离的标签选项和步骤2.1.2)选择的标签选项作为集合r;

    11、2.2)对集合r中剩余候选标签选项进行相似性差异决策筛选;

    12、2.2.1)从集合r中剩余候选标签选项选择两个标签y1和y2;

    13、2.2.2)使用目标文本和标签y1和y2,扩展为包括这两个标签的演示句子,即s=sy1∪sy2;

    14、2.2.3)采用llms分析与这些标签相关的演示句子的相似性和差异性,并最终决定要消除的标签;

    15、2.2.4)循环步骤2.2.1)至2.2.3)至只剩下一个标签,将该标签作为最终答案。

    16、按上述方案,所述步骤2.1.2)中,具体如下:

    17、将对步骤2.1.1)剩余的n个标签选项作为初始的选项集合s,对n个选项聚成k个簇,从每个簇中采样一个标签选项,共选择k个选项;

    18、使用llm大模型从k个选项中选择最可能的n个标签选项,将其他的选项从选项集s中删除;

    19、重复上述过程直到选项集中的数量少于预定义的数量。

    20、按上述方案,所述步骤2.2.3)中,使用对比连锁思维(pc-cot)分析与这两个标签相关的演示句子的相似性和差异性,并最终决定要消除的标签;具体如下:

    21、使用llm大模型对比不同类别选项下演示句子文本的差异性和相同类别选项下演示句子文本的相似性,然后将llm大模型分析的结果添加到上下文中,以学习类别之间的标签选项差异特征;

    22、然后根据标签选项差异特征区分选项之间的细微差别,从候选集标签选项中两两比较的方式判断选出优选项,决定要消除的标签。

    23、本发明产生的有益效果是:

    24、本发明为大语言模型文本分类提出了一个新颖的两阶段分类框架,包括减少和比较阶段。该框架使用配对比较来解决模糊性和偏差问题,并引入创新的自我减法算法,可以提高去偏差能力和分类准确率。



    技术特征:

    1.一种大语言模型文本分类中边界模糊与固有偏差的处理方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的大语言模型文本分类中边界模糊与固有偏差的处理方法,其特征在于,所述步骤1)中,获取待选择的候选标签选项集y为基于所述目标文本从全量标签确定待选择的候选标签选项集。

    3.根据权利要求1所述的大语言模型文本分类中边界模糊与固有偏差的处理方法,其特征在于,所述步骤2.1)中,

    4.根据权利要求3所述的大语言模型文本分类中边界模糊与固有偏差的处理方法,其特征在于,所述步骤2.1.2)中,具体如下:

    5.根据权利要求1所述的大语言模型文本分类中边界模糊与固有偏差的处理方法,其特征在于,所述步骤2.2.3)中,使用对比连锁思维技术分析与这两个标签相关的演示句子的相似性和差异性,并最终决定要消除的标签;具体如下:

    6.一种电子设备,其特征在于,

    7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述的方法。


    技术总结
    本发明公开了一种大语言模型文本分类中边界模糊与固有偏差的处理方法,包括以下步骤:1)获取待分类的目标文本以及待选择的候选标签选项集Y;2)采用大语言模型基于所述目标文本从所述候选标签选项集中选择与所述目标文本相匹配的目标标签;2.1)使用LLMs在候选集Y中选择最有可能的标签选项进行模型自减,获得选择后的标签选项集合R;2.2)对集合R中剩余候选标签选项进行相似性差异决策筛选。本发明为大语言模型文本分类提出了一个新颖的两阶段分类框架,包括减少和比较阶段。该框架使用配对比较来解决模糊性和偏差问题,并引入自我减法算法,可以提高去偏差能力和分类准确率。

    技术研发人员:魏巍,田杰,鲁镇仪,蔡珂,谢文峰,陈当阳
    受保护的技术使用者:华中科技大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-24256.html

    最新回复(0)