本公开涉及数据分类分级,尤其涉及一种基于元数据的分类分级方法及装置。
背景技术:
1、随着数字技术的快速发展和广泛应用,越来越多机构能够收集并存储大量的外部和内部隐私数据,而隐私数据的保密性使得企业不得不直面数据安全和隐私保护的问题,既要保护客户的隐私安全、防止数据泄露和未经授权的访问,又要最大程度地利用隐私数据创造价值以帮助决策分析。因此对数据的分类分级任务应运而生。对数据进行有效地分类分级,不仅可以帮助机构了解和评估不同类型的隐私数据的风险程度,更好地管理数据的访问权限,进行数据生命周期性管理,同时也有助于机构遵守相关的隐私法规和合规要求。
2、隐私数据的数量非常庞大和复杂,使用ai技术进行分类分级能够大大提高处理速度,减轻人工工作负担,但是目前分类分级任务依旧面临着类别数量多、类别定义不清晰、标签选择具有主观性、训练数据不足和数据质量无法评价等问题,而分类分级系统的预测准确性会受到所用数据质量的影响。另外,分类分级任务的解释性对于许多应用场景至关重要。因此,开发可解释的机器学习算法和提供解释性的分类结果是目前数据分类分级任务中的重要研究方向。
技术实现思路
1、有鉴于此,本申请提出一种基于元数据的分类分级方法及装置,以解决上述问题。
2、本申请一方面,提出一种基于元数据的分类分级方法,包括如下步骤:
3、获取元数据,将所述元数据基于冷启动任务打标后,得到冷启动打标数据,并集合用户自有打标数据,得到训练数据;
4、利用所述元数据的关键词频数确定目标特征工程参数;
5、将所述训练数据输入分类训练模型,并结合所述目标特征工程参数对所述分类训练模型进行训练,得到调参后的所述分类训练模型;
6、根据行业分类分级规范和所述冷启动打标数据及所述用户自有打标数据制定推理规则表;
7、获取待推理元数据,并通过调参后的所述分类训练模型和所述推理规则表对所述待推理元数据进行推理和溯源,得到相应的分类分级结果和推理解释。
8、作为本申请的一可选实施方案,可选地,所述获取元数据,将所述元数据基于冷启动任务打标后,得到冷启动打标数据,包括:
9、获取元数据;
10、提取所述行业分类分级规范中的示例词;
11、利用词向量模型计算所述元数据的字段名与每个示例词的余弦相似度;
12、通过所述余弦相似度中最大阈值对应的示例词对所述元数据进行筛选,得到冷启动打标数据。
13、作为本申请的一可选实施方案,可选地,在利用所述元数据的关键词频数确定目标特征功能参数时,基于贪心算法和向前选择实现。
14、作为本申请的一可选实施方案,可选地,所述将所述训练数据输入分类训练模型,并结合所述目标特征工程参数对所述分类训练模型进行训练,得到调参后的所述分类训练模型,包括:
15、将所述训练数据输入分类训练模型,并对所述训练数据进行特征工程;
16、利用所述目标特征工程参数对所述分类训练模型中的每个二分类器进行调参,对应得到每个调参后的所述二分类器。
17、作为本申请的一可选实施方案,可选地,所述获取待推理元数据,并通过调参后的所述分类训练模型和所述推理规则表对所述待推理元数据进行推理,得到相应的分类分级结果和推理解释,包括:
18、获取待推理元数据;
19、利用调参后的所述分类训练模型和所述推理规则表对所述待推理数据进行推理,得到分类分级结果;
20、基于所述分类分级结果生成对应的规则推理解释和模型推理解释。
21、作为本申请的一可选实施方案,可选地,在利用调参后的所述分类训练模型和所述推理规则表对所述待推理数据进行推理和溯源,得到分类分级结果时,还包括:
22、对所述分类分级结果进行纠偏处理。
23、作为本申请的一可选实施方案,可选地,在对所述分类分级结果进行纠偏处理时,包括:
24、根据所述推理规则表确定所述待推理元数据的分类范围;
25、根据所述分类训练模型确定所述待推理元数据被预测为不同分类的概率;
26、确定所述分类范围内所述概率的概率最大值,并以对应的分类作为分类分级结果。
27、本申请另一方面,提供一种装置,用于实现上述任一项所述的基于元数据的分类分级方法,包括:
28、冷启动模块,被配置为获取元数据,将所述元数据基于冷启动任务打标后,得到冷启动打标数据,并集合用户自有打标数据,得到训练数据;
29、特征工程模块,被配置为利用所述元数据的关键词频数确定目标特征工程参数;
30、模型训练模块,被配置为将所述训练数据输入分类训练模型,并结合所述目标特征工程参数对所述分类训练模型进行训练,得到调参后的所述分类训练模型;
31、规则挖掘模块,被配置为根据行业分类分级规范和所述冷启动打标数据和所述用户自有打标数据制定推理规则表;
32、推理溯源模块,被配置为获取待推理元数据,并通过调参后的所述分类训练模型和所述推理规则表对所述待推理元数据进行推理和溯源,得到相应的分类分级结果和推理解释。
33、本申请另一方面,提供一种控制系统,包括:
34、处理器;
35、用于存储处理器可执行指令的存储器;
36、其中,所述处理器被配置为执行所述可执行指令时实现上述任一项所述的基于元数据的分类分级方法。
37、本申请再一方面,提供一种非易失性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述任一项所述的基于元数据的分类分级方法。
38、本发明的技术效果:
39、本申请以冷启动为起点,经过规则和模型联合推理之后,以推理溯源为终点,形成一个完整的分类分级任务闭环,以解决分类分级任务下训练数据不足、打标流程繁琐、人工打标结果不规范和预测结果可解释性较差等问题。其中,由于考虑到分类分级中很可能存在训练数据打标质量问题,仅仅使用模型推理会使推理结果过多依赖训练数据,因此本申请加入了规则推理,通过在规则推理和模型推理的联合预测下,能够对数据更加合理和灵活的分类分级。针对分类分级的主要问题都提供了切实可行的解决方法,与实际业务场景密切结合,分类分级效果毫不逊色于大数据训练得到的深度模型。
40、根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
1.一种基于元数据的分类分级方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于元数据的分类分级方法,其特征在于,所述获取元数据,将所述元数据基于冷启动任务打标后,得到冷启动打标数据,包括:
3.根据权利要求1所述的基于元数据的分类分级方法,其特征在于,在利用所述元数据的关键词频数确定目标特征功能参数时,基于贪心算法和向前选择实现。
4.根据权利要求1所述的基于元数据的分类分级方法,其特征在于,所述将所述训练数据输入分类训练模型,并结合所述目标特征工程参数对所述分类训练模型进行训练,得到调参后的所述分类训练模型,包括:
5.根据权利要求4所述的基于元数据的分类分级方法,其特征在于,所述获取待推理元数据,并通过调参后的所述分类训练模型和所述推理规则表对所述待推理元数据进行推理,得到相应的分类分级结果和推理解释,包括:
6.根据权利要求5所述的基于元数据的分类分级方法,其特征在于,在利用调参后的所述分类训练模型和所述推理规则表对所述待推理数据进行推理和溯源,得到分类分级结果时,还包括:
7.根据权利要求6所述的基于元数据的分类分级方法,其特征在于,在对所述分类分级结果进行纠偏处理时,包括:
8.一种装置,用于实现上述权利要求1-7任一项所述的基于元数据的分类分级方法,其特征在于,包括:
9.一种控制系统,其特征在于,包括:
10.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现权利要求1至7任一项所述的基于元数据的分类分级方法。
