本发明涉及用于监测或测试数据交换网络的,尤其涉及一种基于ai驱动的网络边界威胁检测系统。
背景技术:
1、网络边界威胁指的是那些针对组织或个人的网络安全边界的恶意活动或攻击,这些威胁可能来自外部或内部,目的是获取未授权访问、窃取数据、破坏服务或执行其他恶意行为,主要包括:恶意软件、网络钓鱼、零日漏洞攻击、高级持续性威胁。
2、随着网络攻击手段的日益复杂化,传统的基于签名匹配的威胁检测方法已难以应对新型攻击,现有的威胁检测系统在准确性和检测速度上存在不足,尤其是在面对零日攻击和apt攻击时。
3、现有技术中公开了相关技术:
4、公开号cn108494806a的中国专利申请公开了一种基于人工智能的网络威胁预警监测系统,该系统包括:数据采集模块,用于通过监测节点获取网络中的数据信息;数据预处理模块,用于对采集的数据信息进行预处理,得到用于描述网络安全状态的态势信息;威胁估计模块,用于根据得到的态势信息,对网络面临的威胁程度进行估计;分级预警模块用于根据对威胁程度的估计结果,对威胁程度进行分级,并生成相应的预警信号进行报警。通过采集网络中的数据信息,实现对网络实时监测,检测出网络攻击事件,并根据网络攻击事件的严重程度产生不同级别的预警,方便系统管理员作出不同的处理。
5、公开号cn117240526a的中国专利申请公开了基于人工智能的网络攻击自动化防御系统;具体公开了:实时监测单元对终端用户的请求信息进行实时检测,行为分析单元计算在监控时段tw内,终端用户的请求次数,威胁情报单元判断请求次数是否超过预设的访问上限,当超过访问上限后,对其进行拦截;拦截过后,在任意tw内,漏洞管理单元随机取消拦截,如果继续进行异常请求,则继续拦截,如果已经停止访问请求,通过持续监控和响应单元计算异常访问时的频率,取消拦截,利用学习和优化单元根据过去的数据和行为模式来调整响应措施。不仅不断进行调整和优化,以适应不断变化的威胁环境;还不断改进响应策略,减少了误判的可能性,提高系统的响应效率和准确性。
6、公开号cn117527295a中国专利申请公开了基于人工智能的自适应网络威胁检测系统;具体公开了:包括:数据收集模块,其配置为收集网络流量数据,并生成第一数据集;数据预处理模块,进行去噪和标准化操作,生成第二数据集;特征选择模块,根据预定特征选择算法对第二数据集进行特征选择,生成第三数据集;人工智能模型模块,生成第四数据集;自适应模块,根据第四数据集中的威胁判断与第一数据集中的原始网络流量数据进行对比和分析,自动调整人工智能模型模块的参数;预测修正模块,生成第五数据集。不仅提高了威胁检测的准确性,而且由于模块之间的数据流动和参数调整都是自动进行的,提高了系统的响应速度和灵活性。
7、然而,上述现有技术仍然存在以下问题:
8、(1)未对零日攻击或未知的首次威胁进行充分考虑,对于威胁的检测不充分;
9、(2)对未检测出的数据信任度过高,容易遗漏威胁行为。
技术实现思路
1、为解决上述技术问题,本发明通过以下技术方案实现:一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述检测系统包括数据采集模块、数据预处理模块、特征提取模块、生成对抗网络模块、检测模块、模拟模块;
2、所述数据采集模块用于从网络边界采集流量数据、日志文件、调用记录,构成原始数据集;
3、所述数据预处理模块用于对采集得到的数据进行清洗和标准化处理,构成标准化数据集;数据预处理包括去除无关数据、填补缺失值、格式统一、异常值处理;
4、所述特征提取模块用于从标准化数据集中提取特征数据;
5、所述生成对抗网络模块用于增强训练数据集;
6、所述检测模块用于对网络边界威胁进行检测,输出检测结果,检测结果包括正常行为和未知行为;
7、所述模拟模块用于对未知行为进行模拟,分析未知行为造成影响,根据影响程度将行为定义为正常行为或威胁行为。
8、进一步地,所述特征提取模块包括特征提取单元和特征分类单元,所述特征分类单元用于将特征数据分为可识别数据和不可识别数据,其中可识别数据为已知正常行为特征,构成正常行为特征集:
9、tsecure=[s1,s2λsk]
10、其中,tsecure为正常行为特征集,[s1,s2λsk]为正常行为特征向量。
11、进一步地,所述生成对抗网络模块包括生成器和判别器;
12、所述生成器基于正常行为特征集生成模拟正常行为样本;所述判别器对生成的模拟正常行为样本进行判别,重复生成训练,得到预定数量和质量的模拟正常行为样本。
13、进一步地,所述检测模块用于对网络边界威胁进行检测的具体步骤包括:
14、(1)将模拟正常行为样本与真实样本混合,构成训练集、测试集以及验证集;
15、(2)训练得到正常行为检测模型;
16、(3)基于正常行为检测模型对特征分类单元提取得到的不可识别数据进行检测,输出检测结果。
17、进一步地,所述可识别数据还包括已知威胁行为特征,构成威胁行为特征集:
18、tmenace=([m1,m2λmk],type)
19、其中,tmenace为威胁行为特征集,[m1,m2λmk]为威胁行为特征向量,type为威胁类型。
20、进一步地,所述生成对抗网络模块包括生成器和判别器;
21、所述生成器基于正常行为特征集生成模拟正常行为样本;所述判别器对生成的模拟正常行为样本进行判别,重复生成训练,得到预定数量和质量的模拟正常行为样本;
22、所述生成器基于威胁行为特征集生成模拟威胁行为样本;所述判别器对生成的模拟威胁行为样本进行判别,重复生成训练,得到预定数量和质量的模拟威胁行为样本。
23、进一步地,所述检测模块包括正常行为检测模型和威胁行为检测模型;
24、所述检测模块基于模拟正常行为样本与真实样本训练得到正常行为检测模型;
25、所述检测模块基于模拟威胁行为样本与真实样本训练得到威胁行为检测模型。
26、进一步地,所述检测模块用于对网络边界威胁进行检测的具体步骤包括:
27、(1)通过正常行为检测模型进行检测,得到行为类型系数:
28、
29、其中,fsecure(·)为正常行为检测模型,[x1,x2λxk]为不可识别数据特征向量,l为行为类型系数,若l=[1]则为正常行为,若l=[2]则为异常行为;
30、(2)通过威胁行为检测模型进行检测,更新行为类型系数:
31、
32、其中,fmenace(·)为威胁行为检测模型,[x1,x2λxk],若l=[2,1]则为未知行为,若l=[2,2,type]则为威胁行为;
33、(3)将检测为未知行为数据输入模拟模块。
34、进一步地,所述模拟模块的具体步骤包括:
35、(1)搭建虚拟计算机系统及环境;
36、(2)输入未知行为,对未知行为产生结果进行记录并评估造成影响;
37、(3)若产生结果与未知行为相对应且结果已知,则将未知行为定义为正常行为;若产生结果与未知行为相对应且结果未知,则将未知行为定义为一般威胁行为;若产生结果包含未知行为不能产生的结果,则将未知行为定义为威胁行为。
38、进一步地,所述检测系统还包括用户界面模块、数据存储模块、防御模块,所述防御模块用于根据检测结果执行自动化的安全响应措施。
39、本发明的有益效果为:
40、1、通过设置生成对抗网络模块,可以基于正常行为和威胁行为特征生成新的模拟行为样本,通过新的模拟行为样本训练检测模型,可以有效检测到训练数据少或者未曾出现的威胁行为,使得检测准确性更高。
41、2、通过设置模拟模块,对于检测模块为检测出的未知行为数据进行模拟,分析该行为造成的影响程度,避免威胁行为漏检。
42、3、通过三步检测法,即正常行为检测模型、威胁行为检测模型、模拟模块进行检测,既保证了检测的效率也保证了检测的准确性。
1.一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述检测系统包括数据采集模块、数据预处理模块、特征提取模块、生成对抗网络模块、检测模块、模拟模块;
2.根据权利要求1所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述特征提取模块包括特征提取单元和特征分类单元,所述特征分类单元用于将特征数据分为可识别数据和不可识别数据,其中可识别数据为已知正常行为特征,构成正常行为特征集:
3.根据权利要求2所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述生成对抗网络模块包括生成器和判别器;
4.根据权利要求3所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述检测模块用于对网络边界威胁进行检测的具体步骤包括:
5.根据权利要求2所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述可识别数据还包括已知威胁行为特征,构成威胁行为特征集:
6.根据权利要求5所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述生成对抗网络模块包括生成器和判别器;
7.根据权利要求6所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述检测模块包括正常行为检测模型和威胁行为检测模型;
8.根据权利要求7所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述检测模块用于对网络边界威胁进行检测的具体步骤包括:
9.根据权利要求1所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述模拟模块的具体步骤包括:
10.根据权利要求1所述的一种基于ai驱动的网络边界威胁检测系统,其特征在于,所述检测系统还包括用户界面模块、数据存储模块、防御模块,所述防御模块用于根据检测结果执行自动化的安全响应措施。