本发明属于网络安全,具体涉及一种基于大数据的网络运营安全监控系统及方法。
背景技术:
1、在当今的信息化社会,网络已经成为人们生活、工作、学习的重要组成部分,而网络运营就是帮助企业基于互联网而展开的运营活动。包括企业的网站平台工具建设,品牌形象塑造,网站建设管理,新媒体运营,产品营销,业务市场推广,一切与网络有关的企业营销活动,我们可以称之为:网络运营,然而,随着网络技术的高速发展,网络运营过程中的网络安全问题也日益突出,由于网络攻击手段日趋复杂,网络安全威胁不断升级,很容易在网络运营过程中,个人、企业的隐私安全存在较大的风险,因此,如何有效在网络运营过程中防范和应对网络安全威胁,保障网络空间的安全,已经成为当前亟待解决的问题。
2、当下,网络安全防护系统主要依赖于入侵检测系统(ids)和入侵防御系统(ips)等技术手段来保护网络安全,然而,这些传统方法在面对复杂多变的网络攻击时,往往表现出一定的局限性,例如,ids和ips虽然可以检测到异常行为,但误报率较高,可能会影响正常网络通信,基于此,本方案提供了一种能够降低误报率的网络安全防护系统。
技术实现思路
1、本发明的目的是提供一种基于大数据的网络运营安全监控系统,能够保证网络安全不受威胁的同时,还能够降低系统误报率。
2、本发明采取的技术方案具体如下:
3、一种基于大数据的网络运营安全监控系统,包括数据采集模块、数据整合模块、异常记录模块、数据分析模块以及入侵检测模块;
4、所述数据采集模块用于实时收集网络信息,其中,所述网络信息包括网络流量数据、安全日志信息以及设备信息;
5、所述数据整合模块用于对网络流量数据、安全日志信息以及设备信息执行整合与清洗,并输出整合数据包;
6、所述异常记录模块用于统计所述异常状态下的异常特征,并汇总为异常数据库;
7、所述数据分析模块用于将整合数据包输入至特征提取模型中,提取关键特征和非关键特征,并实时统计所述关键特征和非关键特征的异常次数,再输入至评估模型中,得到网络安全状态,其中,所述网络安全状态包括正常状态和异常状态;
8、所述入侵检测模块用于根据所述关键特征和非关键特征确定网络预估安全状态,并根据所述预估安全状态生成预警信号。
9、在一种优选方案中,所述数据采集模块通过api接口与网络设备进行对接,实时收集所述网络设备的流量数据、安全日志信息以及设备信息,并将收集到的数据发送至数据整合模块;
10、所述数据采集模块还包括网络流量数据抓包工具以及设备信息探测器,所述网络流量数据抓包工具用于捕获经过网络交换机的数据包,所述设备信息探测器用于向目标网络内的设备发送探测报文并接收响应报文,以获取设备信息。
11、在一种优选方案中,所述数据整合模块包括清洗单元和整合单元,其中,所述清洗单元用于对收集到的数据进行清洗、去重、去噪和填充缺失值处理,所述整合单元用于将清洗单元输出的数据汇总成整合数据包,并将所述整合数据包发送至数据分析模块。
12、在一种优选方案中,所述异常记录模块包括校对单元,所述校对单元用于采集网络信息中的数据特征,并逐一与异常数据库中的异常特征进行比较,判断网络信息中是否存在异常访问特征;
13、若是,则记录其发生节点,并统计其异常总次数;
14、若否,则直接忽略。
15、在一种优选方案中,所述特征提取模型执行时,提取所述数据包中的所有数据特征,并标定为待分类特征;
16、将所有所述待分类特征进行向量转换,得到多个待分类特征向量;
17、从所述特征提取模型中调用相关性测算函数,并将各个所述待分类特征向量输入至相关性测算函数中,得到各个待分类特征之间的相关指数;
18、其中,所述特征提取模型中预设有相关性阈值,所述相关性阈值用于与相关指数进行比较;
19、若所述相关指数大于相关性阈值,则将其对应的待分类特征标定为关键特征;
20、若所述相关指数小于或等于相关性阈值,则将其对应的待分类特征标定为非关键特征。
21、在一种优选方案中,所述评估模型执行时,将所述关键特征的异常次数标定为一级待评估参数,将所述非关键特征的异常次数标定为二级待评估参数;
22、所述评估模型内设置有评估函数,将所述一级待评估参数和二级待评估参数一同输入至评估函数中,得到网络安全评分。
23、在一种优选方案中,所述评估模型内还设置有评估阈值,所述评估阈值用于与网络安全评分进行比较;
24、若所述网络安全评分大于或等于评估阈值,则将所述网络安全状态标定为异常状态,且立即生成报警信号;
25、若所述网络安全评分小于评估阈值,则将所述网络安全状态标定为正常状态。
26、在一种优选方案中,所述入侵检测模块包括监测单元和预估单元,所述监测单元用于构建监测时段,并在所述监测时段内设置多个监测节点,且实时获取各个所述监测节点下的关键特征和非关键特征的异常次数,并标定为基准参数,所述预估单元内设置有预估函数,用于依据所述基准参数测算关键特征和非关键特征的预估异常次数,再将所述预估异常次数输入至评估模型,得到预估网络安全状态;
27、其中,所述预估网络安全状态正常时,则继续测算预估异常次数,反之,则立即生成预警信号,并拒绝其下次访问。
28、本发明还提供了一种基于大数据的网络运营安全监控方法,使用上述基于大数据的网络运营安全监控系统,该方法包括:
29、实时收集网络信息,其中,所述网络信息包括网络流量数据、安全日志信息以及设备信息;
30、对网络流量数据、安全日志信息以及设备信息执行整合与清洗,并输出整合数据包;
31、统计所述异常状态下的异常特征,并汇总为异常数据库;
32、将整合数据包输入至特征提取模型中,提取关键特征和非关键特征,并实时统计所述关键特征和非关键特征的异常次数,再输入至评估模型中,得到网络安全状态,其中,所述网络安全状态包括正常状态和异常状态;
33、根据所述关键特征和非关键特征确定网络预估安全状态,并根据所述预估安全状态生成预警信号。
34、本发明还提供了,一种基于大数据的网络运营安全监控终端,包括:
35、至少一个处理器;
36、以及与所述至少一个处理器通信连接的存储器;
37、其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的基于大数据的网络运营安全监控系统。
38、本发明取得的技术效果为:
39、本发明通过数据采集模块、数据整合模块、异常记录模块、数据分析模块以及入侵检测模块的协同作用,能够实现对网络安全的全面监控和防护,且此过程中,通过对关键特征和非关键特征的结合分析,使得输出的网络安全状态更为准确,并在网络异常的情况下进行及时性的报警,不仅能够有效的降低系统误报率,保证网络通信不受影响,还能够实时监测网络活动,并及时发出预警,以保障网络安全的稳定运行,因此在网络运营的过程中,能够最大的程度降低因网络安全造成的损失。
1.一种基于大数据的网络运营安全监控系统,包括数据采集模块、数据整合模块、异常记录模块、数据分析模块以及入侵检测模块,其特征在于:
2.根据权利要求1所述的一种基于大数据的网络运营安全监控系统,其特征在于:所述数据采集模块通过api接口与网络设备进行对接,实时收集所述网络设备的流量数据、安全日志信息以及设备信息,并将收集到的数据发送至数据整合模块;
3.根据权利要求1所述的一种基于大数据的网络运营安全监控系统,其特征在于:所述数据整合模块包括清洗单元和整合单元,其中,所述清洗单元用于对收集到的数据进行清洗、去重、去噪和填充缺失值处理,所述整合单元用于将清洗单元输出的数据汇总成整合数据包,并将所述整合数据包发送至数据分析模块。
4.根据权利要求1所述的一种基于大数据的网络运营安全监控系统,其特征在于:所述异常记录模块包括校对单元,所述校对单元用于采集网络信息中的数据特征,并逐一与异常数据库中的异常特征进行比较,判断网络信息中是否存在异常访问特征;
5.根据权利要求1所述的一种基于大数据的网络运营安全监控系统,其特征在于:所述特征提取模型执行时,提取所述数据包中的所有数据特征,并标定为待分类特征;
6.根据权利要求1所述的一种基于大数据的网络运营安全监控系统,其特征在于:所述评估模型执行时,将所述关键特征的异常次数标定为一级待评估参数,将所述非关键特征的异常次数标定为二级待评估参数;
7.根据权利要求6所述的一种基于大数据的网络运营安全监控系统,其特征在于:所述评估模型内还设置有评估阈值,所述评估阈值用于与网络安全评分进行比较;
8.根据权利要求1所述的一种基于大数据的网络运营安全监控系统,其特征在于:所述入侵检测模块包括监测单元和预估单元,所述监测单元用于构建监测时段,并在所述监测时段内设置多个监测节点,且实时获取各个所述监测节点下的关键特征和非关键特征的异常次数,并标定为基准参数,所述预估单元内设置有预估函数,用于依据所述基准参数测算关键特征和非关键特征的预估异常次数,再将所述预估异常次数输入至评估模型,得到预估网络安全状态;
9.一种基于大数据的网络运营安全监控方法,其特征在于:使用权利要求1-8中任意一项基于大数据的网络运营安全监控系统,该方法包括:
10.一种基于大数据的网络运营安全监控终端,其特征在于:包括:
