本发明属于冶金产线过程自动化控制系统日志分析，具体涉及一种冶金产线过程自动化控制系统告警日志分析方法。
背景技术：
1、目前，冶金产线过程自动化控制系统处于技术快速更新迭代阶段，呈现出智能化、高效化的趋势。其日志系统记录着过程自动化控制系统的操作记录、运行状态、异常堆栈等告警信息，在生产调试、运营维护过程中起抓手作用，在系统数据分析、自主学习方向上起支撑作用。现有技术中存在以下缺陷：系统日志分散：大多数进程生成的日志，采用文件存储并分布于多个路径下，又随时间滚动生成多个log文档，不便于定位查找日志记录。数据库存在潜在性能问题：海量日志对系统数据库存储及访问造成压力，影响主要业务功能。无日志分析功能：仅对系统日志进行读写操作，不能统计分析可视化日志数据，不利于系统调试升级。
技术实现思路
1、为了解决上述技术方案的不足，本发明的目的在于提供一种冶金产线过程自动化控制系统告警日志分析方法。
2、本发明的目的是通过下述技术方案予以实现的。
3、一种冶金产线过程自动化控制系统告警日志分析方法，包括以下步骤，
4、步骤1，构建elkb架构，该架构包括：
5、filebeat，本地文件日志数据采集器，用于日志文件数据采集；
6、logstash，用于日志文件数据的过滤和解析；
7、elasticsearch，用于将日志文件数据存储和检索；
8、kibana，用于日志文件数据的展示与交互；
9、步骤2，冶金产线过程自动化控制系统在本地生成多个日志文件；
10、步骤3，各节点上的filebeat通过监听日志文件目录，采集日志文件中的数据，并将日志文件的增量发送给logstash；
11、步骤4，logstash将接收到的日志文件数据进行过滤和解析，解析为结构化数据，输出到elasticsearch中；
12、步骤5，elasticsearch利用分词器将结构化的日志文件数据切分并存储，并通过正排索引和倒排索引来提高日志检索能力；
13、步骤6，kibana提供用户操作界面，提取日志文件数据，统计分析生成可视化日志文件数据图表。
14、在上述技术方案中，冶金产线过程自动化控制系统服务器安装有jdk，以运行elkb架构，所述elkb架构依赖java环境，jvm使用server模式并设置xms和xmx值相同。
15、在上述技术方案中，根据冶金产线过程自动化控制系统服务器个数，灵活选择单机或集群部署；当选择集群部署时，各服务器承担以下若干个节点角色：master候选节点、数据节点、协调节点和预处理节点；master候选节点负责整个集群的状态管理；数据节点负责数据存储和读取；协调节点负责请求的分发，搜索结果的整合；预处理节点负责处理数据和数据转换。
16、在上述技术方案中，所述步骤3中，当filebeat启动后会启动一个或多个input来查找监听本地日志文件数据；
17、当找到一个需要监听的日志文件时会启动一个harvester来监听和采集该日志文件的新内容；将该日志文件的新内容发送到libbeat，libbeat聚合日志事件并将聚合后的数据发送到logstash。
18、在上述技术方案中，所述步骤4中，logstash通过filter插件过滤日志文件，实现筛选info级别以上的日志文件需求，再通过grok插件自定义正则语法，将非结构化的一条日志文件记录解析为适合计算机使用的结构化数据，即解析为version、date、thread和message字段，输出到elasticsearch中。
19、在上述技术方案中，所述步骤5中，elasticsearch每秒把缓存中的结构化的日志文件数据写入segment，每个segment上有多个文档，每个文档有多个字段，对应于结构化数据，所述字段会被分词器切分形成多个term，以block的形式存储在term dictionary中，elasticsearch对term dictionary的内容做索引形成term index，在搜索时，通过termindex找到block进一步找到term对应的posting list中的文档的id，计算出符合条件的文档id列表进行返回。
20、在上述技术方案中，所述步骤6中，kibana提供索引字段区、字段筛选区、时间范围区、数据统计区、数据详情区，用户可通过ui交互提取冶金产线过程自动化控制系统日志文件数据，利用聚合统计分析生成日志文件数据可视化图表。
21、本发明的优点和有益效果为：
22、1、本发明利用elkb架构通过监听日志文件，过滤解析日志文件数据，再将日志文件数据进行切分存储，构建索引来提高检索日志文件的能力，解决了冶金产线过程自动化控制系统日志杂乱，难于查找的问题由于架构支持多节点日志数据采集，可以单独增加数据节点服务器，来增加日志数据来源，扩大数据规模，因而集群存储量可实现扩容，无惧海量数据；通过正排索引和倒排索引提供高效的日志检索能力，支持将日志检索功能与冶金产线过程自动化控制系统解耦，保证主要业务性能；通过kibana提供用户操作界面，从而实现了便捷的统计分析可视化功能，提高系统调试效率。
23、2、本发明对冶金产线过程自动化控制系统日志文件提供了收集、过滤、传输、存储，检索的统一管理。提供日志文件数据多维度查询、可视化分析能力，支持ui操作。
1.一种冶金产线过程自动化控制系统告警日志分析方法，其特征在于，包括以下步骤，
2.根据权利要求1所述的分析方法，其特征在于，冶金产线过程自动化控制系统服务器安装有jdk，以运行elkb架构，所述elkb架构依赖java环境，jvm使用server模式并设置xms和xmx值相同。
3.根据权利要求2所述的分析方法，其特征在于，根据冶金产线过程自动化控制系统服务器个数，灵活选择单机或集群部署；当选择集群部署时，各服务器承担以下若干个节点角色：master候选节点、数据节点、协调节点和预处理节点；master候选节点负责整个集群的状态管理；数据节点负责数据存储和读取；协调节点负责请求的分发，搜索结果的整合；预处理节点负责处理数据和数据转换。
4.根据权利要求1所述的分析方法，其特征在于，所述步骤3中，当filebeat启动后会启动一个或多个input来查找监听本地日志文件数据；
5.根据权利要求4所述的分析方法，其特征在于，所述步骤4中，logstash通过filter插件过滤日志文件，实现筛选info级别以上的日志文件需求，再通过grok插件自定义正则语法，将非结构化的一条日志文件记录解析为适合计算机使用的结构化数据，即解析为version、date、thread和message字段，输出到elasticsearch中。
6.根据权利要求5所述的分析方法，其特征在于，所述步骤5中，elasticsearch每秒把缓存中的结构化的日志文件数据写入segment，每个segment上有多个文档，每个文档有多个字段，对应于结构化数据，所述字段会被分词器切分形成多个term，以block的形式存储在term dictionary中，elasticsearch对term dictionary的内容做索引形成term index，在搜索时，通过term index找到block进一步找到term对应的posting list中的文档的id，计算出符合条件的文档id列表进行返回。
7.根据权利要求6所述的分析方法，其特征在于，所述步骤6中，kibana提供索引字段区、字段筛选区、时间范围区、数据统计区、数据详情区，用户可通过ui交互提取冶金产线过程自动化控制系统日志文件数据，利用聚合统计分析生成日志文件数据可视化图表。
