本发明涉及软件工程，具体地说是一种软件工程业务数据的数据归集方法及系统。
背景技术：
1、软件开发、实施、运维过程中，需要批量采集数据，并对采集的数据进行解析处理。随着数据量的增大，批量数据解析处理的效率也越来越低，目前，软件工程中批量采集数据业务场景下数据处理效率低，导致人工投入较多，效率低成本高，所以目前对于软件工程中批量采集数据的业务场景，其数据的处理效率、项目运行效率及系统运行维护效率都需要进一步提升。
技术实现思路
1、本发明的技术任务是针对以上不足之处，提供一种软件工程业务数据的数据归集方法及系统，能够提高软件工程中数据采集与归集的效率，提升了数据处理效率、项目运行效率、对系统的运行维护效率。
2、本发明解决其技术问题所采用的技术方案是：
3、一种软件工程业务数据的数据归集方法，基于即时规则动态解析实现数据归集，利用灵活组合方式的中间代码生成工具，自动化根据业务处理脚本模板、业务采集数据列表进行所需采集数据的模式匹配，交叉生成目标中间文件，根据采集输出文件路由设定，有针对性的分隔和输出归集文件。
4、本方法利用基于即时规则动态解析的数据归集演算技术和中间文件生成规则设定，包括采集输入文件、模板文件、归集规则文件、数据归集文件，可复用的操作模式。提高了软件工程中数据采集与归集的效率，提升了数据处理效率、项目运行效率、对系统的运行维护效率。
5、进一步的，该方法的实现包括：
6、s1、根据业务需求，分析需要批量采集的数据来源文件，将业务划分为采集输入文件、数据采集模板、数据归集规则；
7、s2、搭建运行环境及中间代码生成工具；
8、s3、根据需要采集的数据内容，创建采集文件模板；
9、s4、组织采集数据的输入文件，用于对模板文件进行自动重复替换生成；
10、s5、按照分组方式进行归集规则设定：第一分组是所需采集数据来源，第二分组是归集规则文件，第三分组是归集输出文件；所述分组可任意交叉组合；
11、s6、读取归集规则文件，通过对规则的动态解析，最终形成数据归集文件。
12、进一步的，所述搭建运行环境，搭建jdk环境和中间代码生成工具agg.jar；按照agg_in、agg_out、agg_tpl的结构创建运行目录。
13、进一步的，所述根据需要采集的数据内容创建采集文件模板，文件包括：数据库文件、文本文件、html网页内容、csv文件、json文件；
14、使用${value_name}结构对宏替换内容进行设置。
15、进一步的，模板文件是单个或者多个，多个模板文件时，使用任意不同的数据来源名称进行区分。
16、进一步的，所述组织采集数据的输入文件，采集内容格式使用csv；用“；”开头的代表注释行；第一行非注释行代表业务标题行，用于对应模板文件里的宏名称。
17、进一步的，读取解析规则文件，创建规则列表，迭代list，读入采集输入文件、模板文件内容；创建归集输出对象printstream，将输入文件的csv结构，转化为含键值对的list结构,遍历每一个哈希map中key集合中的k,变换为map.get(k)；根据输出文件是否已存在，决定输出的方式；通过对规则的动态解析，最终形成数据归集文件。
18、本发明还要求保护一种软件工程业务数据的数据归集系统，包括：
19、业务分析模块，用于分析需要批量采集的数据来源文件，将业务划分为采集输入文件、数据采集模板、数据归集规则；
20、运行环境搭建模块，用于搭建运行环境及中间代码生成工具；
21、模板文件模块，用于根据需要采集的数据内容，创建采集文件模板；
22、采集输入文件模块，组织采集数据的输入文件，用于对模板文件进行自动重复替换生成；
23、归集规则设定模块，用于按照分组方式进行归集规则设定；
24、数据归集文件模块，读取归集规则文件，通过对规则的动态解析，最终形成数据归集文件；
25、该系统通过上述的软件工程业务数据的数据归集方法实现数据解析和归集。
26、本发明还要求保护一种软件工程业务数据的数据归集装置，包括：至少一个存储器和至少一个处理器；
27、所述至少一个存储器，用于存储机器可读程序；
28、所述至少一个处理器，用于调用所述机器可读程序，实现上述的方法。
29、本发明还要求保护计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器能够实现上述的方法。
30、本发明的一种软件工程业务数据的数据归集方法及系统与现有技术相比，具有以下有益效果：
31、1、通过本方法，能够提高软件工程中数据采集与归集的效率，提升数据处理效率、项目运行效率、对系统的运行维护效率。
32、2、操作模式灵活可配置，便于复用和临时调整。
33、3、可重复执行性强，低成本维护，复用性高。
1.一种软件工程业务数据的数据归集方法，其特征在于，基于即时规则动态解析实现数据归集，利用灵活组合方式的中间代码生成工具，自动化根据业务处理脚本模板、业务采集数据列表进行所需采集数据的模式匹配，交叉生成目标中间文件，根据采集输出文件路由设定，有针对性的分隔和输出归集文件。
2.根据权利要求1所述的一种软件工程业务数据的数据归集方法，其特征在于，该方法的实现包括：
3.根据权利要求2所述的一种软件工程业务数据的数据归集方法，其特征在于，所述搭建运行环境，搭建jdk环境和中间代码生成工具agg.jar；按照agg_in、agg_out、agg_tpl的结构创建运行目录。
4.根据权利要求2所述的一种软件工程业务数据的数据归集方法，其特征在于，所述根据需要采集的数据内容创建采集文件模板，文件包括：数据库文件、文本文件、html网页内容、csv文件、json文件；
5.根据权利要求2或4所述的一种软件工程业务数据的数据归集方法，其特征在于，模板文件是单个或者多个，多个模板文件时，使用任意不同的数据来源名称进行区分。
6.根据权利要求2所述的一种软件工程业务数据的数据归集方法，其特征在于，所述组织采集数据的输入文件，采集内容格式使用csv；用“；”开头的代表注释行；第一行非注释行代表业务标题行，用于对应模板文件里的宏名称。
7.根据权利要求2所述的一种软件工程业务数据的数据归集方法，其特征在于，读取解析规则文件，创建规则列表，迭代list，读入采集输入文件、模板文件内容；创建归集输出对象printstream，将输入文件的csv结构，转化为含键值对的list结构,遍历每一个哈希map中key集合中的k,变换为map.get(k)；根据输出文件是否已存在，决定输出的方式；通过对规则的动态解析，最终形成数据归集文件。
8.一种软件工程业务数据的数据归集系统，其特征在于，包括：
9.一种软件工程业务数据的数据归集装置，其特征在于，包括：至少一个存储器和至少一个处理器；
10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器能够实现权利要求1至7任一所述的方法。
