本说明书实施例涉及数据处理,特别涉及航天试验数据仓库构建方法。
背景技术:
1、随着航天器功能越来越复杂,对航天器的可靠性、长寿命要求也越来越高,对试验采集的数据精度、数据频率也越来越高。航天器在进行研制的过程中,产生了大量的试验数据,而这些数据都是以时序数据的形式存储在文件和应用系统中。为了进一步分析、挖掘试验数据的价值,数据科学家需要将试验数据进行深度分析和挖掘,进一步提高航天器的试验的服务能力并对总体设计进行反哺。
2、当前,对于航天器试验数据进行采集时,时序数据的存储都是以文本、关系数据库或者时序数据库的方式直接存储在系统中,试验数据具有数据量大、采样频率高、原始数据格式多样化以及具有时间序列等特性,为后续数据处理和分析带来较大的困难。当需要对试验数据进行分析、挖掘时,需要对试验数据本身需要进行再清洗、处理、寻找数据特征,才能明确的知道数据本身的是否具有进一步分析挖掘的价值。而做具体的试验数据分析人员或者数据科学家,多数都是业务专家,他们熟悉本专业的技术特性、数据分析算法,对于数据处理、数据清洗、数据特征分析等方面不擅长。更重要的是,多年以来,积累了大量的试验数据,让他们从这些数据中挑选高质量的数据进行分析挖掘,将会花费较大的精力。由此,亟须一种更好的方案。
技术实现思路
1、有鉴于此,本说明书实施例提供了航天试验数据仓库构建方法。本说明书一个或者多个实施例同时涉及航天试验数据仓库构建装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面,提供了一种航天试验数据仓库构建方法,包括:
3、确定航天试验数据的数据源,基于数据源进行数据抽取,确定原始试验数据;
4、基于原始试验数据进行数据模型构建,确定初始数据模型;
5、基于初始数据模型进行数据仓库构建,确定目标数据模型;其中,目标数据模型包括至少两种类型的数据;
6、基于目标数据模型,通过预设协议提供数据服务。
7、在一种可能的实现方式中,数据源包括离线数据源和在线数据源;
8、相应的,基于数据源进行数据抽取,确定原始试验数据,包括:
9、在数据源为离线数据源的情况下,基于批量获取的方式进行数据同步,确定原始试验数据;
10、在数据源为在线数据源的情况下,基于数据流的方式进行数据抽取,确定原始试验数据。
11、在一种可能的实现方式中,基于初始数据模型进行数据仓库构建,确定目标数据模型,包括:
12、基于初始数据模型进行数据质量分析处理,确定明细数据;
13、基于明细数据进行特征分析处理,确定特征数据;
14、基于明细数据和特征数据进行应用分析处理,确定应用数据;
15、基于明细数据、特征数据和应用数据确定目标数据模型。
16、在一种可能的实现方式中,基于初始数据模型进行数据质量分析处理,确定明细数据,包括:
17、将初始数据模型中的数据加载至计算引擎中,对数据进行有效性、完整性、一致性和及时性的检查,确定异常数据;
18、对异常数据进行修正处理处理,确定明细数据。
19、在一种可能的实现方式中,基于明细数据进行特征分析处理,确定特征数据,包括:
20、基于明细数据进行特征计算确定特征值;其中,特征值包括最大值、最小值、均值和方差;
21、基于明细数据确定时域数据,对时域数据进行傅里叶变换,确定频域数据;
22、基于特征值和频域数据确定特征数据。
23、在一种可能的实现方式中,基于明细数据和特征数据进行应用分析处理,确定应用数据,包括:
24、确定事件数据,基于事件数据、明细数据和特征数据进行信息关联,确定应用数据。
25、在一种可能的实现方式中,基于事件数据、明细数据和特征数据进行信息关联,确定应用数据,包括:
26、基于事件数据和异常数据,确定试验数据点总数和异常数据分布;
27、基于事件数据和特征值确定第一关联信息;
28、基于事件数据和频域数据确定第二关联信息;
29、基于事件数据和原始试验数据确定第三关联信息;
30、基于试验数据点总数、异常数据分布、第一关联信息、第二关联信息和第三关联信息确定应用数据。
31、根据本说明书实施例的第二方面,提供了一种航天试验数据仓库构建装置,包括:
32、数据获取模块,被配置为确定航天试验数据的数据源,基于数据源进行数据抽取,确定原始试验数据;
33、数据存储模块,被配置为基于原始试验数据进行数据模型构建,确定初始数据模型;
34、仓库构建模块,被配置为基于初始数据模型进行数据仓库构建,确定目标数据模型;其中,目标数据模型包括至少两种类型的数据;
35、数据服务模块,被配置为基于目标数据模型,通过预设协议提供数据服务。
36、根据本说明书实施例的第三方面,提供了一种计算设备,包括:
37、存储器和处理器;
38、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述航天试验数据仓库构建方法的步骤。
39、根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述航天试验数据仓库构建方法的步骤。
40、根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述航天试验数据仓库构建方法的步骤。
41、本说明书实施例提供航天试验数据仓库构建方法及装置,其中航天试验数据仓库构建方法包括:确定航天试验数据的数据源,基于数据源进行数据抽取,确定原始试验数据;基于原始试验数据进行数据模型构建,确定初始数据模型;基于初始数据模型进行数据仓库构建,确定目标数据模型;基于目标数据模型,通过预设协议提供数据服务。通过确定航天试验数据的数据源,基于数据源进行数据抽取,确定原始试验数据;基于原始试验数据进行数据模型构建,确定初始数据模型;基于初始数据模型进行数据仓库构建,确定目标数据模型;基于目标数据模型,通过预设协议提供数据服务,可以辅助试验数据分析人员、数据科学家确认数据是否具有深度分析和挖掘的价值,并也为后续试验数据资产化奠定基础。
1.一种航天试验数据仓库构建方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述数据源包括离线数据源和在线数据源;
3.根据权利要求1所述的方法,其特征在于,所述基于所述初始数据模型进行数据仓库构建,确定目标数据模型,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述初始数据模型进行数据质量分析处理,确定明细数据,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述明细数据进行特征分析处理,确定特征数据,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述明细数据和所述特征数据进行应用分析处理,确定应用数据,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述事件数据、所述明细数据和所述特征数据进行信息关联,确定应用数据,包括:
8.一种航天试验数据仓库构建装置,其特征在于,包括:
9.一种计算设备,其特征在于,包括:
10.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述航天试验数据仓库构建方法的步骤。