本发明涉及数据处理领域，尤其涉及一种数据管理系统、方法、设备、存储介质和产品。
背景技术：
1、物联网是在互联网基础上发展的一种网络，将设备连接到物联网平台并将数据上报到平台，平台在对上报的数据进行分析管理。现有数据管理过程中，需要用户提前为设备定义需要的数据格式并开发对应的协议适配模块，从而将数据上传到平台，平台对数据进行分析，最后将分析的结果展示出来。因此，传统的数据管理方式中，没有统一的协议适配方式，不同协议的设备接入到平台需要用户来定义，工作流程繁琐，导致设备数据上传时的落库处理速度慢，在设备数据量较大时容易出现数据丢失现象。
技术实现思路
1、本发明实施例的目的是提供一种数据管理系统、方法、设备、存储介质和产品，系统采用统一的协议适配模块，能够支持采用不同协议的设备上报消息到平台，落库处理速度快，在数据量大时保证数据不会丢失。
2、为实现上述目的，本发明实施例提供了一种数据管理系统，包括：
3、数据上传模块，用于将设备上报的实时数据转换成通用格式，并将格式转换后的实时数据发送到消息队列中；
4、数据管理模块，用于对所述消息队列进行监听，以区分所述消息队列中所述设备上报的待消费数据和待落库数据，并将所述待消费数据传递到消费端以及存储所述待落库数据。
5、作为上述方案的改进，所述数据管理系统还包括：
6、权限管理模块，用于提供用户管理功能和设备管理功能；其中，所述用户管理功能支持用户账户的创建、修改和删除，所述设备管理功能支持设备分类和同类型设备的格式上报。
7、作为上述方案的改进，所述数据上传模块包括：
8、协议适配单元，用于接收不同协议类型的设备上报的实时数据，并将所述实时数据转换成通用格式；
9、类型校验单元，用于对所述实时数据进行校验，将校验成功的实时数据发送到消息队列中。
10、作为上述方案的改进，所述数据管理模块包括：
11、数据接入单元，用于对所述消息队列进行监听，以判断所述实时数据是否在缓存中的采集任务中，若在所述采集任务中，则区分所述消息队列中的所述设备上报的待消费数据和待落库数据，并将所述待消费数据传递到消费端以及将所述待落库数据传输给元数据管理单元；
12、元数据管理单元，用于根据数据交换格式和元数据表信息，提取所述待落库数据中的相应字段，并将所述字段落库到对应的元数据表中；
13、数据库，用于存储所述元数据表。
14、作为上述方案的改进，所述采集任务包括实时采集任务和离线采集任务；其中，所述实时采集任务为根据所述设备上报的实时数据创建的包括用户标识码和产品标识码的任务，所述离线采集任务为对所述设备的离线信息进行采集的任务。
15、作为上述方案的改进，所述采集任务采用d i sruptor框架进行缓存。
16、为实现上述目的，本发明实施例还提供了一种数据管理方法，包括：
17、将设备上报的实时数据转换成通用格式，并将格式转换后的实时数据发送到消息队列中；
18、对所述消息队列进行监听，以区分所述消息队列中所述设备上报的待消费数据和待落库数据；
19、将所述待消费数据传递到消费端以及存储所述待落库数据。
20、为实现上述目的，本发明实施例还提供了一种数据管理设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的数据管理方法。
21、为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例所述的数据管理方法。
22、为实现上述目的，本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述实施例所述的数据管理方法。
23、相比于现有技术，本发明公开的数据管理系统、方法、设备、存储介质和产品，在接收到设备上传的实时数据时，通过数据上传模块将实时数据转换成通用格式，并将格式转换后的实时数据发送到消息队列中，利用数据管理模块对消息队列进行监听，以区分所述消息队列中所述设备上报的待消费数据和待落库数据，并将所述待消费数据传递到消费端以及存储所述待落库数据。系统采用统一的协议适配模块，能够支持采用不同协议的设备上报消息到平台，工作流程简洁，落库处理速度快，在数据量大时保证数据不会丢失。
1.一种数据管理系统，其特征在于，包括：
2.如权利要求1所述的数据管理系统，其特征在于，还包括：
3.如权利要求1所述的数据管理系统，其特征在于，所述数据上传模块包括：
4.如权利要求1所述的数据管理系统，其特征在于，所述数据管理模块包括：
5.如权利要求4所述的数据管理系统，其特征在于，所述采集任务包括实时采集任务和离线采集任务；其中，所述实时采集任务为根据所述设备上报的实时数据创建的包括用户标识码和产品标识码的任务，所述离线采集任务为对所述设备的离线信息进行采集的任务。
6.如权利要求4所述的数据管理系统，其特征在于，所述数据管理模块还包括：
7.一种数据管理方法，其特征在于，包括：
8.一种数据管理设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求7所述的数据管理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求7所述的数据管理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求7所述的数据管理方法。
