本申请涉及轨迹数据处理,特别是涉及一种轨迹数据处理方法、装置、计算机设备、可读存储介质和程序产品。
背景技术:
1、针对“停电可观测、抢修有指挥、服务有预期”的建设目标,需要根据用户所属台区所属城市、农村或特殊偏远地区,结合出发时间和到位标准时长,自动计算预计到达时间,同时,要求对抢修人员位置实时定位和采集,依托地图绘制电力抢修轨迹,从而实现对内对外查看抢修人员的实时轨迹。
2、相关技术中,对于电力轨迹的采集,主要是采用移动端前端页面,每5秒采集一次轨迹数据,并将轨迹数据保存到达梦数据库。然而,这种采集方式在用户未打开移动的场景下无法采集数据,并且,在大量数据、频繁的调用下,查询效率低,而且会对数据库原有业务产生影响,降低了数据库的使用效率。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高轨迹数据处理效率的轨迹数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本申请提供了一种轨迹数据处理方法,包括:
3、获取移动端采集的轨迹数据;
4、将轨迹数据转换为预设消息格式的轨迹消息,并将轨迹消息写入至分布式平台;
5、通过流处理引擎从分布式平台读取轨迹消息,对轨迹消息进行轨迹计算,得到目标轨迹数据;
6、将目标轨迹数据写入至搜索引擎,通过搜索引擎查询目标轨迹数据。
7、在其中一个实施例中,将轨迹消息写入至分布式平台的步骤,包括:
8、构建轨迹消息对应的消息核心对象;消息核心对象包括消息值、消息核心对象所属的消息主题;消息值包括轨迹消息对应的轨迹数据;
9、在消息核心对象还包括关键值的情况下,根据关键值确定消息核心对象对应的指定分区;
10、针对同一发送批次的所有消息核心对象,将消息核心对象发送至分布式平台的服务端;
11、按照轨迹消息的发送顺序,通过服务端依次将消息核心对象对应的轨迹消息写入至分布式平台中相应的指定分区。
12、在其中一个实施例中,通过流处理引擎从分布式平台读取轨迹消息的步骤,包括:
13、在通过入口参数将流处理引擎连接至分布式平台的情况下,根据预设主题参数订阅分布式平台中的消息主题;
14、按照轨迹消息的写入顺序,通过指定的消费者组依次读取消息主题对应的轨迹消息;
15、其中,分布式平台中每一指定分区只允许被消费者组内的一个消费者读取数据。
16、在其中一个实施例中,对轨迹消息进行轨迹计算,得到目标轨迹数据的步骤,包括:
17、将轨迹消息转换为数据序列;
18、以序列数据为边、以转换操作符为节点,生成有向无环图;
19、通过有向无环图对轨迹消息进行轨迹计算,得到目标轨迹数据。
20、在其中一个实施例中,搜索引擎包括多个集群,每一集群包括多个集群节点;将目标轨迹数据写入至搜索引擎的步骤,包括:
21、建立搜索引擎实例,确定搜索引擎实例对应的写入信息和写入数量;写入信息包括集群名称、地址和索引名称;
22、通过搜索引擎实例将目标轨迹数据转换为目标轨迹文档;
23、按照写入信息,通过多个搜索引擎实例并行将目标轨迹文档写入至搜索引擎对应的集群节点;
24、其中,写入数量用于指定批量写入至搜索引擎时的记录条数。
25、在其中一个实施例中,通过搜索引擎查询目标轨迹数据的步骤,包括:
26、通过搜索引擎中集群的协调节点,接收移动端发送的读取请求;
27、在通过协调集群节点对读取请求验证通过的情况下,将读取请求发送至主分片对应的节点、以及主分片所在的副本组中的所有副本分片对应的节点;
28、通过主分片和副本分片并行执行读取请求相应的操作;
29、在主分片执行成功、且接收到所有副本分片反馈的执行成功信息的情况下,将执行结果返回至移动端。
30、第二方面,本申请还提供了一种轨迹数据处理装置,包括:
31、获取模块,用于获取移动端采集的轨迹数据;
32、转换模块,用于将轨迹数据转换为预设消息格式的轨迹消息,并将轨迹消息写入至分布式平台;
33、计算模块,用于通过流处理引擎从分布式平台读取轨迹消息,对轨迹消息进行轨迹计算,得到目标轨迹数据;
34、查询模块,用于将目标轨迹数据写入至搜索引擎,通过搜索引擎查询目标轨迹数据。
35、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现第一方面中任意一项的方法步骤。
36、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面中任意一项的方法步骤。
37、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面中任意一项的方法步骤。
38、上述轨迹数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取移动端采集的轨迹数据,将轨迹数据转换为预设消息格式的轨迹消息,并将轨迹消息写入至分布式平台,通过流处理引擎从分布式平台读取轨迹消息,对轨迹消息进行轨迹计算,得到目标轨迹数据,将目标轨迹数据写入至搜索引擎,通过搜索引擎查询目标轨迹数据,能够实现轨迹数据的实时处理,通过采用流处理和批处理引擎,能够确保数据处理的高效性,通过分布式搜索引擎,可以实现数据的快速查询,从而提高轨迹数据处理效率。
1.一种轨迹数据处理方法,其特征在于,应用于服务器;所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述轨迹消息写入至分布式平台,包括:
3.根据权利要求2所述的方法,其特征在于,所述通过流处理引擎从所述分布式平台读取所述轨迹消息,包括:
4.根据权利要求1所述的方法,其特征在于,所述对所述轨迹消息进行轨迹计算,得到目标轨迹数据,包括:
5.根据权利要求1所述的方法,其特征在于,所述搜索引擎包括多个集群,每一集群包括多个集群节点;所述将所述目标轨迹数据写入至搜索引擎,包括:
6.根据权利要求5所述的方法,其特征在于,所述通过所述搜索引擎查询所述目标轨迹数据,包括:
7.一种轨迹数据处理装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
