本技术涉及车辆安全,特别涉及一种车端数据检测方法、装置、车辆及存储介质。
背景技术:
1、随着车联网技术的飞速发展,车辆产生的数据量呈现指数级增长,这些数据对于车联网应用的性能和安全至关重要,然而,复杂的数据采集环境、数据上传过程和平台数据的存储及处理都会导致频繁的数据质量问题,如数据不完整性、错误和延迟,这些问题直接威胁到数据的可信度和在后续应用中的效用。
2、面对数据量的急剧膨胀和对实时处理的严格要求,依赖人工检查或规则自动化的数据质量检测方法已显不足。
3、申请号为cn202210599462.4的专利提出了一种汽车车载信号数据治理系统及其数据治理方法,利用分层机制对数据进行抽取、划分、治理、加工和应用,使得数据更加规范可用,然而,该方法依然依赖于统计分析技术,基于流程对数据进行收集后进行物理处理,在处理大规模车联网大数据时效率低下,不适用于异构多源大数据质量问题的快速检测。
4、申请号cn202210595524.4的专利虽然提出了基于异常值分析的数据质量评估方法,但仅限于异常值的识别,未能全面分析数据质量的多个维度。
5、因此,亟需一种能够全面统一、自动化智能化检测车联网大数据质量的方法,以提升数据质量,支持车联网技术的深入应用。
技术实现思路
1、本技术提供一种车端数据检测方法、装置、车辆及存储介质,以解决相关技术在处理大规模车联网数据时效率低下的问题,可以实时处理大规模数据集,评估车联网数据的质量,提高了数据处理的效率和成本效益。
2、本技术第一方面实施例提供一种车端数据检测方法,包括以下步骤:
3、获取待检测车辆的车端数据;
4、将所述车端数据进行预处理,并将预处理后的车端数据输入至预设的检测模型,得到所述车端数据的检测结果,其中,所述预设的检测模型由历史车端数据训练目标神经网络得到。
5、可选地,在一些实施例中,在将所述车端数据输入至所述预设的检测模型之前,包括:
6、获取所述历史车端数据,其中,所述历史车端数据包括车辆端数据和云端数据;
7、将所述车辆端数据进行标签设定得到模型输入数据和模型输出数据,并基于预设划分比例,根据所述模型输入数据和所述模型输出数据划分得到训练数据和验证数据;
8、利用所述训练数据训练所述目标神经网络,得到初始检测模型,并利用所述云端数据测试所述初始检测模型,得到测试结果;
9、若所述测试结果满足预设验收要求,则将所述初始检测模型作为所述预设的检测模型。
10、可选地,在一些实施例中,在得到所述测试结果之后,还包括:
11、若所述测试结果不满足预设验收要求,则更新所述预设划分比例,并重新执行所述基于预设划分比例,根据所述模型输入数据和所述模型输出数据划分得到训练数据和验证数据的步骤,直至新的测试结果满足所述预设验收要求。
12、可选地,在一些实施例中,在得到所述初始检测模型之后,包括:
13、利用所述验证数据优化所述初始检测模型。
14、可选地,在一些实施例中,所述将预处理后的车端数据输入至预设的检测模型,得到所述车端数据的检测结果,包括:
15、将预处理后的车端数据输入至预设的检测模型得到车道数据的输出概率;
16、判断所述输出概率是否处于预设的阈值区间,若输出概率处于所述预设的阈值区间,则输出所述检测结果为合格,否则,根据所述输出概率确定所述车道数据的问题类型。
17、本技术第二方面实施例提供一种车端数据检测装置(10),包括:
18、获取模块(100),用于获取待检测车辆的车端数据;
19、检测模块(200),用于将所述车端数据进行预处理,并将预处理后的车端数据输入至预设的检测模型,得到所述车端数据的检测结果,其中,所述预设的检测模型由历史车端数据训练目标神经网络得到。
20、可选地,在本技术的一个实施例中,在将所述车端数据输入至所述预设的检测模型之前,所述检测模块(200),包括:
21、获取单元,用于获取所述历史车端数据,其中,所述历史车端数据包括车辆端数据和云端数据;
22、划分单元,用于将所述车辆端数据进行标签设定得到模型输入数据和模型输出数据,并基于预设划分比例,根据所述模型输入数据和所述模型输出数据划分得到训练数据和验证数据;
23、测试单元,用于利用所述训练数据训练所述目标神经网络,得到初始检测模型,并利用所述云端数据测试所述初始检测模型,得到测试结果;
24、生成单元,用于在所述测试结果满足预设验收要求时,将所述初始检测模型作为所述预设的检测模型。
25、可选地,在本技术的一个实施例中,在得到所述测试结果之后,所述测试单元,还包括:
26、更新子单元,用于在所述测试结果不满足预设验收要求时,更新所述预设划分比例,并重新执行所述基于预设划分比例,根据所述模型输入数据和所述模型输出数据划分得到训练数据和验证数据的步骤,直至新的测试结果满足所述预设验收要求。
27、可选地,在一些实施例中,在得到所述初始检测模型之后,所述测试单元,包括:
28、优化子单元,用于利用所述验证数据优化所述初始检测模型。
29、可选地,在一些实施例中,所述将预处理后的车端数据输入至预设的检测模型,得到所述车端数据的检测结果,所述检测模块(200),包括:
30、输入单元,用于将预处理后的车端数据输入至预设的检测模型得到车道数据的输出概率;
31、检测单元,用于判断所述输出概率是否处于预设的阈值区间,若输出概率处于所述预设的阈值区间,则输出所述检测结果为合格,否则,根据所述输出概率确定所述车道数据的问题类型。
32、本技术第三方面实施例提供一种车辆,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的车端数据检测方法。
33、本技术第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上述实施例所述的车端数据检测方法。
34、本技术实施例的有益效果:
35、(1)本技术实施例可以实现对车联网数据的实时质量评估,无需人工干预,提高了数据处理的效率和实时性。
36、(2)本技术实施例通过rnn模型自动识别多种质量问题类型,如精度不足、数据缺失等,可以为后续数据处理提供了重要参考。
37、(3)本技术实施例通过训练历史数据,模型能够准确地识别数据质量问题,有效提高了数据的准确性和可靠性。
38、(4)本技术实施例能够实现自动化处理,降低了人力成本,提高了数据处理的效率和成本效益。
39、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
1.一种车端数据检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,在将所述车端数据输入至所述预设的检测模型之前,包括:
3.根据权利要求2所述的方法,其特征在于,在得到所述测试结果之后,还包括:
4.根据权利要求2所述的方法,其特征在于,在得到所述初始检测模型之后,包括:
5.根据权利要求1所述的方法,其特征在于,所述将预处理后的车端数据输入至预设的检测模型,得到所述车端数据的检测结果,包括:
6.一种车端数据检测装置(10),其特征在于,包括:
7.根据权利要求6所述的装置,其特征在于,在将所述车端数据输入至所述预设的检测模型之前,所述检测模块(200),包括:
8.根据权利要求7所述的装置,其特征在于,在得到所述测试结果之后,所述测试单元,还包括:
9.一种车辆,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-5任一项所述的车端数据检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-5任一项所述的车端数据检测方法。