本发明属于车辆安全驾驶领域，涉及驾驶风险管控技术，具体涉及一种多级驾驶风险管控方法、系统、设备及介质。
背景技术：
1、交通事故(traffic accident)是指车辆在道路上因过错或者意外造成人身伤亡或者财产损失的事件，引发交通事故的因素通常包括客观因素、车辆因素、驾驶员因素等等。其中，驾驶员因素包括长时间驾驶、操作失误和违规驾驶，例如驾驶员在长时间驾驶时难免会出现疲劳、分神等导致精力分散、反应迟钝等情况，该情况会威胁到驾驶安全，对人身安全和经济财产造成严重威胁，因此建立人性化、有效的风险管控系统将有效降低事故发生的概率，保障人民的生命、财产安全已成为全社会关注的焦点之一。
2、目前，现有的风险管控系统为两级风控，第一级对驾驶员的状态进行实时监测，根据监测结果判断是否要输出警示信息；第二级是通过风控人员对第一级中输出警示信息的误报信息进行处理。其存在以下局限性：
3、1.第一级风险管控只是对驾驶员的状态进行判断，可能会频繁地提醒驾驶员，一方面会存在大量的误报，另一方面会引起驾驶员的反感，使得驾驶员对提醒视而不见而忽略真实的风险增加发生事故的概率；
4、2.第二级风险管控大量增加了风控人员的工作量，增加了处理成本和降低了处理效率。
技术实现思路
1、为了解决现有两级风险管控存在的因频繁警示造成驾驶员忽视警示信息而提高事故概率，以及风控人员处理误报信息量大增加了成本的技术问题，本发明公开了一种多级驾驶风险管控方法，所述方法包括以下步骤：
2、s1、采集同一时刻自车的前视视频流、车身信息数据和dms视频流；
3、s2、在自车端侧，通过所述前视视频流、所述车身信息数据和所述dms视频流进行初次风险评估，依据初次风险评估结果判断实时风险和累积风险，对所述实时风险报警，对所述累积风险不报警，所述实时风险包括无主动操作碰撞实时风险、疲劳且偏离车道风险和分神且偏离车道风险；
4、s3、在云端，通过训练的多个mllm大模型对提取的与所述累积风险对应的前视视频流、车身信息数据和dms视频流进行第二级风险评估得到驾驶员状态和算法置信度信息，依据置信度阈值、所述驾驶员状态和所述算法置信度信息进行高风险、低风险判断，对所述高风险进行报警干预。
5、在上述步骤s2的一个可选的实施例中，所述在自车端侧，通过所述前视视频流、所述车身信息数据和所述dms视频流进行初次风险评估，包括：
6、s21、通过训练的第一神经网络对所述前视视频流进行碰撞及偏离车道风险评估，得到碰撞风险或偏离车道风险；
7、s22、依据所述车身信息数据进行车辆操作判断，得到有主动操作或无主动操作；
8、s23、通过训练的第二神经网络对所述dms视频流进行驾驶员状态判断，得到状态风险，所述状态风险包括疲劳风险或分神风险；
9、s24、将所述碰撞风险或偏离车道风险、所述有主动操作或无主动操作、所述疲劳风险或分神风险作为初次风险评估结果。
10、进一步地，上述步骤s2中，所述依据初次风险评估结果进行实时风险和累积风险判断，对所述实时风险报警，对所述累积风险不报警，包括：
11、s25、将判断为碰撞风险且无主动操作定义为无主动操作碰撞实时风险，将判断为疲劳风险且偏离车道风险定义为疲劳且偏离车道风险，将判断为分神风险且偏离车道风险定义为分神且偏离车道风险；
12、s26、将所述无主动操作碰撞实时风险、所述疲劳且偏离车道风险和所述分神且偏离车道风险确定为所述实时风险；
13、s27、将有所述状态风险，但无所述碰撞风险、所述偏离车道风险的风险确定为累积风险；
14、s28、在自车端侧，对所述实时风险进行报警，对所述累积风险不报警，将所述累积风险对应的前视视频流、车身信息数据和dms视频流发送至云端。
15、在上述步骤s3的一个可选的实施例中，所述在云端，通过训练的多个mllm大模型对提取的与所述累积风险对应的前视视频流、车身信息数据和dms视频流进行第二级风险评估得到驾驶员状态和算法置信度信息，依据置信度阈值、所述驾驶员状态和所述算法置信度信息进行高风险、低风险判断，包括：
16、s31、在云端分别对与所述累积风险对应的前视视频流、车身信息数据和dms视频流进行特征提取和拼接，得到特征图；
17、s32、将所述特征图输入至训练的多个mllm大模型中进行第二级风险评估得到驾驶员状态和算法置信度信息，所述驾驶员状态包括疲劳、分神和正常中的任意一种；
18、s33、若所述算法置信度信息≥置信度阈值，且驾驶员状态为疲劳或分神，判断为高风险；若所述驾驶员状态为正常，判断为低风险；若所述算法置信度信息＜置信度阈值时，通过风控人员进行第三级风险评估。
19、进一步地，上述步骤s31中，所述将所述特征图输入至训练的多个mllm大模型中进行第二级风险评估得到驾驶员状态和算法置信度信息，包括：
20、将所述特征图分别输入至训练的每个mllm大模型中进行风险评估和置信度加权平均，得到驾驶员状态和算法置信度信息。
21、在上述多级驾驶风险管控方法的一个改进的实施例中，所述方法还包括：
22、s4、将与所述算法置信度信息＜置信度阈值对应的前视视频流、车身信息数据和dms视频流至风控人员，通过所述风控人员进行第三级风险评估，依据第三级风险评估结果进行报警。
23、在上述多级驾驶风险管控方法的一个改进的实施例中，所述方法还包括：
24、s5、提取与所述累积风险对应的前视视频流、车身信息数据和dms视频流作为分析数据，对所述分析数据依次进行自动标注和人工审核得到标注结果，依据所述标注结果、所述驾驶员状态和算法置信度信息对训练的多个mllm大模型进行迭代优化。
25、本发明实施例还提供了一种多级驾驶风险管控系统，包括采集模块、端侧ai模型和云端大模型。
26、其中，所述采集模块用于采集同一时刻自车的前视视频流、车身信息数据和dms视频流；
27、所述端侧ai模型用于在自车端侧通过所述前视视频流、所述车身信息数据和所述dms视频流进行初次风险评估，依据初次风险评估结果判断实时风险和累积风险，对所述实时风险报警，对所述累积风险不报警，所述实时风险包括无主动操作碰撞实时风险、疲劳且偏离车道风险和分神且偏离车道风险；
28、所述云端大模型用于在云端，通过训练的多个mllm大模型对提取的与所述累积风险对应的前视视频流、车身信息数据和dms视频流进行第二级风险评估得到驾驶员状态和算法置信度信息，依据置信度阈值、所述驾驶员状态和所述算法置信度信息进行高风险、低风险判断，对所述高风险进行报警干预。
29、本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的多级驾驶风险管控方法，以解决现有两级风险管控存在的因频繁警示造成驾驶员忽视警示信息而提高事故概率，以及风控人员处理误报信息量大增加了成本的技术问题。
30、本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的多级驾驶风险管控方法的计算机程序，以解决现有两级风险管控存在的因频繁警示造成驾驶员忽视警示信息而提高事故概率，以及风控人员处理误报信息量大增加了成本的技术问题。
31、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本发明的多级驾驶风险管控方法，通过前视视频流、车身信息数据和dms视频流能够得到车辆状态、驾驶员状态、车外道路环境，通过综合车辆状态、驾驶员状态、车外道路环境等信息在自车端侧、云端建立两级风险预警，通过逐级筛选风险场景和层层上报，以全面评估行车风险，提高预警效率和避免出现误报的风险。
32、本发明中通过云端的二级风险评估，一方面可有效降低误报和漏报，另一方面将根据这些数据不断迭代升级得到更新的多个mllm大模型，提升算法性能。且由于驾驶员疲劳的发展具有渐进性，使得多个mllm大模型的分析可以实现准实时(数十秒)的响应，其响应速度超过风控人员，能在合理的时间内及时干预驾驶风险。
33、同时，本发明的方法由于输入信息极为丰富，包括整个时间序列上的驾驶员视频、前视视频、车辆状态、驾驶员操作等信息，其可以全面评估驾驶员疲劳、分神程度，对于高可信度的风险预测及时、自动的进行处理，例如偶尔短时间分神判定为低风险，不做反馈，而真疲劳、长时间频繁分神等高风险通过语音报警、微信、电话等方式自动进行反馈。
34、再者，在上述两级预警的基础上，增加了风控人员的第三极预警，在第三极预警中可以实现以极少的人工介入对不确定的场景将及时反馈至风控人员进一步确认，从而保证所有的风险都能得到有效处理，实现风险的大幅、有效降低，最大程度提升驾驶安全。
1.一种多级驾驶风险管控方法，其特征在于，包括：
2.根据权利要求1所述的多级驾驶风险管控方法，其特征在于，所述在自车端侧，通过所述前视视频流、所述车身信息数据和所述dms视频流进行初次风险评估，包括：
3.根据权利要求2所述的多级驾驶风险管控方法，其特征在于，所述依据初次风险评估结果进行实时风险和累积风险判断，对所述实时风险报警，对所述累积风险不报警，包括：
4.根据权利要求1所述的多级驾驶风险管控方法，其特征在于，所述在云端，通过训练的多个mllm大模型对提取的与所述累积风险对应的前视视频流、车身信息数据和dms视频流进行第二级风险评估得到驾驶员状态和算法置信度信息，依据置信度阈值、所述驾驶员状态和所述算法置信度信息进行高风险、低风险判断，包括：
5.根据权利要求4所述的多级驾驶风险管控方法，其特征在于，所述将所述特征图输入至训练的多个mllm大模型中进行第二级风险评估得到驾驶员状态和算法置信度信息，包括：
6.根据权利要求4所述的多级驾驶风险管控方法，其特征在于，所述若所述算法置信度信息＜置信度阈值时，通过风控人员进行第三级风险评估，包括：
7.根据权利要求1至6任一项所述的多级驾驶风险管控方法，其特征在于，还包括：
8.一种多级驾驶风险管控系统，其特征在于，包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的多级驾驶风险管控方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的多级驾驶风险管控方法的计算机程序。
