本发明涉及座舱信息交互，尤其涉及一种基于多模态信息交互的座舱系统控制方法及座舱系统。
背景技术：
1、目前，随着社会的进步和科技水平的发展，在智能汽车领域，随着智能汽车产品技术的提升，愈发看重驾驶员与车辆座舱之间的智能交互。在车辆驾驶过程中，驾驶员会接受到多方位多模态、不同交互维度设备带来的信息，并需要对这些信息进行交互处理。最常见的智能交互方式包括语音交互和屏幕信息交互。针对语音交互而言，驾驶员可通过听力获取信息，但人在精力高度集中的情况下，有概率忽略由听力带来的信息，驾驶员在驾驶车辆行驶的过程中，当出现驾驶事件时，驾驶员也容易忽略听力带来的信息，而如果采用屏幕信息交互，需要驾驶员的视线移动到屏幕上，无法继续关注路面，同样容易出现安全问题，影响车辆行驶的安全性和稳定性。
技术实现思路
1、本发明的目的在于克服现有技术的不足，本发明提供了一种基于多模态信息交互的座舱系统控制方法及座舱系统，基于多模态信息交互控制器处理不同交互维度的设备的多模态信息，实现驾驶员与车辆多模态的智能交互，有效优化驾驶员的驾驶体验。
2、本发明提供了一种基于多模态信息交互的座舱系统控制方法，所述基于多模态信息交互的座舱系统包括车载主机、多模态信息交互控制器、手势识别模块、信号转接模块、外设模块，所述方法包括：
3、所述车载主机生成驾驶事件，并基于所述信号转接模块将所述驾驶事件发送到所述多模态信息交互控制器处；
4、所述多模态信息交互控制器分析所述驾驶事件，生成初始指令，将所述初始指令发送到所述外设模块处，并激活所述手势识别模块；
5、所述外设模块基于所述初始指令生成初始响应；
6、所述手势识别模块识别座舱内驾驶员的手势信息，生成手势识别指令，并将所述手势识别指令反馈到所述多模态信息交互控制器处；
7、所述多模态信息交互控制器基于所述手势识别指令生成事件处理指令，并将所述事件处理指令发送到所述外设模块处；
8、所述外设模块基于所述事件处理指令生成事件处理响应。
9、进一步的，所述车载主机生成驾驶事件，并基于所述信号转接模块将所述驾驶事件发送到所述多模态信息交互控制器处包括：
10、所述车载主机接收驾驶事件建立申请，生成驾驶事件；
11、所述车载主机基于can-fd通信将所述驾驶事件转接到所述信号转接模块中设置在所述车载主机一侧的第一信号转接单元处；
12、所述第一信号转接单元基于蓝牙通信和/或星闪通信将所述驾驶事件发送到所述信号转接模块中设置在所述多模态信息交互控制器一侧的第二信号转接单元处；
13、所述第二信号转接单元基于uart串口通信将所述驾驶事件转接到所述多模态信息交互控制器处。
14、进一步的，所述多模态信息交互控制器分析所述驾驶事件，生成初始指令包括：
15、所述多模态信息交互控制器分析所述驾驶事件，判断是否需要座舱内驾驶员进行决策，若判断需要驾驶员进行决策，则基于所述驾驶事件生成初始指令。
16、进一步的，所述外设模块基于所述初始指令生成初始响应包括：
17、座舱内的动态led灯带基于所述初始指令生成对应的初始响应灯光效果；
18、方向盘上的振动致动器基于所述初始指令生成对应的初始响应振动效果；
19、座舱内的音响设备基于所述初始指令生成对应的初始响应指示音效果。
20、进一步的，所述手势识别模块识别座舱内驾驶员的手势信息，生成手势识别指令包括：
21、所述手势识别模块采集驾驶员的手势图像，获取所述手势图像中每帧图像中手指、手掌和手腕的空间坐标，并生成每帧图像中手指、手掌和手腕的空间编码；
22、将每帧图像对应的时间点在所述手势图像的时间轴进行标注，生成每帧图像对应的时间编码；
23、基于自注意力机制模型将每帧图像中手指、手掌和手腕的空间编码与每帧图像对应的时间编码进行合并，生成所述手势图像的时空位置编码；
24、将所述时空位置编码与数据库中的编码数据进行匹配，匹配出所述手势图像对应的手势识别指令。
25、进一步的，当匹配出所述手势图像对应的手势识别指令后，所述手势识别模块停止识别驾驶员的手势信息。
26、进一步的，所述将所述手势识别指令反馈到所述多模态信息交互控制器处包括：
27、所述手势识别模块基于i²c通信将所述手势识别指令反馈到所述多模态信息交互控制器处。
28、进一步的，所述多模态信息交互控制器基于所述手势识别指令生成事件处理指令，并将所述事件处理指令发送到所述外设模块处包括：
29、所述多模态信息交互控制器分析所述手势识别指令在所述驾驶事件中的含义，生成对应的所述驾驶事件的事件处理指令，并将所述事件处理指令发送到所述外设模块处。
30、进一步的，所述外设模块基于所述事件处理指令生成事件处理响应包括：
31、座舱内的动态led灯带基于所述事件处理指令生成对应的事件处理响应灯光效果；
32、方向盘上的振动致动器基于所述事件处理指令生成对应的事件处理响应振动效果；
33、座舱内的音响设备基于所述事件处理指令生成对应的事件处理响应指示音效果；
34、座舱外的点阵显示屏模组基于所述事件处理指令生成对应的事件处理响应图像。
35、本发明还提供了一种基于多模态信息交互的座舱系统，所述基于多模态信息交互的座舱系统包括车载主机、多模态信息交互控制器、手势识别模块、第一信号转接单元、第二信号 、外设模块，所述基于多模态信息交互的座舱系统用于执行上述的方法。
36、本发明提供了一种基于多模态信息交互的座舱系统控制方法及座舱系统，基于多模态信息交互控制器处理不同交互维度的设备的多模态信息，并采用以灯光、振动、点阵显示为代表的信息交互模式，可给予驾驶员更丰富的反馈，实现驾驶员与车辆多模态的智能交互，有效优化驾驶员的及时体验；在车载主机与多模态信息交互控制之间采用蓝牙或星闪通信，在具备无线通信的优势以外，更具备较佳的安全性，不易被侦测破解通信信号，提高车辆行驶的安全性和稳定性；通过采用手势识别技术，可以很好地运用在智能驾驶场景中，减小对驾驶员驾驶过程的影响，提高驾驶员的操作便捷度，具有较高的实际应用价值。
1.一种基于多模态信息交互的座舱系统控制方法，其特征在于，所述基于多模态信息交互的座舱系统包括车载主机、多模态信息交互控制器、手势识别模块、信号转接模块、外设模块，所述方法包括：
2.如权利要求1所述的基于多模态信息交互的座舱系统控制方法，其特征在于，所述车载主机生成驾驶事件，并基于所述信号转接模块将所述驾驶事件发送到所述多模态信息交互控制器处包括：
3.如权利要求1所述的基于多模态信息交互的座舱系统控制方法，其特征在于，所述多模态信息交互控制器分析所述驾驶事件，生成初始指令包括：
4.如权利要求1所述的基于多模态信息交互的座舱系统控制方法，其特征在于，所述外设模块基于所述初始指令生成初始响应包括：
5.如权利要求1所述的基于多模态信息交互的座舱系统控制方法，其特征在于，所述手势识别模块识别座舱内驾驶员的手势信息，生成手势识别指令包括：
6.如权利要求5所述的基于多模态信息交互的座舱系统控制方法，其特征在于，当匹配出所述手势图像对应的手势识别指令后，所述手势识别模块停止识别驾驶员的手势信息。
7.如权利要求1所述的基于多模态信息交互的座舱系统控制方法，其特征在于，所述将所述手势识别指令反馈到所述多模态信息交互控制器处包括：
8.如权利要求1所述的基于多模态信息交互的座舱系统控制方法，其特征在于，所述多模态信息交互控制器基于所述手势识别指令生成事件处理指令，并将所述事件处理指令发送到所述外设模块处包括：
9.如权利要求1所述的基于多模态信息交互的座舱系统控制方法，其特征在于，所述外设模块基于所述事件处理指令生成事件处理响应包括：
10.一种基于多模态信息交互的座舱系统，其特征在于，所述基于多模态信息交互的座舱系统包括车载主机、多模态信息交互控制器、手势识别模块、第一信号转接单元、第二信号 、外设模块，所述基于多模态信息交互的座舱系统用于执行如权利要求1-9任一项所述的方法。
