本发明涉及脑机接口交互领域和遥感图像处理领域,特别是指一种基于非侵入式脑机接口的遥感智能解译方法,可用于遥感图像判读、目标标注和人机交互感知等应用场景中。
背景技术:
1、随着脑机接口技术的发展,人类与数字孪生系统的交互方式正在发生变化。在构建数字孪生场景时,需要用到实时渲染技术。实时渲染技术是指使用计算机算法和技术实时生成和显示视觉内容,例如3d图形和动画,这意味着视觉内容是在用户与虚拟场景交互时实时渲染和显示的,没有明显的延迟或预渲染。实时渲染通常用于视频游戏、虚拟现实(vr-virtual reality)和增强现实(ar-augmented reality)等应用程序,在这些应用程序中交互性和响应性非常重要。非侵入式脑机接口(brain-computer interface)技术的出现,可以提供一种更加直接、自然的数字孪生系统交互方式。通过记录和解读人类大脑的电活动,非侵入式脑机接口技术可以实现人类意念和数字孪生系统之间的直接交互。
2、目前,遥感图像判读主要采用鼠标、键盘、屏幕来进行人机交互,采集到的判读信息比较有限,无法进行深入提取和分析,专家的个人知识信息无法获得。现有技术的主要交互方式如下:
3、(1)传统人机交互:在即通过键盘、鼠标、触摸屏等输入设备实现用户对数字孪生系统的交互。
4、(2)视觉交互:用户通过眼睛或头部的动作进行交互,例如使用眼睛或头部的运动控制光标进行操作。视觉交互方法需要准确控制头部或眼睛的运动,操作精度较低,且长时间使用会导致疲劳和不适。
5、(3)声音交互:用户通过语音指令进行交互,例如使用语音控制系统执行操作。声音交互方法需要准确的语音指令,对于语音能力较弱的用户不太友好,同时存在语音干扰等问题。
6、(4)触觉交互:用户通过手指、手掌等身体部位进行触摸和操作,例如使用手指在触摸屏上滑动操作。触觉交互方法需要实际的物理触摸,无法进行远程操作,同时需要准确的手指操作。
7、这些交互方式存在以下问题:
8、(1)输入设备局限性:传统的输入设备,如键盘、鼠标等,需要用户具备相应的使用技能和手部运动能力,对于一些特殊群体,如身体残障人士、老年人等,可能存在交互困难的问题;
9、(2)用户体验不佳:传统的人机交互方式存在一定的交互门槛,需要用户花费一定的时间和精力去学习和使用,而且在长时间使用过程中容易引发手部疲劳、疼痛等问题,影响用户体验;
10、(3)交互效率低:传统的人机交互方式需要用户通过手动操作来完成各种指令,交互效率相对较低,尤其是在一些高密度数据场景下,需要用户快速、准确地操作,这种方式已经不能满足需求。
11、现有技术中的实时渲染技术方案存在以下问题:
12、(1)全局照明可以显著增强虚拟场景的真实感,但计算量大,难以实现实时性能;
13、(2)光栅化是一种传统的渲染技术,通过将3d模型投影到2d屏幕上,将它们转换为2d图像,光栅化快速高效,非常适合实时渲染,但是,它可能无法产生与光线追踪相同水平的视觉精度,因为它无法逼真地模拟光的行为。
14、由于硬件和处理能力的限制,在实时渲染中实现高水平的真实感仍然具有挑战性,虽然光线追踪和全局照明可以产生高度逼真的照明和反射,但它们的计算成本很高,并且需要强大的硬件才能实现实时性能,这导致视觉准确性和性能之间的权衡中,需要做出妥协以保持实时帧速率。
技术实现思路
1、有鉴于此,本发明提出一种基于非侵入式脑机接口的遥感智能解译方法,旨在解决传统数字孪生系统交互方式存在的限制问题和传统遥感图像解译系统存在的限制问题,提供一种可应用于遥感智能解译系统的高质量实时渲染方案,以及更加直接、自然和高效的交互方式。
2、本发明的目的是这样实现的:
3、一种基于非侵入式脑机接口的遥感智能解译方法,包括解译训练的过程和自动解译的过程;其中,解译训练的过程包括以下步骤:
4、(a1)构建遥感影像目标的ssvep刺激图案;
5、(a2)利用遥感影像目标的ssvep刺激图案构建目标三维场景图;
6、(a3)操作人员佩戴脑电信号采集设备观看遥感影像、ssvep刺激图案和目标三维场景图,对遥感影像、ssvep刺激图案和目标三维场景图进行人工判读,并通过脑电信号采集设备获得操作人员的脑电信号,对脑电信号进行信号预处理和频域滤波处理,降低脑电信号中的噪声干扰;
7、(a4)将处理后的脑电信号与目标类别进行匹配,形成人员判读目标属性结果对,结果对中包括含有目标的遥感影像、目标类别、脑电信号;
8、(a5)构建并训练目标类别与脑电信号的匹配模型,所述匹配模型为一维卷积神经网络和二维卷积神经网络通过全连接网络连接而成的网络模型;
9、自动解译的过程包括以下步骤:
10、(b1)操作人员佩戴脑电信号采集设备观看待解译的遥感影像;
11、(b2)通过脑电信号采集设备获得操作人员的脑电信号,对脑电信号进行信号预处理和频域滤波处理,降低脑电信号中的噪声干扰;
12、(b3)将处理后的脑电信号输入到训练好的匹配模型中,输出目标类别。
13、进一步地,步骤(a2)的具体方式为:
14、(201)将ssvep刺激图案导入到unity3d中;
15、(202)通过网格处理、曲面细分和细节层次生成提高渲染性能;
16、(203)基于目标的阴影、材质和特性,形成目标三维场景图;
17、(204)采用视锥裁剪优化帧率;
18、(205)将数字场景进行颜色映射和对比度选择;
19、(206)根据实际需求,设置不同的刺激持续时间和刺激周期。
20、进一步地,步骤(a3)的具体方式为:
21、(301)对原始脑电信号进行去除直流分量的预处理,即,在提取到的脑电信号中减去信号的均值;
22、(302)为保持脑电信号的时域特征,使用逆傅里叶变换在频域滤波,然后将信号重新转换到时域;
23、(303)将校正后的时域信号与原始时域信号进行比较,采用均方根误差计算它们之间的误差;
24、(304)根据误差大小,调整滤波器的参数并重复以上步骤,直到误差达到系统预设的阈值或最小值,得到校正参数后的脑电信号数据。
25、本发明与现有技术相比具有如下优点:
26、(1)本发明中,通过构建ssvep刺激图案、降低噪声、导入刺激图案,有助于用户无需具备手部运动能力和技能,只需通过大脑发出指令,就可以实现对遥感智能解译系统的交互,极大地方便了专业人员的使用;
27、(2)本发明中,通过几何处理、基于物理的阴影和材质、实时全局光照、高级阴影渲染、抗锯齿处理、高质量纹理和材料细节、帧率优化及后处理效果的高级技术,有助于提升视觉准确和视觉上令人愉悦的渲染,同时保持实时性能,确保渲染的场景具有视觉吸引力和真实感,为用户提供身临其境和引人入胜的体验;
28、(3)本发明中,本渲染解决方案具有高度的灵活性和可定制性,允许开发人员根据他们的特定需求定制渲染管道,支持范围广泛的渲染技术和效果,可以根据图形应用程序的要求有选择地启用或禁用这些技术和效果,允许开发人员为其特定应用程序实现所需的视觉风格和性能特征,从而在渲染过程中提供更大的控制和灵活性;
29、(4)高适用性:基于脑机接口技术,用户无需具备手部运动能力和技能,只需通过大脑发出指令,就可以实现对遥感智能解译系统的交互,极大地方便了专业人员的使用;
30、(5)高体验感:相比传统的人机交互方式,基于脑机接口技术可以有效降低用户的学习成本和使用门槛,使得用户可以更加自然地、舒适地与遥感智能解译系统进行交互,减少了手部疲劳、疼痛等问题,提高了用户的体验;
31、(6)高效性:基于脑机接口技术,用户可以通过大脑直接发出指令,实现对遥感智能解译系统的快速、准确交互,尤其是在一些高频率数据场景下,这种方式可以提高交互效率,满足需求;
32、(7)高精度:通过采用深度学习算法,可以更精确地识别和解释大脑信号,实现更高效的交互体验;
33、(8)实时性:该系统可以实时地获取和处理大脑信号,使用户能够快速响应和控制遥感智能解译系统;
34、(9)可靠性:该系统具有较高的准确性和稳定性,可以有效避免传统脑机接口中常见的干扰和噪音问题。
1.一种基于非侵入式脑机接口的遥感智能解译方法,其特征在于,包括解译训练的过程和自动解译的过程;其中,解译训练的过程包括以下步骤:
2.根据权利要求1所述的一种基于非侵入式脑机接口的遥感智能解译方法,其特征在于,步骤(a2)的具体方式为:
3.根据权利要求1所述的一种基于非侵入式脑机接口的遥感智能解译方法,其特征在于,步骤(a3)的具体方式为: