本发明属于英语学习辅助领域,尤其涉及基于人工智能的英语学习辅助系统及方法。
背景技术:
1、英语学习辅助系统是一种应用技术来辅助和促进英语语言学习的系统。这样的系统通常包含多个部分和特性,以满足不同层面的学习需求,诸如语法、发音、词汇、听力、阅读和写作等。
2、目前的英语学习模式通常无法提供充分沉浸的环境,导致学习者难以将自己完全投入到学习场景中。且学习缺乏充分互动,使得学习者往往成为旁观者而非参与者,从而影响了学习的效率和兴趣。
3、多数英语学习资源也不能结合真实场景的语言应用,这会导致学习者在面对真实情境时感到拘束并难以将所学运用到实践中去。且用户可能在接收和处理如文字信息等多种信息源时感到难以识别,特别是在动态变化的真实环境中。
技术实现思路
1、本发明的目的在于提供基于人工智能的英语学习辅助系统,旨在解决背景技术中确定的现有技术存在的技术问题。
2、本发明是这样实现的,基于人工智能的英语学习辅助系统,所述系统包括:
3、模式预设及接口搭建模块,用于预设虚拟模式和现实模式,并设定两组联通接口,且两组所述联通接口分别联通虚拟模式和现实模式,接收用户所选择的联通接口;
4、虚拟环境交流训练模块,用于当联通接口联通虚拟模式时,随机导入并播放任一第一人称英文视频片段,且当第一人称人物发言时暂停视频并仅提供字幕,同时接收音频输入端的语言反馈,并识别口述文本,结合字幕对所采集到的口述文本进行准确性判断;
5、现实环境辅助认知模块,用于当联通接口联通现实模式时,获取外界环境的视觉输入,并捕捉语言用词,同时通过字符元素识别的方式识别出汉子要素和英文要素,并对所识别出的字符元素进行中英实时翻译,且实时采集所识别的字符元素在视觉输入中的实时位置,并生成翻译结果字幕,将翻译结果字幕与所识别的字符元素位置进行绑定;
6、虚拟成果反馈模块,用于获取虚拟模式的判断结果,并生成评估总结。
7、作为本发明更进一步的方案,所述模式预设及接口搭建模块包括:
8、模式功能分配单元,用于定义虚拟模式和现实模式,并为虚拟模式绑定视频播放渠道,为现实模式绑定图像采集渠道;
9、联通接口搭建单元,用于搭建两组联通接口,并为两组联通接口分别建立选取通道,且两组所述联通接口分别与虚拟模式和现实模式相连通;
10、联通接口绑定单元,用于接收被选取的选取通道,并根据选取通道所对于的联通接口,调整至虚拟模式或现实模式。
11、作为本发明更进一步的方案,所述虚拟环境交流训练模块包括:
12、片段读取分析单元,用于当联通接口联通虚拟模式时,从网络随机提取第一人称的英文视频片段,并提取视频片段中的台词,并判断出属于第一人称身份的台词信息;
13、片段控制及发音采集单元,用于播放该英文视频片段,并在第一人称身份发言时暂停视频,并展示台词字幕,同时通过音频输入端口捕捉用户发音;
14、语句分析反馈单元,用于对所捕捉的用户发音进行内容识别,并将所识别到的内容与台词字幕的内容进行比对,同时获取台词字幕内容的标准发音,并将捕捉的用户发音与标准发音进行比对,识别出发音不正确的字符元素,并对该字符元素进行标记,且当该字符元素再次出现时,进行高亮显示。
15、作为本发明更进一步的方案,所述现实环境辅助认知模块包括:
16、环境文本捕捉单元,用于当联通接口联通现实模式时,启用摄像设备捕捉外界环境的视觉信息,同时检测并分离存在的文本信息;
17、文本识别处理单元,用于辨识文本信息的实际内容,并识别出属于中文和英文的文本信息,同时对属于中文和英文的文本信息进行翻译,获得相应的翻译文本;
18、位置追踪绑定单元,用于实时追踪识别文本信息在视觉输入中的位置,并将相应的翻译文本绑定至该位置,并维持翻译文本跟随识别文本信息移动。
19、本发明的另一目的在于提供基于人工智能的英语学习辅助方法,所述系统包括:
20、预设虚拟模式和现实模式,并设定两组联通接口,且两组所述联通接口分别联通虚拟模式和现实模式,接收用户所选择的联通接口;
21、当联通接口联通虚拟模式时,随机导入并播放任一第一人称英文视频片段,且当第一人称人物发言时暂停视频并仅提供字幕,同时接收音频输入端的语言反馈,并识别口述文本,结合字幕对所采集到的口述文本进行准确性判断;
22、当联通接口联通现实模式时,获取外界环境的视觉输入,并捕捉语言用词,同时通过字符元素识别的方式识别出汉子要素和英文要素,并对所识别出的字符元素进行中英实时翻译,且实时采集所识别的字符元素在视觉输入中的实时位置,并生成翻译结果字幕,将翻译结果字幕与所识别的字符元素位置进行绑定;
23、获取虚拟模式的判断结果,并生成评估总结。
24、作为本发明更进一步的方案,所述预设虚拟模式和现实模式,并设定两组联通接口,且两组所述联通接口分别联通虚拟模式和现实模式,接收用户所选择的联通接口,具体包括:
25、定义虚拟模式和现实模式,并为虚拟模式绑定视频播放渠道,为现实模式绑定图像采集渠道;
26、搭建两组联通接口,并为两组联通接口分别建立选取通道,且两组所述联通接口分别与虚拟模式和现实模式相连通;
27、接收被选取的选取通道,并根据选取通道所对于的联通接口,调整至虚拟模式或现实模式。
28、作为本发明更进一步的方案,所述随机导入并播放任一第一人称英文视频片段,且当第一人称人物发言时暂停视频并仅提供字幕,同时接收音频输入端的语言反馈,并识别口述文本,结合字幕对所采集到的口述文本进行准确性判断,具体包括:
29、当联通接口联通虚拟模式时,从网络随机提取第一人称的英文视频片段,并提取视频片段中的台词,并判断出属于第一人称身份的台词信息;
30、播放该英文视频片段,并在第一人称身份发言时暂停视频,并展示台词字幕,同时通过音频输入端口捕捉用户发音;
31、对所捕捉的用户发音进行内容识别,并将所识别到的内容与台词字幕的内容进行比对,同时获取台词字幕内容的标准发音,并将捕捉的用户发音与标准发音进行比对,识别出发音不正确的字符元素,并对该字符元素进行标记,且当该字符元素再次出现时,进行高亮显示。
32、作为本发明更进一步的方案,所述获取外界环境的视觉输入,并捕捉语言用词,同时通过字符元素识别的方式识别出汉子要素和英文要素,并对所识别出的字符元素进行中英实时翻译,且实时采集所识别的字符元素在视觉输入中的实时位置,并生成翻译结果字幕,将翻译结果字幕与所识别的字符元素位置进行绑定,具体包括:
33、当联通接口联通现实模式时,启用摄像设备捕捉外界环境的视觉信息,同时检测并分离存在的文本信息;
34、辨识文本信息的实际内容,并识别出属于中文和英文的文本信息,同时对属于中文和英文的文本信息进行翻译,获得相应的翻译文本;
35、实时追踪识别文本信息在视觉输入中的位置,并将相应的翻译文本绑定至该位置,并维持翻译文本跟随识别文本信息移动。
36、本发明的有益效果是:
37、该系统结合虚拟现实设备,采用第一人称的视频片段辅助学习,让使用者更有代入感,用户不再是旁观者而是参与者,提升交互感,加强学习欲望和主动性。还通过识别发音不标准的部分,并对其进行标记。其所带来的,不仅仅是简单的错字指出,更是在发音细节上的深入剖析。通过将用户发音不准确的字符元素进行高亮显示和反复操练,系统提供定制化重点练习,极大提高了学习者对于英语发音的掌握度和语言学习的自信心。
38、且本系统比起传统的文本识别和翻译工具,提供了一项显著优势——实时跟踪和绑定。这意味着,翻译后的文本在视觉输入中的位置将与原始识别的文本信息安全地“锁定”,即使在动态或复杂的视觉场景中,翻译文本信息也能及时与原文追踪移动。这大大提高了用户体验的连贯性,减少了理解和处理多种信息源的认知负担。
1.基于人工智能的英语学习辅助系统,其特征在于,所述系统包括:
2.根据权利要求1所述的系统,其特征在于,所述模式预设及接口搭建模块包括:
3.根据权利要求2所述的系统,其特征在于,所述虚拟环境交流训练模块包括:
4.根据权利要求3所述的系统,其特征在于,所述现实环境辅助认知模块包括:
5.基于人工智能的英语学习辅助方法,其特征在于,所述系统包括:
6.根据权利要求5所述的方法,其特征在于,所述预设虚拟模式和现实模式,并设定两组联通接口,且两组所述联通接口分别联通虚拟模式和现实模式,接收用户所选择的联通接口,具体包括:
7.根据权利要求6所述的方法,其特征在于,所述随机导入并播放任一第一人称英文视频片段,且当第一人称人物发言时暂停视频并仅提供字幕,同时接收音频输入端的语言反馈,并识别口述文本,结合字幕对所采集到的口述文本进行准确性判断,具体包括:
8.根据权利要求7所述的方法,其特征在于,所述获取外界环境的视觉输入,并捕捉语言用词,同时通过字符元素识别的方式识别出汉子要素和英文要素,并对所识别出的字符元素进行中英实时翻译,且实时采集所识别的字符元素在视觉输入中的实时位置,并生成翻译结果字幕,将翻译结果字幕与所识别的字符元素位置进行绑定,具体包括: