本发明涉及智能家居,具体的说,是一种语言模型训练和语音识别方法、及家居控制系统和方法。
背景技术:
1、随着人工智能的快速发展,自然语言处理技术(nlp)取得了显著进步,自然语言处理技术(nlp)是在机器语言和人类语言之间沟通的桥梁,以实现人机交流。其中,语言模型作为nlp技术的核心,在语音识别过程中扮演着重要角色。语言模型主要用在语音识别中理解语言结构,预测文本生成。语言模型微调是指在预训练语言模型基础上,用特定的数据集进一步训练,以使模型适应特定任务或领域的过程,通过上传词汇、固定搭配、长句文本等语料来干预语言模型的识别输出,根据训练语料中上下文的文字搭配概率来识别出正确的文字,可以提升语音识别准确率。
2、在智能家居系统的语音控制中,用户通常会使用自定义的词汇,由于发音人口音和方言差异、语速和发音清晰度不同、控制指令同音词等问题,导致语音识别出现误识别现象。
3、当前分布式控制系统的语音识别受外界噪音、语音指令发音等多重因素影响,存在很多误识别的现象,如“空调设为制冷模式”被误识别为“空调设为智能模式”、“冰箱设为智能模式”被误识别为“冰箱设为制冷模式”、“打开一键开关”被误识别为“打开一件开关”等。将语音识别错误的文本信息送到nlp平台进行语义分析理解时,nlp平台可能无法准确判别命令词的意图,从而导致语音指令不能执行其相应的功能。
技术实现思路
1、为了解决上述技术问题,本发明的目的在于提供一种语言模型训练和语音识别方法、及家居控制系统和方法,采用语言模型动态微调的方法,可以实时根据用户的自定义词汇进一步训练语言模型,并根据调优后语言模型的概率来纠正识别结果中的错误。
2、本发明通过下述技术方案解决上述问题:
3、语言模型微调训练方法,包括以下步骤:
4、1.1、新建若干词库,每个词库是同类单词的合集;
5、1.2、新建若干语义槽,语义槽是从用户说法中提取的关键词;并将词库语料映射到对应的语义槽,建立一一对应的关联关系;
6、1.3、根据语音控制指令,使用语义槽新建语音控制指令相关的控制意图说法;
7、1.4、在语音服务器上设置控制意图对话,对话是语音服务器对语音设备控制指令的反馈;
8、1.5、结合步骤1.1-1.4,在智能家居通用语言模型的基础上对该语言模型进行微调训练,使用智能家居相关的语料来优化语言模型对家居设备名称、功能描述、以及操作指令的理解能力;并通过微调训练后的语言模型对输入语音设备的语音控制指令进行识别输出,使识别输出的内容倾向于步骤1.3所述控制意图说法。
9、作为对其进一步的改进,所述使用语义槽新建语音控制指令相关的控制意图说法,具体方法为:将语音控制指令的原说法使用语义槽确定命中的说法规则、命中的意图以及命中的语义槽,以通过所确定命中的说法规则、命中的意图以及命中的语义槽新建控制指令相关的控制意图说法。
10、作为对其进一步的改进,所述在语音服务器上设置控制意图对话,使用命中的语义槽重新组合成新文本指令的方式形成所述控制意图。
11、作为对其进一步的改进,所述在语音服务器上设置控制意图对话,具体方法为:设置一个控制意图对话回复的topic,在语音设备上订阅该topic,以通过topic进行消息过滤。
12、作为对其进一步的改进,在所述语言模型微调训练中,采用ctc算法,并通过固定搭配和长句文本的语料来干预语言模型的识别输出,使识别输出的内容倾向于所述控制意图说法。
13、另外,本发明还通过下述技术方案解决上述问题:
14、语言模型实时微调训练方法,用于对如上所述语言模型微调训练方法所训练后的语言模型进行实时微调训练,所述实时微调训练方法,包括:
15、判断语音设备收到的名称列表与语音设备内存中已保存的列表数据对比是否有更新,若有,则将语音设备收到的名称列表上传到语音服务器,更新对应的词库,并立即对语言模型进行实时微调训练。
16、作为对其进一步的改进,还包括以下步骤:
17、2.1、语音设备初次上电联网,登录mqtt服务,iot云服务器监听到语音设备上线,将家庭内房间、设备和场景的名称列表推送到语音设备上,以保证语音服务器相关名称列表数据与iot服务器的数据一致性;
18、2.2、语音设备收到名称列表后,保存到语音设备内存中,并将各名称列表通过http请求接口上传到语音服务器,并将各名称列表上传到对应的词库下;
19、2.3、语音设备运行过程中,改变家庭内房间、设备或场景的名称时,iot服务器监听到变更动作,将变更后的房间、设备或场景的名称列表推送到家庭内的所有语音设备上;
20、2.4、语音设备收到名称列表后,与语音设备内存中已保存的列表数据对比,以判断是否有更新。
21、另外,本发明还通过下述技术方案解决上述问题:
22、一种语音识别方法,包括以下步骤:
23、对语音设备进行语音输入;
24、通过如上所训练后的语言模型对输入的语音进行识别与纠错;组合语义槽关键词,将语音转化为文字,并输出识别文本。
25、另外,本发明还通过下述技术方案解决上述问题:
26、一种家居控制系统,包括:语音设备、iot云服务器、手机app、语音服务器、语义解析服务器和家居设备,其中,语音设备、手机app、家居设备、语义解析服务器均与iot云服务器相通信,语音设备还与语音服务器和语义解析服务器相通信;通过通信协议进行数据传输与指令执行,以使家居设备执行如上所述一种语音识别方法所输出识别文本的指令,实现家居设备的智能语音控制。
27、另外,本发明还通过下述技术方案解决上述问题:
28、一种家居控制方法,包括以下步骤:
29、用户通过语音设备输入语音控制指令;
30、语音设备将语音控制指令发送给语音服务器进行识别与解析;
31、iot云服务器实时推送语料信息至语音设备,用于更新词库,以适应家庭环境的动态变化;语音服务器根据实时更新的词库对语言模型进行如上所述语言模型实时微调训练方法进行微调训练,以通过微调训练后的语言模型对输入的语音进行识别;
32、识别后的文本信息通过语义解析服务器进行语法分析和语义理解,确定用户控制意图;
33、将控制协议通过iot云服务器转发至家居设备执行,并将执行结果反馈给用户。
34、本发明与现有技术相比,具有以下优点及有益效果:
35、(1)、本发明通过微调训练后的语言模型替代通用语音模型,以解决现有语音识别过程中,通用语音模型广泛适用于多种场景和语言,但通常不针对特定任务或环境进行优化,由于其对环境噪音敏感,以及对特定口音或方言的支持有限,因此容易导致误识别的问题;且由于通用语音模型需要覆盖多种场景和语言,因此当新的语言、口音或任务出现时,对通用语言模型进行更新和维护会非常复杂和耗时。而在智能家居中采用微调训练后的语言模型进行实时微调,实现语音识别,可以提高控制指令语音识别的准确率,同时对语言模型的更新和维护更加方便、快捷。
36、(2)、本发明解决了特定任务或领域内语音控制指令中因自定义词汇、发音、指令词同音等问题导致的语音误识别问题,有助于提高语音识别的准确率和流畅度,为用户提供更加便捷、智能的生活体验。
1.语言模型微调训练方法,其特征在于,包括以下步骤:
2.根据权利要求1所述语言模型微调训练方法,其特征在于,所述使用语义槽新建语音控制指令相关的控制意图说法,具体方法为:将语音控制指令的原说法使用语义槽确定命中的说法规则、命中的意图以及命中的语义槽,以通过所确定命中的说法规则、命中的意图以及命中的语义槽新建控制指令相关的控制意图说法。
3.根据权利要求2所述语言模型微调训练方法,其特征在于,所述在语音服务器上设置控制意图对话,使用命中的语义槽重新组合成新文本指令的方式形成所述控制意图。
4.根据权利要求1所述语言模型微调训练方法,其特征在于,所述在语音服务器上设置控制意图对话,具体方法为:设置一个控制意图对话回复的topic,在语音设备上订阅该topic,以通过topic进行消息过滤。
5.根据权利要求1所述语言模型微调训练方法,其特征在于,在所述语言模型微调训练中,采用ctc算法,并通过固定搭配和长句文本的语料来干预语言模型的识别输出,使识别输出的内容倾向于所述控制意图说法。
6.语言模型实时微调训练方法,用于对如权利要求1所述语言模型微调训练方法所训练后的语言模型进行实时微调训练,其特征在于,所述实时微调训练方法,包括:
7.根据权利要求6所述语言模型实时微调训练方法,其特征在于,还包括以下步骤:
8.一种语音识别方法,其特征在于,包括以下步骤:
9.一种家居控制系统,其特征在于,包括:语音设备、iot云服务器、手机app、语音服务器、语义解析服务器和家居设备,其中,语音设备、手机app、家居设备、语义解析服务器均与iot云服务器相通信,语音设备还与语音服务器和语义解析服务器相通信;通过通信协议进行数据传输与指令执行,以使家居设备执行如权利要求8所述一种语音识别方法所输出识别文本的指令,实现家居设备的智能语音控制。
10.一种家居控制方法,其特征在于,包括以下步骤: