本申请涉及人工智能领域,尤其涉及一种理性思考的方法。
背景技术:
1、大型语言模型(llms)在人工智能领域,特别是在自然语言处理(nlp)和认知模拟方面,已经取得了显著的进展。llms通过深度学习架构,如变换器(transformers),能够处理和生成自然语言文本,广泛应用于问答系统、文本摘要、语言翻译等任务。
2、llms的发展背景包括以下几个方面:
3、1.基础架构的进化:随着深度学习技术的发展,llms的基础架构不断优化,提高了模型的计算效率和学习能力。
4、2.提示机制的改进:为了更好地引导模型进行特定任务,研究人员开发了各种提示机制,帮助模型更好地理解和执行任务。
5、3.微调范式的创新:通过微调技术,llms能够在特定数据集上进行训练,以适应不同的应用场景和任务需求。
6、尽管llms在上述方面取得了进步,但它们在处理复杂推理任务时仍面临一些挑战和局限:
7、1.认知能力不足:llms在形式语言能力上表现出色,但在功能语言能力,如逻辑推理、世界知识和社会推理等方面存在不足。
8、2.认知偏差问题:llms在处理信息时可能会受到认知偏差的影响,这些偏差会导致模型在特定情境下产生非理性的判断和决策。
9、3.推理能力有限:在需要复杂推理的任务中,如算术推理和常识推理,llms的表现往往不如人类,尤其是在没有明确提示的情况下。
10、4.缺乏自我反思:现有的llms通常不具备自我反思的能力,这限制了它们在连续思维过程中的自我改进和问题解决能力。
11、5.依赖特定提示:现有的增强llms认知能力的方法通常依赖于特定的提示或问题分解,这可能会限制模型的泛化能力和适应性。
技术实现思路
1、为了解决该问题,第一方面本申请实施例提供了一种理性思考的方法,应用于大语言模型,方法包括:确定结构化流程,结构化流程包括:识别任务中的关键信息,关键信息包括关键词和潜在的问题类型;根据关键信息将任务拆分为多个子任务;获取与每个子任务的答案相关的先验信息;根据先验信息反思关键信息和多个子任务中每个子任务的有效性和合理性,纠正潜在的问题类型对应的问题;基于反思的结果对每个子任务进行推理和逻辑计算;评估每个子任务的初步答案,整合后确定合理的答案;将结构化流程整合到决策过程中,使得大语言模型在接收到任务后,执行结构化流程,输出合理的答案。
2、在一些可行实施方式中,方法还包括:大语言模型在接收到任务后,在prompt的引导下执行结构化流程,输出合理的答案。
3、在一些可行实施方式中,方法还包括:设定prompt模版,在prompt模版中设置多个提示语句,多个提示语句用于引导大语言模型根据结构化流程一步一步执行。
4、在一些可行实施方式中,识别任务中的关键信息,包括:确定任务的关键词和潜在的问题类型;根据任务的关键词和潜在的问题类型,识别问题的由来、影响、现有解决方案。
5、在一些可行实施方式中,根据关键信息将任务拆分为多个子任务,包括:调用大语言模型的推理能力与规划能力,根据关键信息将任务分解为多个子任务。
6、在一些可行实施方式中,获取与每个子任务的答案相关的先验信息,包括:收集与每个子任务的答案相关的可能存在的先验概率分布,设置每个子任务的初步假设。
7、在一些可行实施方式中,潜在的问题类型包括认知偏差和逻辑漏洞,根据先验信息反思关键信息和多个子任务中每个子任务的有效性和合理性,纠正潜在的问题类型对应的问题,包括:在执行每一步骤得出每一步骤的结论后,根据现有知识分析结论有效性和当前步骤的合理性,识别潜在的认知偏差并纠正逻辑漏洞。
8、在一些可行实施方式中,基于反思的结果对每个子任务进行推理和逻辑计算,包括:基于反思结果,识别潜在的认知偏差和校正逻辑漏洞之后,根据当前逻辑、已有先验数据和先验知识使用概率计算、贝叶斯方法或其他合理的数据分析技术进行推理和计算。
9、本申请实施例提供的理性思考的方法方法显著提高了llms在认知偏差任务上的准确性,例如测试gpt-4的准确性提升了18.7%。在算术和常识推理任务中,rot方法使llms在零样本设定下的表现优于其他推理增强技术,如cot。通过结构化的理性思考步骤,rot方法有助于减少模型在决策过程中的认知偏差,使其更加接近人类的理性思维。rot方法不需要针对特定任务的手动示例提示,增强了模型对不同任务的泛化能力。与传统的基于提示的方法相比,rot不需要额外的人工标注,从而降低了特征工程的成本。rot方法基于认知心理学理论,推动了认知科学与人工智能技术的进一步整合。rot方法整合了多种用于增强llms推理能力的方法,形成了一个基于认知心理学的统一理论框架。rot方法通过提高模型的认知能力和推理准确性,为实现更高级的通用人工智能铺平了道路。
10、第二方面,本申请实施例提供了一种理性思考的大型语言模型,基于第一方面任意一项的方法,将结构化流整合到决策过程中,在接收到任务后,大语言模型执行结构化流程,输出合理的答案;结构化流程包括:识别模块,用于识别任务中的关键信息,关键信息包括关键词和潜在的问题类型;分解模块,用于根据关键信息将任务拆分为多个子任务;信息收集模块,用于获取与每个子任务的答案相关的先验信息;反思模块,用于先验信息反思关键信息和多个子任务中每个子任务的有效性和合理性,纠正潜在的问题类型对应的问题;计算模块,用于基于反思的结果对每个子任务进行推理和逻辑计算;评估模块,用于评估每个子任务的初步答案,整合后确定合理的答案。
11、第三方面,本申请实施例提供了一种电子设备,包括:至少一个存储器,用于存储程序;至少一个处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行如第一方面任意一项的方法。
12、第四方面,本申请实施例提供了一种计算机存储介质,计算机存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行第一方面中所提供的方法。
1.一种理性思考的方法,其特征在于,应用于大语言模型,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1或2所述的方法,其特征在于,所述识别任务中的关键信息,包括:
5.根据权利要求1或2所述的方法,其特征在于,所述根据所述关键信息将所述任务拆分为多个子任务,包括:
6.根据权利要求1或2所述的方法,其特征在于,所述获取与每个子任务的答案相关的先验信息,包括:
7.根据权利要求1或2所述的方法,其特征在于,所述潜在的问题类型包括认知偏差和逻辑漏洞,所述根据所述先验信息反思所述关键信息和多个子任务中每个子任务的有效性和合理性,纠正所述潜在的问题类型对应的问题,包括:
8.根据权利要求1或2所述的方法,其特征在于,所述基于所述反思的结果对所述每个子任务进行推理和逻辑计算,包括:
9.一种理性思考的大型语言模型,其特征在于,基于权利要求1-8任意一项所述的方法,将所述结构化流整合到决策过程中,在接收到任务后,所述大语言模型执行所述结构化流程,输出所述合理的答案;
10.一种电子设备,包括:至少一个存储器,用于存储程序;至少一个处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行如权利要求1-8任意一项所述的方法。
