本发明涉及数据处理领域，特别涉及基于实时数据索引的多路召回检索增强生成方法及装置。
背景技术：
1、随着人工智能技术的飞速发展，大语言模型已成为自然语言处理领域的一项核心技术。尽管大语言模型在处理静态数据和通用知识方面取得了显著成就，但在面对实时数据和特定领域知识时，仍存在一些挑战。为了克服这些挑战，检索增强生成技术(rag)应运而生。rag技术通过将检索系统与大语言模型结合，使得模型能够在生成响应之前，先从大量的外部数据源中检索相关信息，不仅能够利用最新的数据，还能够引入特定领域的知识，从而显著提升大语言模型在特定任务中的性能。
2、现有的rag系统在实时性和数据安全性方面仍有不足。实时数据索引和多路召回机制的缺乏，限制了系统对最新信息的快速响应能力。同时，现有系统在处理敏感数据时，往往缺乏足够的安全保障措施，无法满足企业和个人对数据隐私的高标准要求。
技术实现思路
1、本发明实施例提供了基于实时数据索引的多路召回检索增强生成方法及装置，能够提高生成式任务的准确性和可靠性。
2、根据本发明的一方面，提供了一种基于实时数据索引的多路召回检索增强生成方法，包括：
3、响应于检索需求，设置至少一种数据抓取方式获取实时数据；
4、基于所述实时数据构建索引数据库；
5、基于所述索引数据库设置至少一种类型的检索方案，对通过所述检索方案得到的检索结果进行重新排序；
6、基于所述检索结果生成上下文提示，通过大语言模型基于所述上下文提示生成检索文本。
7、可选的，所述数据抓取方式包括：网络爬虫技术、rss订阅机制、api调用接口、网页监控算法和业务的数据推送。
8、可选的，在所述设置至少一种数据抓取方式获取实时数据之后，还包括：
9、对所述实时数据执行如下方式中的一种或多种：
10、对所述实时数据进行数据清洗；
11、对所述实时数据进行数据去重；
12、对所述实时数据进行数据格式化并去重特殊字符；
13、对所述实时数据进行元信息提取，对所述元信息进行审核。
14、可选的，所述基于所述实时数据构建索引数据库，包括：
15、通过文本嵌入技术，将所述文本实时数据转换为高维向量；
16、构建基于所述高维向量的索引数据库并增量进行索引的更新和构建。
17、可选的，所述检索方案，包括：稀疏检索、稠密检索、通过公域搜索引擎查询和通过私域搜索引擎查询。
18、可选的，所述通过所述检索方案得到的检索结果进行重新排序，包括：
19、从至少一个数据源或索引库召回与所述检索需求相关的信息；
20、所述去除所述检索结果中的重复项，对召回的所述信息进行融合重排序，根据相关性结果进行排序。
21、可选的，所述基于所述检索结果生成上下文提示，通过大语言模型基于所述上下文提示生成检索文本，包括：
22、将所述检索结果和所述检索需求生成所述上下文提示；
23、通过至少一种采样和解码策略，基于所述上下文提示生成所述检索文本。
24、根据本发明的另一方面，提供了一种基于实时数据索引的多路召回检索增强生成装置，包括：
25、抓取单元，用于响应于检索需求，设置至少一种数据抓取方式获取实时数据；
26、构建单元，用于基于所述实时数据构建索引数据库；
27、排序单元，用于基于所述索引数据库设置至少一种类型的检索方案，对通过所述检索方案得到的检索结果进行重新排序；
28、生成单元，用于基于所述检索结果生成上下文提示，通过大语言模型基于所述上下文提示生成检索文本。
29、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
30、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于实时数据索引的多路召回检索增强生成方法。
31、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于实时数据索引的多路召回检索增强生成方法。
32、本发明实施例的方案包括：响应于检索需求，设置至少一种数据抓取方式获取实时数据；基于所述实时数据构建索引数据库；基于所述索引数据库设置至少一种类型的检索方案，对通过所述检索方案得到的检索结果进行重新排序；基于所述检索结果生成上下文提示，通过大语言模型基于所述上下文提示生成检索文本。本发明实施例的方案通过实时数据索引和多路召回机制，实现了对信息的高效检索和利用，显著提升了大语言模型在特定领域和实时场景下的内容生成质量和相关性，从而提高生成式任务的准确性和可靠性。
33、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.基于实时数据索引的多路召回检索增强生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据抓取方式包括：网络爬虫技术、rss订阅机制、api调用接口、网页监控算法和业务的数据推送。
3.根据权利要求1所述的方法，其特征在于，在所述设置至少一种数据抓取方式获取实时数据之后，进一步包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述实时数据构建索引数据库，包括：
5.根据权利要求1所述的方法，其特征在于，所述检索方案，包括：稀疏检索、稠密检索、通过公域搜索引擎查询和通过私域搜索引擎查询。
6.根据权利要求1所述的方法，其特征在于，所述通过所述检索方案得到的检索结果进行重新排序，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述检索结果生成上下文提示，通过大语言模型基于所述上下文提示生成检索文本，包括：
8.基于实时数据索引的多路召回检索增强生成装置，其特征在于，包括：
9.电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于实时数据索引的多路召回检索增强生成方法。
10.计算机可读介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于实时数据索引的多路召回检索增强生成方法。
