太多的信息，例如由于在检索过程中发现太多块或时间太长，可能会导致法学硕士生成答案时出现问题。法学硕士从给定上下文中的文本部分中提取和处理信息的能力称为法学硕士回忆。研究表明，法学硕士尤其难以找到上下文中出现的信息。因此，所谓的“大海捞针”测试现在已成为 LLM 基准测试的一部分。
请求过于复杂或具体：检索问题的另一个原因可能是提示或请求过于复杂或过于具体。如果将提示的不相关方面与压缩后作为矢量化的一部分的源数据库的内容进行比较，这些可能会导致相似性搜索出现问题。
问题和答案之间的语义距离：由于回答用户查询的相关信息是通 护理院电子邮件列表 过查询与源文档的事实陈述之间的相似性搜索获得的，因此用户查询通常被表述为问题的事实也可能构成问题 。无论事实内容如何，问题和陈述已经具有一定的语义距离，这使得比较从根本上变得困难。
解决方案
图 1 中所示的管道仅代表 RAG 框架的框架，它可以正常工作，尤其是对于简单的用例。但其实没必要！虽然法学硕士本身主要是垂直发展的（除了所谓的专家混合模型等概念），并且接受越来越多的参数训练，但 RAG 主要是水平发展的。由于 RAG 系统引起了极大的兴趣并且现在被广泛使用，所描述的问题正在通过开发新方法来解决。下面介绍四到五种方法。
重新排名
优化 RAG 的第一种方法解决问题 A.：不正确或次优的检索。由于在嵌入源文档时无法知道文本部分中的哪些信息可能与用户查询相关，因此在矢量化过程中可能会丢失高度相关的信息。结果，文本的潜在相关部分在相似性搜索中的排名比实际应有的低得多，因此甚至没有被传递到法学硕士。一种可能的解决方案是简单地将更多文本部分交给法学硕士，以增加收到更多相关部分的可能性。除了上述问题 C（“稀疏上下文”）之外，根据模型而变化的最大上下文大小（来自 LLM 的输入）也阻碍了这种解决方法。