为了解决这些问题,论文提出了一个端到端模型E2E-AFG(End-to-End Model with Adaptive Filtering for Retrieval-Augmented Generation),该模型将答案存在判断和文本生成集成到一个单一的端到端框架中,使模型能够更有效地关注相关内容,减少不相关信息的影响,并生成准确的答案。
核心内容
E2E-AFG(End-to-End Model with Adaptive Filtering for Retrieval-Augmented Generation)的端到端模型,通过以下几个关键步骤解决检索增强型生成任务中的问题:1. 集成答案存在判断和文本生成任务E2E-AFG将分类任务(判断上下文中是否包含答案)和生成任务(生成回答)集成到一个统一的端到端框架中。这种设计允许模型同时学习上下文过滤和答案生成。2. 生成伪答案(Pseudo-Answers)为了增加模型生成准确答案的可能性,E2E-AFG首先使用预训练的大型语言模型为输入查询生成一个相关的伪答案。这个伪答案作为额外的参考,帮助模型产生更准确的回答。3. 上下文过滤策略E2E-AFG采用了三种上下文过滤策略来获取银牌分类标签(silver classification labels),用以判断检索到的段落集和生成的伪答案是否包含答案: