Retrieval-Augmented Generation (RAG) reduces hallucinations by grounding answers in retrieved evidence, yet standard retrievers often exhibit retrieval sycophancy: they preferentially surface evidence that supports a user's premise, even when the premise is false. We propose FVA-RAG (Falsification-Verification Alignment RAG), a pipeline that inverts the standard RAG workflow by treating the initial response as a draft hypothesis and explicitly retrieving anti-context to stress-test it. We evaluate on the full TruthfulQA-Generation benchmark (N=817) under a fully frozen protocol with 0 live web calls and identical retrieval budgets across methods. Using gpt-4o for generation and deterministic judging, FVA-RAG achieves 79.80-80.05% accuracy across two independently built frozen corpora , significantly outperforming prompted variants of Self-RAG (71.11-72.22%) and CRAG (71.36-73.93%) with p < 10^-6 according to McNemar's test. FVA-RAG triggers falsification on 24.5-29.3% of queries, demonstrating that targeted counter-evidence retrieval is decisive for mitigating premise-confirming hallucinations.


翻译:检索增强生成(RAG)通过将答案建立在检索到的证据基础上来减少幻觉,然而标准检索器常常表现出检索谄媚性:它们倾向于优先提供支持用户前提的证据,即使该前提是错误的。我们提出了FVA-RAG(证伪-验证对齐RAG),这是一个通过将初始响应视为草稿假设并显式检索反上下文以对其进行压力测试,从而逆转标准RAG工作流程的管道。我们在完整的TruthfulQA-Generation基准测试(N=817)上,采用完全冻结的协议(零实时网络调用)并在各方法间保持相同检索预算的条件下进行评估。使用gpt-4o进行生成和确定性判断,FVA-RAG在两个独立构建的冻结语料库上分别达到了79.80-80.05%的准确率,根据McNemar检验(p < 10^-6),显著优于提示变体Self-RAG(71.11-72.22%)和CRAG(71.36-73.93%)。FVA-RAG在24.5-29.3%的查询上触发了证伪过程,证明有针对性的反证据检索对于缓解前提确认性幻觉具有决定性作用。

0
下载
关闭预览

相关内容

【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员