Retrieval-augmented generation has achieved strong performance on knowledge-intensive tasks where query-document relevance can be identified through direct lexical or semantic matches. However, many real-world queries involve abstract reasoning, analogical thinking, or multi-step inference, which existing retrievers often struggle to capture. To address this challenge, we present DIVER, a retrieval pipeline designed for reasoning-intensive information retrieval. It consists of four components. The document preprocessing stage enhances readability and preserves content by cleaning noisy texts and segmenting long documents. The query expansion stage leverages large language models to iteratively refine user queries with explicit reasoning and evidence from retrieved documents. The retrieval stage employs a model fine-tuned on synthetic data spanning medical and mathematical domains, along with hard negatives, enabling effective handling of reasoning-intensive queries. Finally, the reranking stage combines pointwise and listwise strategies to produce both fine-grained and globally consistent rankings. On the BRIGHT benchmark, DIVER achieves state-of-the-art nDCG@10 scores of 46.8 overall and 31.9 on original queries, consistently outperforming competitive reasoning-aware models. These results demonstrate the effectiveness of reasoning-aware retrieval strategies in complex real-world tasks.


翻译:检索增强生成在知识密集型任务上已取得优异表现,这类任务中查询与文档的相关性可通过直接的词汇或语义匹配来识别。然而,许多现实世界的查询涉及抽象推理、类比思维或多步推断,现有检索模型往往难以有效捕捉此类关联。为应对这一挑战,我们提出了DIVER——一个专为推理密集型信息检索设计的检索流程。该流程包含四个核心组件:文档预处理阶段通过清理噪声文本和分割长文档来增强可读性并保留内容完整性;查询扩展阶段利用大语言模型,基于检索文档中的显式推理线索与证据对用户查询进行迭代优化;检索阶段采用在医学与数学领域合成数据及困难负例上微调的模型,以有效处理推理密集型查询;重排序阶段则结合点式与列式策略,生成兼具细粒度判别性与全局一致性的排序结果。在BRIGHT基准测试中,DIVER取得了nDCG@10分数46.8(整体)与31.9(原始查询)的最新最优性能,持续超越现有具备推理感知能力的竞争模型。这些结果证明了推理感知检索策略在复杂现实任务中的有效性。

0
下载
关闭预览

相关内容

信息检索( Information Retrieval )指信息按一定的方式组织起来,并根据信息用户的需要找出有关的信息的过程和技术。信息检索的目标:准确、及时、全面的获取所需信息。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
DeepSeek模型综述:V1 V2 V3 R1-Zero
专知会员服务
116+阅读 · 2月11日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员