Recent Large Reasoning Models (LRMs), such as DeepSeek-R1 and OpenAI o1, have demonstrated strong performance gains by scaling up the length of Chain-of-Thought (CoT) reasoning during inference. However, a growing concern lies in their tendency to produce excessively long reasoning traces, which are often filled with redundant content (e.g., repeated definitions), over-analysis of simple problems, and superficial exploration of multiple reasoning paths for harder tasks. This inefficiency introduces significant challenges for training, inference, and real-world deployment (e.g., in agent-based systems), where token economy is critical. In this survey, we provide a comprehensive overview of recent efforts aimed at improving reasoning efficiency in LRMs, with a particular focus on the unique challenges that arise in this new paradigm. We identify common patterns of inefficiency, examine methods proposed across the LRM lifecycle, i.e., from pretraining to inference, and discuss promising future directions for research. To support ongoing development, we also maintain a real-time GitHub repository tracking recent progress in the field. We hope this survey serves as a foundation for further exploration and inspires innovation in this rapidly evolving area.


翻译:近期的大型推理模型(LRMs),如DeepSeek-R1和OpenAI o1,通过扩展推理过程中思维链(CoT)的长度,展现出显著的性能提升。然而,一个日益凸显的问题在于其倾向于生成过长的推理轨迹,这些轨迹常包含冗余内容(如重复的定义)、对简单问题的过度分析,以及对复杂任务推理路径的浅层探索。这种低效性对训练、推理及实际部署(例如在基于智能体的系统中)带来了严峻挑战,其中令牌经济性至关重要。本综述系统梳理了近期旨在提升LRMs推理效率的研究工作,特别关注这一新范式下出现的独特挑战。我们归纳了低效性的常见模式,审视了LRM全生命周期(从预训练到推理)提出的各类方法,并探讨了未来有前景的研究方向。为支持持续发展,我们还维护了一个实时GitHub代码库,追踪该领域的最新进展。我们希望本综述能为后续探索奠定基础,并激发这一快速发展领域的创新。

0
下载
关闭预览

相关内容

超越语言的推理:潜在思维链推理的综合综述
专知会员服务
22+阅读 · 2025年5月23日
高效推理的集约化探索:大语言模型推理优化综述
专知会员服务
32+阅读 · 2025年4月1日
【KDD2024】面向鲁棒推荐的决策边界感知图对比学习
专知会员服务
21+阅读 · 2024年8月8日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员