The powerful generative capacity of Large Language Models (LLMs) has instigated a paradigm shift in recommendation. However, existing generative models (e.g., OneRec) operate as implicit predictors, critically lacking the capacity for explicit and controllable reasoning-a key advantage of LLMs. To bridge this gap, we propose OneRec-Think, a unified framework that seamlessly integrates dialogue, reasoning, and personalized recommendation. OneRec-Think incorporates: (1) Itemic Alignment: cross-modal Item-Textual Alignment for semantic grounding; (2) Reasoning Activation: Reasoning Scaffolding to activate LLM reasoning within the recommendation context; and (3) Reasoning Enhancement, where we design a recommendation-specific reward function that accounts for the multi-validity nature of user preferences. Experiments across public benchmarks show state-of-the-art performance. Moreover, our proposed "Think-Ahead" architecture enables effective industrial deployment on Kuaishou, achieving a 0.159\% gain in APP Stay Time and validating the practical efficacy of the model's explicit reasoning capability.


翻译:大型语言模型(LLMs)强大的生成能力引发了推荐系统的范式转变。然而,现有的生成模型(如OneRec)作为隐式预测器运行,严重缺乏显式且可控的推理能力——这是LLMs的关键优势。为弥合这一差距,我们提出了OneRec-Think,一个统一框架,无缝整合了对话、推理和个性化推荐。OneRec-Think包含:(1)项目对齐:跨模态的项目-文本对齐,用于语义基础;(2)推理激活:推理脚手架,以在推荐上下文中激活LLM推理;以及(3)推理增强,我们设计了一个特定于推荐的奖励函数,该函数考虑了用户偏好的多有效性本质。在公共基准测试上的实验显示了最先进的性能。此外,我们提出的“前瞻性思考”架构支持在快手上的有效工业部署,实现了APP停留时间0.159%的提升,验证了模型显式推理能力的实际效能。

0
下载
关闭预览

相关内容

文本推理表示构造文本的某种表示,以便在这种表示之上,能够通过相应的计算获取句子的隐式涵义以及句间的隐式联系。在网络信息爆炸的今天,文本推理显得越来越重要,它已经成为文本理解、集聚分析、文摘生成、信息提取以及其他诸多自然语言处理应用的核心问题。
【NeurIPS2024】TableRAG:基于语言模型的百万标记表格理解
专知会员服务
37+阅读 · 2024年10月8日
《用于代码弱点识别的 LLVM 中间表示》CMU
专知会员服务
14+阅读 · 2022年12月12日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员