Popularity bias fundamentally undermines the personalization capabilities of collaborative filtering (CF) models, causing them to disproportionately recommend popular items while neglecting users' genuine preferences for niche content. While existing approaches treat this as an external confounding factor, we reveal that popularity bias is an intrinsic geometric artifact of Bayesian Pairwise Ranking (BPR) optimization in CF models. Through rigorous mathematical analysis, we prove that BPR systematically organizes item embeddings along a dominant "popularity direction" where embedding magnitudes directly correlate with interaction frequency. This geometric distortion forces user embeddings to simultaneously handle two conflicting tasks-expressing genuine preference and calibrating against global popularity-trapping them in suboptimal configurations that favor popular items regardless of individual tastes. We propose Directional Decomposition and Correction (DDC), a universally applicable framework that surgically corrects this embedding geometry through asymmetric directional updates. DDC guides positive interactions along personalized preference directions while steering negative interactions away from the global popularity direction, disentangling preference from popularity at the geometric source. Extensive experiments across multiple BPR-based architectures demonstrate that DDC significantly outperforms state-of-the-art debiasing methods, reducing training loss to less than 5% of heavily-tuned baselines while achieving superior recommendation quality and fairness. Code is available in https://github.com/LingFeng-Liu-AI/DDC.


翻译:流行度偏置从根本上削弱了协同过滤(CF)模型的个性化能力,导致其过度推荐热门项目,而忽视了用户对利基内容的真实偏好。现有方法通常将此视为外部混杂因素,但我们揭示,流行度偏置实际上是CF模型中贝叶斯成对排序(BPR)优化固有的几何伪影。通过严格的数学分析,我们证明BPR会系统地将项目嵌入沿一个主导的“流行度方向”进行组织,其中嵌入向量的模长与交互频率直接相关。这种几何畸变迫使用户嵌入同时处理两个相互冲突的任务——表达真实偏好和针对全局流行度进行校准——从而将其困于次优配置中,导致无论个体品味如何都倾向于推荐热门项目。我们提出了方向分解与校正(DDC),一个普遍适用的框架,通过非对称方向更新来精准修正这种嵌入几何结构。DDC引导正向交互沿个性化偏好方向进行,同时使负向交互远离全局流行度方向,从而在几何源头将偏好与流行度解耦。在多种基于BPR的架构上进行的大量实验表明,DDC显著优于最先进的去偏方法,将训练损失降至经过充分调优基线的不足5%,同时实现了更优的推荐质量和公平性。代码可在 https://github.com/LingFeng-Liu-AI/DDC 获取。

0
下载
关闭预览

相关内容

【NeurIPS 2021】实例依赖的偏标记学习
专知会员服务
11+阅读 · 2021年11月28日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
重构 Palantir 数据模型
待字闺中
25+阅读 · 2018年12月27日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关资讯
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
重构 Palantir 数据模型
待字闺中
25+阅读 · 2018年12月27日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员