【KDD2021】拓扑蒸馏推荐系统

推荐系统(RS)采用知识蒸馏，这是一种模型压缩技术，用从预训练的大型教师模型迁移的知识来训练紧凑的学生模型。最近的研究表明，从教师的中间层迁移知识显著提高了学生的推荐质量。但是，它们是逐点迁移个体表示的知识，因此存在一个局限，即RS的主要信息在于表示空间中的关系。本文提出了一种新的拓扑蒸馏方法，通过将建立在教师空间关系上的拓扑结构传递给学生来指导学生进行拓扑蒸馏。我们首先观察到，简单地让学生学习整个拓扑结构并不总是有效的，甚至会降低学生的表现。我们证明，因为与老师相比，学生的能力是非常有限的，学习整个拓扑结构对学生来说是令人生畏的。为了解决这一问题，我们提出了一种新的分层拓扑蒸馏(HTD)方法，该方法可以分层地对拓扑进行蒸馏，以应对较大的容量缺口。我们在真实数据集上的大量实验表明，提出的方法明显优于先进的竞争对手。我们还提供了深入的分析，以确定提取RS拓扑的好处。

https://www.zhuanzhi.ai/paper/4eff9a6ca0a1450628e09261c3b9dd2d