【KDD2021】设备-云协同学习的推荐系统

随着移动设备上存储和计算能力的快速发展，在设备上部署模型以节省繁重的通信延迟和获取实时特性变得至关重要和流行。虽然已经有很多研究致力于促进设备上的学习和推断，但大多数研究都集中在处理响应延迟或隐私保护方面。对设备和云建模之间的协作进行建模并使双方共同受益的工作很少。为了弥补这一差距，我们是研究设备-云协作学习(DCCL)框架的首批尝试之一。具体来说，我们在设备端提出了一种新颖的MetaPatch学习方法，以便在一个集中式的云模型下有效地实现“成千上万的人拥有成千上万的模型”。然后，针对数十亿更新的个性化设备模型，我们提出了一种“模型-超模型”的蒸馏算法，即MoMoDistill，来更新集中式云模型。我们在一系列不同设置的数据集上进行了大量实验，证明了这种协作在云和设备上的有效性，特别是它在建模长尾用户方面的优越性。