【ICML2021】去中心化分布式训练的最优复杂度

随着机器学习模型和数据量的增大，大规模分布式训练决定了模型部署的效率。去中心化，作为一种经典的分布式系统设计原型，近年来在扩展机器学习规模上显示出良好的效率和鲁棒性。本文基于此背景，探究了不同去中心化系统下训练复杂度的理论极限；并进一步提出了两种算法，其复杂度可以达到该理论极限。 论文链接：

http://proceedings.mlr.press/v139/lu21a/lu21a.pdf