【ICLR2021】基于动态正则化的联邦学习

我们提出了一种新的用于分布式训练神经网络模型的联邦学习方法，其中服务器在每一轮随机选择的设备子集的协调合作。我们主要从通信的角度来看待联邦学习问题，并允许更多的设备级计算来节省传输成本。20指出了一个基本的困境，即局部设备级经验损失的最小值与全局经验损失的最小值不一致。与最近尝试不精确最小化或利用设备来并行梯度计算的工作不同，我们在每一轮为每个设备提出了一个动态正则化，这样在极限情况下全局解决方案和设备解决方案是对齐的。我们通过对真实数据和合成数据的实证结果以及分析结果证明，我们的方案能够在凸和非凸设置下实现高效的训练，同时完全不知道设备的异构性，对大量设备、部分参与和不平衡数据具有鲁棒性。

https://openreview.net/forum?id=B7v4QMR6Z9w

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“FLDR” 可以获取《【ICLR2021】基于动态正则化的联邦学习》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源