Federated learning introduces a novel approach to training machine learning (ML) models on distributed data while preserving user's data privacy. This is done by distributing the model to clients to perform training on their local data and computing the final model at a central server. To prevent any data leakage from the local model updates, various works with focus on secure aggregation for privacy preserving federated learning have been proposed. Despite their merits, most of the existing protocols still incur high communication and computation overhead on the participating entities and might not be optimized to efficiently handle the large update vectors for ML models. In this paper, we present E-seaML, a novel secure aggregation protocol with high communication and computation efficiency. E-seaML only requires one round of communication in the aggregation phase and it is up to 318x and 1224x faster for the user and the server (respectively) as compared to its most efficient counterpart. E-seaML also allows for efficiently verifying the integrity of the final model by allowing the aggregation server to generate a proof of honest aggregation for the participating users. This high efficiency and versatility is achieved by extending (and weakening) the assumption of the existing works on the set of honest parties (i.e., users) to a set of assisting nodes. Therefore, we assume a set of assisting nodes which assist the aggregation server in the aggregation process. We also discuss, given the minimal computation and communication overhead on the assisting nodes, how one could assume a set of rotating users to as assisting nodes in each iteration. We provide the open-sourced implementation of E-seaML for public verifiability and testing.


翻译:联邦学习引入了一种新的方法,可以在保护用户数据隐私的同时,在分布式数据上训练机器学习(ML)模型。这是通过将模型分发给客户端,在本地数据上执行训练,并在中央服务器上计算最终模型来完成的。为了防止本地模型更新中发生数据泄漏,各种旨在实现隐私保护联邦学习的安全聚合协议已被提出。尽管这些协议具有优点,但大多数现有协议仍会在参与方上产生高通信和计算开销,并且可能无法优化处理ML模型的大型更新向量。在本文中,我们提出了E-seaML,一种具有高通信和计算效率的安全聚合协议。E-seaML在聚合阶段仅需要一轮通信,并且相对于其最高效的对应物,用户和服务器的速度分别高达318倍和1224倍。E-seaML还允许通过允许聚合服务器为参与用户生成诚实聚合的证明来有效地验证最终模型的完整性。通过在现有工作中的诚实方(即用户)集合上扩展(和减弱)假设,我们实现了这种高效和多功能性,即假设一组辅助节点。因此,我们假设一组辅助节点来协助聚合服务器进行聚合过程。我们还讨论了,考虑到对辅助节点的最少计算和通信开销,如何在每个迭代中假设一组轮换用户作为辅助节点。我们提供了E-seaML的开源实现以进行公共可验证性和测试。

1
下载
关闭预览

相关内容

【Manning新书】隐私保护的机器学习,323页pdf
专知会员服务
53+阅读 · 2022年11月4日
「联邦学习隐私保护 」最新2022研究综述
专知会员服务
114+阅读 · 2022年4月1日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
Arxiv
2+阅读 · 2023年6月2日
Arxiv
19+阅读 · 2022年10月10日
Arxiv
43+阅读 · 2019年12月20日
VIP会员
相关VIP内容
【Manning新书】隐私保护的机器学习,323页pdf
专知会员服务
53+阅读 · 2022年11月4日
「联邦学习隐私保护 」最新2022研究综述
专知会员服务
114+阅读 · 2022年4月1日
相关资讯
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员