可信联邦学习线上分享:杨强教授带领四篇论文解读最前沿研究

2022 年 9 月 2 日 机器之心
可信联邦学习 (Trustworthy federated learning) 是一种增强型的联邦学习,它除了保证原始数据的隐私安全和模型的可证安全,还保证学习过程的高效率和模型的可用性,模型决策机制的可解释性、及模型的可溯源和审计监管。

为了帮助读者了解可信联邦学习前沿进展,机器之心机动组组织策划了最新一期视频分享。

在此次分享中,加拿大工程院及加拿大皇家科学院两院院士,微众银行首席人工智能官杨强老师将首先为我们系统回顾联邦学习的进展和挑战,并展望几个重要发展方向。而后以下四篇论文作者将从不同角度介绍可信联邦学习的最新研究成果。

其中,《联邦学习中隐私与模型性能没有免费午餐定理》首次从信息论的角度,分析揭示了联邦学习的模型效用与隐私保护之间的内在约束关系,该论文所阐述的定量分析可以为设计可信联邦学习算法提供有效的指导。

《FedSVD:10 亿规模数据上的无损联邦奇异值分解》提出了基于随机掩码的奇异值分解方案,应用于多方生物信息数据分析、多方金融数据建模等场景,在 SVD 任务中,该方案的效率比同态加密提高 10000 倍,误差比差分隐私方案小 10 个数量级,同时提供了安全性分析和实验验证。

《FedCG: 联邦生成对抗网络保护隐私保障性能》在横向联邦学习中将生成对抗网络与分割学习相结合,有效保护了参与方的数据隐私,同时保障了各参与方模型性能的竞争力。 

《FedIPR:联邦学习模型所属权验证》提出了首个联邦学习模型版权验证框架,在不牺牲模型可用性前提下,提供了可靠且鲁棒的模型反盗版机制,保护了模型拥有者的合法权利和商业利益。


主题:可信联邦学习


个人简介 :杨强,加拿大工程院及加拿大皇家科学院两院院士,微众银行首席人工智能官,香港科技大学计算机与工程系讲席教授和前系主任,AAAI-2021 大会主席,国际人工智能联合会(IJCAI)理事会前主席,香港人工智能与机器人学会(HKSAIR)理事长,智能投研技术联盟(ITL)和开放群岛开源社区 (OI) 主席,ACM TIST 和 IEEE TRANS on BIG DATA 创始主编,CAAI,AAAI,ACM,IEEE,AAAS 等多个国际学会 Fellow。领衔全球迁移学习和联邦学习研究及应用,著作包括《迁移学习》、《联邦学习》、《隐私计算》和《联邦学习实战》等。

演讲摘要 :联邦学习是人工智能和隐私计算的重要交集。如何使联邦学习更加安全可信和高效是今后产业和学界关注的重点。杨强教授在讲座中将系统回顾联邦学习的进展和挑战,并展望几个重要发展方向。

论文一:联邦学习中隐私与模型性能没有免费午餐定理

  • 论文标题:No Free Lunch Theorem for Security and Utility in Federated Learning
  • 论文链接:https://arxiv.org/pdf/2203.05816.pdf


个人简介 :张晓今博士于 2021 年获得香港中文大学哲学博士学位,现为香港科技大学博士后研究员。她的研究兴趣包括人工智能、机器学习和联邦学习。

分享摘要 :从信息论的角度为联邦学习中隐私泄漏和效用损失的分析提供了一个通用的框架,量化了隐私和效用之间的约束关系,揭示了隐私效用的无免费午餐场景,该论文阐述的框架及分析可以为设计可信联邦学习算法提供有效的指导。

论文二:FedSVD:10 亿规模数据上的无损联邦奇异值分解

  • 论文标题:Practical Lossless Federated Singular Vector Decomposition over Billion-Scale Data
  • 论文链接:https://dl.acm.org/doi/abs/10.1145/3534678.3539402


个人简介 :柴迪是香港科技大学计算机学院在读博士生,导师为杨强教授和陈凯教授,他的研究方向为联邦学习、矩阵分解中的隐私保护等。

分享摘要 :提出了基于随机掩码的奇异值分解方案,应用于多方生物数据分析、多方金融数据建模等场景,在 SVD 任务中,该方案的效率比同态加密提高 10000 倍,误差比差分隐私方案小 10 个数量级,同时提供了安全性分析和实验验证。

论文三:FedCG: 联邦条件对抗生成网络

  • 论文标题:FedCG: Leverage Conditional GAN for Protecting Privacy and Maintaining Competitive Performance in Federated Learning
  • 论文链接:https://www.ijcai.org/proceedings/2022/324


个人简介 :康焱是 WeBank 人工智能项目组联邦学习研究团队负责人。他的工作重点是迁移学习和联邦机器学习的研究和实现。他的多项研究工作已经在知名会议和期刊上发表,包括 IEEE Intelligence Systems,IJCAI 和 ACM TIST,他也是第一本 Federated Learning 专著的主要作者之一。

分享摘要 :《FedCG: 联邦条件对抗生成网络》提出在横向联邦学习中通过将条件生成对抗网络与分割学习相结合,利用知识蒸馏,在保护数据隐私的同时保持有竞争力的模型性能。

论文四:FedIPR:联邦学习模型所属权验证

  • 论文标题:FedIPR: Ownership Verification for Federated Deep Neural Network Model
  • 论文链接:https://ieeexplore.ieee.org/abstract/document/9847383/


个人简介 :古瀚林 2017 年毕业于中国科学技术大学数学系,2022 在香港科技大学获得博士学位。毕业后在中国微众银行 AI 组任研究员,研究兴趣包括联邦学习、隐私保护方法论。

分享摘要 :在联邦模型的开发过程中,面临非法复制、重新分发、滥用的风险。为了解决这些风险,他们提出了一种新颖的联邦深度神经网络 (FedDNN) 所有权验证方案,该方案允许嵌入和验证私有水印以声明 FedDNN 模型的合法 IPR。

分享时间 :北京时间 9 月 7 日 19:00-21:00
直播间 :关注机动组视频号,北京时间 9 月 7 日开播。


交流群 :本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。


机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。

  • 点击「阅读原文」,访问机动组官网,观看往期回顾;
  • 关注机动组服务号,获取每周直播预告。
登录查看更多
1

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
联邦学习攻防研究综述
专知会员服务
36+阅读 · 2022年7月22日
「联邦学习隐私保护 」最新2022研究综述
专知会员服务
113+阅读 · 2022年4月1日
专知会员服务
65+阅读 · 2021年8月1日
【AAAI2021】知识迁移的机器学习成员隐私保护,57页ppt
专知会员服务
26+阅读 · 2021年2月9日
专知会员服务
26+阅读 · 2021年2月2日
专知会员服务
111+阅读 · 2020年11月16日
专知会员服务
123+阅读 · 2020年8月7日
【中国人民大学】机器学习的隐私保护研究综述
专知会员服务
130+阅读 · 2020年3月25日
五篇论文,追踪可信联邦学习医疗领域研究前沿
机器之心
0+阅读 · 2022年10月18日
CVPR 2022论文分享会 | 共赴计算机视觉论文分享盛宴!
微软研究院AI头条
0+阅读 · 2022年4月15日
破解数据孤岛壁垒,三篇论文详细解读联邦学习
AI科技评论
24+阅读 · 2019年5月7日
杨强教授:AI算法重点转向关注数据安全隐私
极市平台
11+阅读 · 2019年2月17日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2022年11月23日
Arxiv
46+阅读 · 2021年10月4日
Deep Anomaly Detection with Outlier Exposure
Arxiv
17+阅读 · 2018年12月21日
VIP会员
相关VIP内容
联邦学习攻防研究综述
专知会员服务
36+阅读 · 2022年7月22日
「联邦学习隐私保护 」最新2022研究综述
专知会员服务
113+阅读 · 2022年4月1日
专知会员服务
65+阅读 · 2021年8月1日
【AAAI2021】知识迁移的机器学习成员隐私保护,57页ppt
专知会员服务
26+阅读 · 2021年2月9日
专知会员服务
26+阅读 · 2021年2月2日
专知会员服务
111+阅读 · 2020年11月16日
专知会员服务
123+阅读 · 2020年8月7日
【中国人民大学】机器学习的隐私保护研究综述
专知会员服务
130+阅读 · 2020年3月25日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员