数据孤岛以及模型训练和应用过程中的隐私泄露是当下阻碍人工智能技术发展的主要难题。联邦学习作为一种高效的隐私保护手段应运而生。联邦学习是一种分布式的机器学习方法,以在不直接获取数据源的基础上,通过参与方的本地训练与参数传递,训练出一个无损的学习模型。但联邦学习中也存在较多的安全隐患。本文着重分析了联邦学习中的投毒攻击、对抗攻击以及隐私泄露三种主要的安全威胁,针对性地总结了最新的防御措施,并提出了相应的解决思路。

成为VIP会员查看完整内容
0
53

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。

题目: 机器学习的隐私保护研究综述

简介:

大规模数据收集大幅提升了机器学习算法的性能,实现了经济效益和社会效益的共赢,但也令个人隐私保护面临更大的风险与挑战.机器学习的训练模式主要分为集中学习和联邦学习2类,前者在模型训练前需统一收集各方数据,尽管易于部署,却存在极大数据隐私与安全隐患;后者实现了将各方数据保留在本地的同时进行模型训练,但该方式目前正处于研究的起步阶段,无论在技术还是部署中仍面临诸多问题与挑战.现有的隐私保护技术研究大致分为2条主线,即以同态加密和安全多方计算为代表的加密方法和以差分隐私为代表的扰动方法,二者各有利弊.为综述当前机器学习的隐私问题,并对现有隐私保护研究工作进行梳理和总结,首先分别针对传统机器学习和深度学习2类情况,探讨集中学习下差分隐私保护的算法设计;之后概述联邦学习中存的隐私问题及保护方法;最后总结目前隐私保护中面临的主要挑战,并着重指出隐私保护与模型可解释性研究、数据透明之间的问题与联系.

成为VIP会员查看完整内容
机器学习的隐私保护研究综述.pdf
0
70

题目: Threats to Federated Learning: A Survey

简介:

随着数据孤岛的出现和隐私意识,训练人工智能(AI)模型的传统集中式方法面临着严峻的挑战。在这种新现实下,联邦学习(FL)最近成为一种有效的解决方案。现有的FL协议设计已显示出存在漏洞,系统内部和外部系统的攻击者都可以利用这些漏洞来破坏数据隐私。因此,让FL系统设计人员了解未来FL算法设计对隐私保护的意义至关重要。当前,没有关于此主题的调查。在本文中,我们 弥合FL文学中的这一重要鸿沟。通过简要介绍FL的概念以及涵盖威胁模型和FL的两种主要攻击的独特分类法:1)中毒攻击 2)推理攻击,本文提供了对该重要主题的易于理解的概述。我们重点介绍了各种攻击所采用的关键技术以及基本假设,并讨论了未来研究方向,以实现FL中更强大的隐私保护。

目录:

成为VIP会员查看完整内容
0
41
小贴士
相关资讯
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
16+阅读 · 2020年6月3日
联邦学习最新研究趋势!
AI科技评论
26+阅读 · 2020年3月12日
【资源】联邦学习相关文献资源大列表
专知
4+阅读 · 2020年2月25日
打破数据孤岛:联邦学习近期重要研究进展
机器之心
5+阅读 · 2019年9月30日
破解数据孤岛壁垒,三篇论文详细解读联邦学习
AI科技评论
16+阅读 · 2019年5月7日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
12+阅读 · 2019年3月16日
区块链隐私保护研究综述——祝烈煌详解
计算机研究与发展
6+阅读 · 2018年11月28日
综述——隐私保护集合交集计算技术研究
计算机研究与发展
8+阅读 · 2017年10月24日
相关论文
Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network
Jakaria Rabbi,Nilanjan Ray,Matthias Schubert,Subir Chowdhury,Dennis Chao
3+阅读 · 2020年4月14日
Fashion Meets Computer Vision: A Survey
Wen-Huang Cheng,Sijie Song,Chieh-Yun Chen,Shintami Chusnul Hidayati,Jiaying Liu
4+阅读 · 2020年3月31日
Joost Verbraeken,Matthijs Wolting,Jonathan Katzy,Jeroen Kloppenburg,Tim Verbelen,Jan S. Rellermeyer
22+阅读 · 2019年12月20日
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
15+阅读 · 2019年12月10日
Xiang Wang,Xiangnan He,Yixin Cao,Meng Liu,Tat-Seng Chua
31+阅读 · 2019年5月20日
Recommendation Systems for Tourism Based on Social Networks: A Survey
Alan Menk,Laura Sebastia,Rebeca Ferreira
3+阅读 · 2019年3月28日
Attributed Network Embedding for Incomplete Structure Information
Chengbin Hou,Shan He,Ke Tang
3+阅读 · 2018年11月28日
Qingyao Ai,Vahid Azizi,Xu Chen,Yongfeng Zhang
9+阅读 · 2018年5月9日
Henggang Cui,Gregory R. Ganger,Phillip B. Gibbons
3+阅读 · 2018年3月20日
Lizi Liao,Xiangnan He,Hanwang Zhang,Tat-Seng Chua
3+阅读 · 2017年5月14日
Top