联邦学习安全与隐私保护综述

联邦学习是一种新型的分布式学习框架，它允许在多个参与者之间共享训练数据而不会泄露其数据隐私。但是这种新颖的学习机制仍然可能受到来自各种攻击者的前所未有的安全和隐私威胁。本文主要探讨联邦学习在安全和隐私方面面临的挑战。首先，本文介绍了联邦学习的基本概念和威胁模型，有助于理解其面临的攻击。其次，本文总结了由内部恶意实体发起的3种攻击类型，同时分析了联邦学习体系结构的安全漏洞和隐私漏洞。然后从差分隐私、同态密码系统和安全多方聚合等方面研究了目前最先进的防御方案。最后通过对这些解决方案的总结和比较，进一步讨论了该领域未来的发展方向。

https://jnuaa.nuaa.edu.cn/ch/reader/create_pdf.aspx?file_no=202005001&flag=1&journal_id=njhkht&year_id=2020

成为VIP会员查看完整内容

相关内容

专知，提供专业可信的知识分发服务，让认知协作更快更好！

在大数据时代下，深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展，为机器学习提供了数据和算法层面的强有力支撑，同时促进了机器学习的规模化和产业化发展.然而，尽管机器学习模型在现实应用中有着出色的表现，但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注，一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究，并且提出了一系列的攻防方法. 在本综述中，我们回顾了机器学习的安全和隐私问题，并对现有的研究工作进行了系统的总结和科学的归纳，同时明确了当前研究的优势和不足. 最后，我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向，旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6131&flag=1

成为VIP会员查看完整内容

专知，提供专业可信的知识分发服务，让认知协作更快更好！

数据孤岛以及模型训练和应用过程中的隐私泄露是当下阻碍人工智能技术发展的主要难题。联邦学习作为一种高效的隐私保护手段应运而生。联邦学习是一种分布式的机器学习方法，以在不直接获取数据源的基础上，通过参与方的本地训练与参数传递，训练出一个无损的学习模型。但联邦学习中也存在较多的安全隐患。本文着重分析了联邦学习中的投毒攻击、对抗攻击以及隐私泄露三种主要的安全威胁，针对性地总结了最新的防御措施，并提出了相应的解决思路。

成为VIP会员查看完整内容

联邦学习 · 异常检测 · 错误率 · 服务器 · MoDELS ·

在这篇文章中，我们重点聚焦模型攻击。

隐私保护 · 机器学习 · 深度学习 · 联邦学习 · 神经网络 ·

2020 年 3 月 25 日

【中国人民大学】机器学习的隐私保护研究综述

专知会员服务

专知，提供专业可信的知识分发服务，让认知协作更快更好！

题目： 机器学习的隐私保护研究综述

简介：

大规模数据收集大幅提升了机器学习算法的性能,实现了经济效益和社会效益的共赢,但也令个人隐私保护面临更大的风险与挑战．机器学习的训练模式主要分为集中学习和联邦学习２类,前者在模型训练前需统一收集各方数据,尽管易于部署,却存在极大数据隐私与安全隐患;后者实现了将各方数据保留在本地的同时进行模型训练,但该方式目前正处于研究的起步阶段,无论在技术还是部署中仍面临诸多问题与挑战．现有的隐私保护技术研究大致分为２条主线,即以同态加密和安全多方计算为代表的加密方法和以差分隐私为代表的扰动方法,二者各有利弊．为综述当前机器学习的隐私问题,并对现有隐私保护研究工作进行梳理和总结,首先分别针对传统机器学习和深度学习２类情况,探讨集中学习下差分隐私保护的算法设计;之后概述联邦学习中存的隐私问题及保护方法;最后总结目前隐私保护中面临的主要挑战,并着重指出隐私保护与模型可解释性研究、数据透明之间的问题与联系．

成为VIP会员查看完整内容

机器学习的隐私保护研究综述.pdf

文献综述 · 联邦学习 · 人工智能 ·

2020 年 3 月 4 日

【综述】联邦学习的威胁，Threats to Federated Learning: A Survey

专知会员服务

专知，提供专业可信的知识分发服务，让认知协作更快更好！

题目： Threats to Federated Learning: A Survey

简介：

随着数据孤岛的出现和隐私意识，训练人工智能（AI）模型的传统集中式方法面临着严峻的挑战。在这种新现实下，联邦学习（FL）最近成为一种有效的解决方案。现有的FL协议设计已显示出存在漏洞，系统内部和外部系统的攻击者都可以利用这些漏洞来破坏数据隐私。因此，让FL系统设计人员了解未来FL算法设计对隐私保护的意义至关重要。当前，没有关于此主题的调查。在本文中，我们弥合FL文学中的这一重要鸿沟。通过简要介绍FL的概念以及涵盖威胁模型和FL的两种主要攻击的独特分类法：1）中毒攻击 2）推理攻击，本文提供了对该重要主题的易于理解的概述。我们重点介绍了各种攻击所采用的关键技术以及基本假设，并讨论了未来研究方向，以实现FL中更强大的隐私保护。

目录：