【综述】深度学习攻防对抗在图像数据、图数据以及文本数据上的应用

2019 年 10 月 31 日 专知
【综述】深度学习攻防对抗在图像数据、图数据以及文本数据上的应用

【导读】深度神经网络(DNN)在不同领域的大量机器学习任务中取得了前所未有的成功。然而,对抗性例子的存在引起了人们对将深度学习应用于对安全性有严苛要求的应用程序的关注。因此,人们对研究不同数据类型(如图像数据、图数据和文本数据)上的DNN模型的攻击和防御机制越来越感兴趣。近期,来自密歇根州立大学的老师和同学们,对网络攻击的主要威胁及其成功应对措施进行系统全面的综述。特别的,他们在这篇综述中,针对性的回顾了三种流行数据类型(即、图像数据、图数据和文本数据)。


文章地址:

https://www.zhuanzhi.ai/paper/89d1d390e7bb8de650fc374141101374

arxiv地址:

https://arxiv.org/pdf/1909.08072.pdf


【简介】

深度神经网络在许多机器学习任务中越来越受欢迎和成功。它们已在图像、图形、文本和语音等领域应用于不同的识别问题,取得了显著的成功。在图像识别领域,他们能够以接近人类水平的精度识别物体(Krizhevsky et al., 2012;He et al.,2016)。它们还用于语音识别(Hinton et al., 2012)、自然语言处理(Hochreiter & Schmidhuber, 1997)和游戏(Silver et al.,2016a)。


由于这些成就,深度学习技术也被应用于对安全有严苛要求的任务上。例如,在自动驾驶汽车中,深度卷积神经网络(CNNs)被用于识别路标(Cires An et al., 2012)。这里使用的机器学习技术需要高度精确、稳定和可靠。但是,如果CNN模型不能识别路边的“STOP”标志,而车辆继续行驶,那该怎么办呢?这将是一个危险的局面。同样,在金融欺诈检测系统中,企业经常使用graph convolutional networks (GCNs) (Kipf & Welling, 2016)来判断客户是否值得信任。如果有欺诈者为了逃避公司的检测而隐藏自己的身份信息,将会给公司带来巨大的损失。因此,深度神经网络的安全问题成为人们关注的焦点。


近年来很多工作(Szegedy et al., 2013; Goodfellow et al., 2014b; He et al., 2016b)都已经表明,DNN模型容易受到对抗性样本的攻击,对抗性样本的正式定义为:“对抗性样本是机器学习模型的输入,攻击者故意设计这些输入来导致模型出错。“在图像分类领域,这些含有对抗性的样本是有意合成的图像,看起来几乎与原始图像完全相同(见图2),但可能误导分类器提供错误的预测输出。


对于MNIST数据集上训练良好的DNN图像分类器,几乎所有的数字样本都可以在原始图像上添加一个不易察觉的扰动。

同时,在其他涉及图数据、文本或音频的应用领域,也存在类似的对抗性攻击方案来混淆深度学习模型。例如,仅扰动几个边就可以误导图神经网络(Z¨ugner et al., 2018),而在一个句子中插入拼写错误可以欺骗文本分类或对话系统(Ebrahimi et al., 2017)。因此,在所有应用领域中都存在对抗性的例子,这提醒了研究人员不要在对安全性有要求的机器学习任务中直接采用DNNs。


为了应对对抗样本的威胁,许多为了保护深层神经网络而开发的工作也陆续被发表出来。这些方法可以大致分为三种主要类型:

  • Gradient Masking 梯度掩蔽 (Papernot et al., 2016b; Athalye et al., 2018):由于大多数攻击算法都是基于分类器的梯度信息,掩盖或模糊梯度会混淆攻击机制。

  • Robust Optimization 鲁棒优化(Madry et al., 2017;Kurakin et al. 2016b): 这些研究试图训练一个鲁棒的分类器,来正确地分类对抗样本。

  • Adversary Detection 对抗检测(Carlini & Wagner, 2017a; Xu et al. 2017):这些方法试图在将样本输入深度学习模型之前检查样本是良性的还是对抗性的。它可以被看作是一种针对性防范对抗样本的方法。


除了可以帮助建立安全可靠的DNN模型外,研究对抗样本及其应对措施也有助于我们了解DNN的性质,从而完善DNN模型。例如,对抗干扰对人眼来说是感知上难以区分的,但却可以影响DNN的检测。这表明,DNN的预测方法与人类推理不一致。有的工作(Goodfellow et al., 2014b; Ilyas et al., 2019)尝试解释为什么会有DNN的对抗样本的存在,这可以帮助我们对DNN模型有更多的了解。


在本文中,我们旨在总结和讨论主要研究涉及对抗样本和他们的防御方法的文章。我们系统和全面的总结了图像数据、图数据和文本数据领域的state-of-the-art对抗攻防算法。本次调查的主要结构如下: 在第二节中,我们将介绍一些在对抗攻击及其防御中经常使用的重要定义和概念。并提供了攻击和防御类型的基本分类。在第3节和第4节中,我们讨论了图像分类场景中的主要攻击和防御技术。我们用第5节来简要介绍一些试图解释对抗性样本现象的研究。第6节和第7节分别回顾了图数据和文本数据的研究。



【部分文章】

请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“ASAD” 就可以获取深度学习攻防对抗综述的下载链接




-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,了解注册成为专知VIP会员 
登录查看更多
7

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

随着高计算设备的发展,深度神经网络(DNNs)近年来在人工智能(AI)领域得到了广泛的应用。然而,之前的研究表明,DNN在经过策略性修改的样本(称为对抗性样本)面前是脆弱的。这些样本是由一些不易察觉的扰动产生的,但可以欺骗DNN做出错误的预测。受图像DNNs中生成对抗性示例的流行启发,近年来出现了针对文本应用的攻击DNNs的研究工作。然而,现有的图像扰动方法不能直接应用于文本,因为文本数据是离散的。在这篇文章中,我们回顾了针对这一差异的研究工作,并产生了关于DNN的电子对抗实例。我们对这些作品进行了全面的收集、选择、总结、讨论和分析,涵盖了所有相关的信息,使文章自成一体。最后,在文献回顾的基础上,我们提出了进一步的讨论和建议。

成为VIP会员查看完整内容
0
39

【导读】对抗攻击防御研究用于提升深度学习的鲁棒性,是当下的关注焦点。最近,中山大学等学者发布了最新关于图对抗学习综述论文,19页pdf83篇文献,对在图形分析任务中对现有的攻防工作进行了梳理和统一,同时给出了适当的定义和分类。此外,我们强调了相关评价指标的重要性,并对其进行了全面的调查和总结。

图数据的深度学习模型在节点分类、链路预测、图数据聚类等各种图数据分析任务中都取得了显著的效果。然而,它们暴露了对于设计良好输入的不确定性和不可靠性, 对抗样本。因此,在不同的图数据分析任务中,出现了各种攻击和防御的研究,从而导致了图数据对抗学习中的竞争。例如,攻击者有投毒和逃避攻击,防御组相应地有基于预处理和对抗的方法。

尽管工作蓬勃发展,但仍然缺乏统一的问题定义和全面的调研综述。为了弥补这一不足,我们对已有的关于图对抗学习任务的研究进行了系统的总结。具体来说,我们在图形分析任务中对现有的攻防工作进行了梳理和统一,同时给出了适当的定义和分类。此外,我们强调了相关评价指标的重要性,并对其进行了全面的调查和总结。希望我们的工作可以为相关研究者提供参考,为他们的研究提供帮助。更多关于我们工作的细节,

请访问

https://github.com/gitgiter/Graph-Adversarial-Learning

https://www.zhuanzhi.ai/paper/d3c6ab73e330a4095be601732e9ea322

在过去的几十年里,深度学习已经成为人工智能领域的皇冠上的宝石,在语音和语言处理[72,18]、人脸识别[45]和目标检测[33]等各种应用中都表现出了令人印象深刻的表现。然而,最近频繁使用的深度学习模型被证明是不稳定和不可靠的,因为它们容易受到干扰。例如,一张图片上几个像素的细微变化,对于人眼来说是难以察觉的,但是对于深度学习模型[44]的输出却有很大的影响。此时,定义良好并通过反向传播学习的深度学习模型具有固有的盲点和非直观特征,应该以明显的[59]方式推广到数据分布中。

图作为一种强大的表示方法,在现实的[25]中有着重要的作用和广泛的应用。当然,深度学习对图形的研究也是一个热门话题,并在不同的领域带来了许多令人耳目一新的实现,如社交网络[46]、电子商务网络[64]和推荐系统[14,71]。不幸的是,作为机器学习关键领域的图分析领域也暴露了深度学习模型在受到精心设计的攻击时的脆弱性[81,83]。例如,考虑到节点分类的任务,攻击者通常控制多个假节点,目的是欺骗目标分类器,通过在这些节点与其他良性节点之间添加或删除边缘,从而导致误分类。通常,这些恶意节点被称为“攻击者节点”,而其他受害节点被称为“受影响节点”。如图1所示,在一个干净的图上执行了小的扰动(增加了两个链接,改变了几个节点的特征),这导致了图学习模型的错误分类。

随着对图数据模型安全性的日益关注,图数据对抗学习的研究也随之兴起。,一个研究图数据模型安全性和脆弱性的领域。一方面,从攻击图数据学习模型的角度出发,[81]首先研究了图数据的对抗性攻击,在节点特征和图结构受干扰较小的情况下,目标分类器容易对指定的节点进行欺骗和误分类。另一方面,[65]提出了一种改进的图卷积网络(GCNs)模型,该模型具有对抗防御框架,以提高鲁棒性。此外,[55]研究了现有的图数据攻防对抗策略的工作,并讨论了它们的贡献和局限性。然而,这些研究主要集中在对抗性攻击方面,而对防御方面的研究较少。

挑战 尽管关于图表对抗学习的研究大量涌现,但仍然存在一些需要解决的问题。i) 统一与具体的形式化。目前的研究都是将图对抗学习的问题定义和假设用自己的数学形式化来考虑,大多没有详细的解释,这使得比较和跟进更加困难。ii) 相关评价指标。而对于不同的任务,对应性能的评价指标也有很大的不同,甚至有不同的标准化。此外,图对抗学习场景的特殊度量还没有被探索,例如,对攻击影响的评估。

对于公式和定义不一致的问题,我们考察了现有的攻防工作,给出了统一的定义,并从不同的角度进行了划分。虽然已经有了一些努力[81,37,19]来概括定义,但大多数公式仍然对自己的模型进行定制。到目前为止,只有一篇文章[55]从综述的角度概述了这些概念,这不足以全面总结现有的工作。在前人研究的基础上,我们总结了不同类型的图,并按层次介绍了三个主要任务,分别在3.1节和4.1节给出了攻击和防御的统一公式。

自然地,不同的模型伴随着许多量化的方法,其中提供了一些新的度量。为了帮助研究人员更好地量化他们的模型,也为了系统地总结度量标准,我们在第5节中对度量标准进行了更详细的讨论。特别地,我们首先介绍了防御和攻击的一些常见度量,然后介绍了它们各自工作中提供的三个类别的度量:有效性、效率和不可感知性。例如,攻击成功率(ASR)[9]和平均防御率(ADR)[10]分别被用来衡量攻击和防御的有效性。

综上所述,我们的贡献如下:

  • 我们深入研究了这一领域的相关工作,并对当前防御和攻击任务中不统一的概念给出了统一的问题公式和明确的定义。
  • 我们总结了现有工作的核心贡献,并根据防御和攻击任务中合理的标准,从不同的角度对其进行了系统的分类。
  • 我们强调了相关指标的重要性,并对其进行了全面的调查和总结。
  • 针对这一新兴的研究领域,我们指出了现有研究的局限性,并提出了一些有待解决的问题
成为VIP会员查看完整内容
0
52

摘要: 随着机器学习技术在生产、生活等各个领域的广泛应用,机器学习算法本身的安全问题也引起越来越多的 关注。基于对抗样本的攻击方法是机器学习算法普遍面临的安全挑战之一。以机器学习的安全性问题为出发点,介 绍了当前机器学习面临的隐私攻击、完整性攻击等安全问题,归纳了目前常见对抗样本生成方法的发展过程及各自 的特点,总结了目前已有的针对对抗样本攻击的防御技术,最后对提高机器学习算法鲁棒性的方法做了进一步的展 望。

作者介绍:

朱清新:1982年1月四川师范大学数学系本科毕业获学士学位。1984年7月北京理工大学应用数学专业毕业获硕士学位。1984年8月起任西南技术物理研究所工程师、副研究员,作为技术骨干参加了国防科工委7712工程项目并获科研成果三等奖。1993年5月渥太华大学应用数学和电子工程系控制论专业毕业获博士学位。1993年5月至1996年3月在渥太华大学电子工程系和加拿大卡尔顿大学计算机学院从事博士后研究并获计算机第二硕士学位。1996年3月至1997年11月任加拿大Nortel公司和OmniMark高级研究员。1998年3月应聘回国到电子科技大学计算机学院工作,1999年6月聘为教授、2001年6月聘为博士生导师。2002年9月至2003年3月赴加拿大蒙特利尔Concordia大学计算机系任高级访问学者。现任电子科技大学计算机学院学术委员会主任,计算运筹学研究室主任。主要研究领域包括:生物信息学、信息检索、计算运筹学与最优化。

张小松: 长江学者特聘教授,国家重点研发计划网络空间安全专项首席科学家, 2017年网络安全优秀人才奖获得者。长期致力于软件安全、网络安全和数据安全领域的研究,成果在应用中取得重要的社会和经济效益,近年来多次获国家和省部级成果奖励,发表包括CCF A类期刊IT、TSE、TIFS在内的学术论文六十余篇,出版了《网络安全协议》、《恶意软件分析与检测》、《软件测试》等专著、教材和译著5部,获授权国际、国内发明专利22项,公开50多项,获软件著作权登记10项。

成为VIP会员查看完整内容
0
18

在过去的几年里,深度学习取得了巨大的成功,无论是从政策支持还是科研和工业应用,都是一片欣欣向荣。然而,近期的许多研究发现,深度学习拥有许多固有的弱点,这些弱点甚至可以危害深度学习系统的拥有者和使用者的安全和隐私。深度学习的广泛使用进一步放大了这一切所造成的后果。为了揭示深度学习的一些安全弱点,协助建立健全深度学习系统,来自中科院信息工程所和中国科学院大学网络安全学院的研究人员,全面的调查了针对深度学习的攻击方式,并对这些手段进行了多角度的研究。

成为VIP会员查看完整内容
0
54

论文题目: Adversarial Attacks and Defenses in Images, Graphs and Text: A Review

简介: 深度神经网络(DNN)在不同领域的大量机器学习任务中取得了前所未有的成功。然而,对抗性例子的存在引起了人们对将深度学习应用于对安全性有严苛要求的应用程序的关注。因此,人们对研究不同数据类型(如图像数据、图数据和文本数据)上的DNN模型的攻击和防御机制越来越感兴趣。近期,来自密歇根州立大学的老师和同学们,对网络攻击的主要威胁及其成功应对措施进行系统全面的综述。特别的,他们在这篇综述中,针对性的回顾了三种流行数据类型(即、图像数据、图数据和文本数据)。

成为VIP会员查看完整内容
深度学习攻防对抗在图像数据、图数据以及文本数据上的应用.pdf
0
31

Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

成为VIP会员查看完整内容
An Attentive Survey of Attention Models.pdf
0
138
小贴士
相关VIP内容
相关论文
Marco Tulio Ribeiro,Tongshuang Wu,Carlos Guestrin,Sameer Singh
10+阅读 · 2020年5月8日
Liang Chen,Jintang Li,Jiaying Peng,Tao Xie,Zengxu Cao,Kun Xu,Xiangnan He,Zibin Zheng
32+阅读 · 2020年3月10日
Joost Verbraeken,Matthijs Wolting,Jonathan Katzy,Jeroen Kloppenburg,Tim Verbelen,Jan S. Rellermeyer
22+阅读 · 2019年12月20日
Blockchain for Future Smart Grid: A Comprehensive Survey
Muhammad Baqer Mollah,Jun Zhao,Dusit Niyato,Kwok-Yan Lam,Xin Zhang,Amer M. Y. M. Ghias,Leong Hai Koh,Lei Yang
8+阅读 · 2019年11月8日
Adversarial Attacks and Defenses in Images, Graphs and Text: A Review
Han Xu,Yao Ma,Haochen Liu,Debayan Deb,Hui Liu,Jiliang Tang,Anil K. Jain
12+阅读 · 2019年10月9日
Zhiming Zhou,Jiadong Liang,Yuxuan Song,Lantao Yu,Hongwei Wang,Weinan Zhang,Yong Yu,Zhihua Zhang
7+阅读 · 2019年2月15日
Ziwei Zhang,Peng Cui,Wenwu Zhu
36+阅读 · 2018年12月11日
Thomas Elsken,Jan Hendrik Metzen,Frank Hutter
10+阅读 · 2018年9月5日
Mustansar Fiaz,Arif Mahmood,Soon Ki Jung
9+阅读 · 2018年2月14日
Orest Kupyn,Volodymyr Budzan,Mykola Mykhailych,Dmytro Mishkin,Jiri Matas
8+阅读 · 2018年1月16日
Top