【简介】深度神经网络(DNNs)在各项任务上都取得了不俗的表现。然而,最近的研究表明通过对输入进行很小的扰动就可以轻易的骗过DNNs,这被称作对抗式攻击。作为DNNs在图上的扩展,图神经网络(GNNs)也继承了这一缺陷。对手通过修改图中的一些边等操作来改变图的结构可以误导GNNs作出错误的预测。这一漏洞已经引起了人们对在安全领域关键应用中采用GNNs的极大关注,并在近年来引起了越来越多的人的研究兴趣。因此,对目前的图对抗式攻击和反制措施进行一个全面的梳理和回顾是相当有必要的。在这篇综述中,我们对目前的攻击和防御进行了分类,以及回顾了相关表现优异的模型。最后,我们开发了一个具有代表性算法的知识库,该知识库可以使我们进行相关的研究来加深我们对基于图的攻击和防御的理解。

成为VIP会员查看完整内容
0
33

相关内容

对抗机器学习(Adverserial Machine Learning)作为机器学习研究中的安全细分方向,在一定程度上保证模型的安全性

多模态表示学习旨在缩小不同模态之间的异质性差距,在利用普遍存在的多模态数据方面起着不可或缺的作用。基于深度学习的多模态表示学习由于具有强大的多层次抽象表示能力,近年来受到了广泛的关注。在本文中,我们提供了一个全面的深度多模态表示学习的综述论文。为了便于讨论如何缩小异质性差距,根据不同模态集成的底层结构,我们将深度多模态表示学习方法分为三种框架:联合表示、协调表示和编解码。此外,我们回顾了该领域的一些典型模型,从传统模型到新开发的技术。本文强调在新开发的技术的关键问题,如encoder-decoder模型,生成对抗的网络,和注意力机制学习的角度来看,多通道表示,我们所知,从来没有审核之前,即使他们已经成为当代研究的主要焦点。对于每个框架或模型,我们将讨论其基本结构、学习目标、应用场景、关键问题、优缺点,以使新研究者和有经验的研究者都能从中受益。最后,提出了今后工作的一些重要方向。

成为VIP会员查看完整内容
0
82

基于协同过滤(CF)的潜在因素模型(LFM),如矩阵分解(MF)和深度CF方法,由于其良好的性能和推荐精度,在现代推荐系统(RS)中得到了广泛的应用。尽管近年来取得了巨大的成功,但事实表明,这些方法易受对抗性例子的影响,即,这是一种微妙但非随机的扰动,旨在迫使推荐模型产生错误的输出。这种行为的主要原因是,用于LFM训练的用户交互数据可能会受到恶意活动或用户误操作的污染,从而导致不可预测的自然噪声和危害推荐结果。另一方面,研究表明,这些最初设想用于攻击机器学习应用程序的系统可以成功地用于增强它们对攻击的鲁棒性,以及训练更精确的推荐引擎。在这方面,本调查的目标有两方面:(i)介绍关于AML-RS的最新进展,以保障AML-RS的安全性。(ii)展示了AML在生成对抗网络(GANs)中的另一个成功应用,生成对抗网络(GANs)使用了AML学习的核心概念(即用于生成应用程序。在这项综述中,我们提供了一个详尽的文献回顾60篇文章发表在主要的RS和ML杂志和会议。这篇综述为RS社区提供了参考,研究RS和推荐模型的安全性,利用生成模型来提高它们的质量。

成为VIP会员查看完整内容
0
69

【简介】在智能交通系统中交通预测扮演着重要的角色。精准的交通预测有助于优化通行路线,指导车辆调度,缓解交通拥堵。由于道路网络中不同区域之间复杂且动态的时空依赖关系,这一问题具有很大挑战性。最近几年,有大量的研究工作推进了这一领域的发展,提高了交通系统预测交通的能力。这篇论文对于近些年的交通预测发展提供了一个全面的综述。具体来说,我们对目前的交通预测方法进行了总结,并且对它们进行了分类。然后,我们列举了应用交通预测的常见领域,以及这些应用任务的最新进展。同时,我们也收集和整理了几个相关的公共数据集,并分别在两个数据集上通过对相关的交通预测方法的表现进行了评估。最后,我们对这一领域未来的发展方向进行了探讨。

成为VIP会员查看完整内容
0
63

随着高计算设备的发展,深度神经网络(DNNs)近年来在人工智能(AI)领域得到了广泛的应用。然而,之前的研究表明,DNN在经过策略性修改的样本(称为对抗性样本)面前是脆弱的。这些样本是由一些不易察觉的扰动产生的,但可以欺骗DNN做出错误的预测。受图像DNNs中生成对抗性示例的流行启发,近年来出现了针对文本应用的攻击DNNs的研究工作。然而,现有的图像扰动方法不能直接应用于文本,因为文本数据是离散的。在这篇文章中,我们回顾了针对这一差异的研究工作,并产生了关于DNN的电子对抗实例。我们对这些作品进行了全面的收集、选择、总结、讨论和分析,涵盖了所有相关的信息,使文章自成一体。最后,在文献回顾的基础上,我们提出了进一步的讨论和建议。

成为VIP会员查看完整内容
0
39

【导读】对抗攻击防御研究用于提升深度学习的鲁棒性,是当下的关注焦点。最近,中山大学等学者发布了最新关于图对抗学习综述论文,19页pdf83篇文献,对在图形分析任务中对现有的攻防工作进行了梳理和统一,同时给出了适当的定义和分类。此外,我们强调了相关评价指标的重要性,并对其进行了全面的调查和总结。

图数据的深度学习模型在节点分类、链路预测、图数据聚类等各种图数据分析任务中都取得了显著的效果。然而,它们暴露了对于设计良好输入的不确定性和不可靠性, 对抗样本。因此,在不同的图数据分析任务中,出现了各种攻击和防御的研究,从而导致了图数据对抗学习中的竞争。例如,攻击者有投毒和逃避攻击,防御组相应地有基于预处理和对抗的方法。

尽管工作蓬勃发展,但仍然缺乏统一的问题定义和全面的调研综述。为了弥补这一不足,我们对已有的关于图对抗学习任务的研究进行了系统的总结。具体来说,我们在图形分析任务中对现有的攻防工作进行了梳理和统一,同时给出了适当的定义和分类。此外,我们强调了相关评价指标的重要性,并对其进行了全面的调查和总结。希望我们的工作可以为相关研究者提供参考,为他们的研究提供帮助。更多关于我们工作的细节,

请访问

https://github.com/gitgiter/Graph-Adversarial-Learning

https://www.zhuanzhi.ai/paper/d3c6ab73e330a4095be601732e9ea322

在过去的几十年里,深度学习已经成为人工智能领域的皇冠上的宝石,在语音和语言处理[72,18]、人脸识别[45]和目标检测[33]等各种应用中都表现出了令人印象深刻的表现。然而,最近频繁使用的深度学习模型被证明是不稳定和不可靠的,因为它们容易受到干扰。例如,一张图片上几个像素的细微变化,对于人眼来说是难以察觉的,但是对于深度学习模型[44]的输出却有很大的影响。此时,定义良好并通过反向传播学习的深度学习模型具有固有的盲点和非直观特征,应该以明显的[59]方式推广到数据分布中。

图作为一种强大的表示方法,在现实的[25]中有着重要的作用和广泛的应用。当然,深度学习对图形的研究也是一个热门话题,并在不同的领域带来了许多令人耳目一新的实现,如社交网络[46]、电子商务网络[64]和推荐系统[14,71]。不幸的是,作为机器学习关键领域的图分析领域也暴露了深度学习模型在受到精心设计的攻击时的脆弱性[81,83]。例如,考虑到节点分类的任务,攻击者通常控制多个假节点,目的是欺骗目标分类器,通过在这些节点与其他良性节点之间添加或删除边缘,从而导致误分类。通常,这些恶意节点被称为“攻击者节点”,而其他受害节点被称为“受影响节点”。如图1所示,在一个干净的图上执行了小的扰动(增加了两个链接,改变了几个节点的特征),这导致了图学习模型的错误分类。

随着对图数据模型安全性的日益关注,图数据对抗学习的研究也随之兴起。,一个研究图数据模型安全性和脆弱性的领域。一方面,从攻击图数据学习模型的角度出发,[81]首先研究了图数据的对抗性攻击,在节点特征和图结构受干扰较小的情况下,目标分类器容易对指定的节点进行欺骗和误分类。另一方面,[65]提出了一种改进的图卷积网络(GCNs)模型,该模型具有对抗防御框架,以提高鲁棒性。此外,[55]研究了现有的图数据攻防对抗策略的工作,并讨论了它们的贡献和局限性。然而,这些研究主要集中在对抗性攻击方面,而对防御方面的研究较少。

挑战 尽管关于图表对抗学习的研究大量涌现,但仍然存在一些需要解决的问题。i) 统一与具体的形式化。目前的研究都是将图对抗学习的问题定义和假设用自己的数学形式化来考虑,大多没有详细的解释,这使得比较和跟进更加困难。ii) 相关评价指标。而对于不同的任务,对应性能的评价指标也有很大的不同,甚至有不同的标准化。此外,图对抗学习场景的特殊度量还没有被探索,例如,对攻击影响的评估。

对于公式和定义不一致的问题,我们考察了现有的攻防工作,给出了统一的定义,并从不同的角度进行了划分。虽然已经有了一些努力[81,37,19]来概括定义,但大多数公式仍然对自己的模型进行定制。到目前为止,只有一篇文章[55]从综述的角度概述了这些概念,这不足以全面总结现有的工作。在前人研究的基础上,我们总结了不同类型的图,并按层次介绍了三个主要任务,分别在3.1节和4.1节给出了攻击和防御的统一公式。

自然地,不同的模型伴随着许多量化的方法,其中提供了一些新的度量。为了帮助研究人员更好地量化他们的模型,也为了系统地总结度量标准,我们在第5节中对度量标准进行了更详细的讨论。特别地,我们首先介绍了防御和攻击的一些常见度量,然后介绍了它们各自工作中提供的三个类别的度量:有效性、效率和不可感知性。例如,攻击成功率(ASR)[9]和平均防御率(ADR)[10]分别被用来衡量攻击和防御的有效性。

综上所述,我们的贡献如下:

  • 我们深入研究了这一领域的相关工作,并对当前防御和攻击任务中不统一的概念给出了统一的问题公式和明确的定义。
  • 我们总结了现有工作的核心贡献,并根据防御和攻击任务中合理的标准,从不同的角度对其进行了系统的分类。
  • 我们强调了相关指标的重要性,并对其进行了全面的调查和总结。
  • 针对这一新兴的研究领域,我们指出了现有研究的局限性,并提出了一些有待解决的问题
成为VIP会员查看完整内容
0
52

论文题目: Adversarial Attacks and Defenses in Images, Graphs and Text: A Review

简介: 深度神经网络(DNN)在不同领域的大量机器学习任务中取得了前所未有的成功。然而,对抗性例子的存在引起了人们对将深度学习应用于对安全性有严苛要求的应用程序的关注。因此,人们对研究不同数据类型(如图像数据、图数据和文本数据)上的DNN模型的攻击和防御机制越来越感兴趣。近期,来自密歇根州立大学的老师和同学们,对网络攻击的主要威胁及其成功应对措施进行系统全面的综述。特别的,他们在这篇综述中,针对性的回顾了三种流行数据类型(即、图像数据、图数据和文本数据)。

成为VIP会员查看完整内容
深度学习攻防对抗在图像数据、图数据以及文本数据上的应用.pdf
0
31
小贴士
相关VIP内容
相关论文
Generating Fact Checking Explanations
Pepa Atanasova,Jakob Grue Simonsen,Christina Lioma,Isabelle Augenstein
6+阅读 · 2020年4月13日
Deflecting Adversarial Attacks
Yao Qin,Nicholas Frosst,Colin Raffel,Garrison Cottrell,Geoffrey Hinton
5+阅读 · 2020年2月18日
Ayush Jaiswal,Wael AbdAlmageed,Yue Wu,Premkumar Natarajan
3+阅读 · 2018年9月25日
Babak Hosseini,Barbara Hammer
3+阅读 · 2018年5月2日
Lei Sang,Min Xu,Shengsheng Qian,Xindong Wu
6+阅读 · 2018年3月24日
Muhan Zhang,Yixin Chen
22+阅读 · 2018年2月27日
Agustinus Kristiadi,Mohammad Asif Khan,Denis Lukovnikov,Jens Lehmann,Asja Fischer
4+阅读 · 2018年2月3日
Alexandre Attia,Sharone Dayan
3+阅读 · 2018年1月19日
Ke Zhang,Liru Guo,Ce Gao,Zhenbing Zhao
3+阅读 · 2017年10月1日
Top