题目: Smooth Adversarial Training

摘要:

人们通常认为,网络不能兼具准确性和鲁棒性,获得鲁棒性意味着失去准确性。还普遍认为,除非扩大网络规模,否则网络架构元素对提高对抗性的健壮性影响不大。本文通过对对抗训练的仔细研究,提出了挑战这些共同信念的证据。主要观察结果是,广泛使用的ReLU激活功能由于其不平滑的特性而大大削弱了对抗训练。因此,提出了平滑对抗训练(SAT),在其中我们用ReLU平滑近似代替了ReLU,以加强对抗训练。SAT中平滑激活函数的目的是使它能够找到更难的对抗示例,并在对抗训练期间计算出更好的梯度更新。与标准的对抗训练相比,SAT提高了“free”的对抗鲁棒性,即准确性没有降低,计算成本也没有增加。例如,在不引入其他计算的情况下,SAT可将ResNet-50的鲁棒性从33.0%提高到42.3%,同时还将ImageNet的准确性提高0.9%。SAT在较大的网络上也能很好地工作:它可以帮助EfficientNet-L1在ImageNet上实现82.2%的准确性和58.6%的鲁棒性,在准确性和鲁棒性方面分别比以前的最新防御提高9.5%和11.6%。

成为VIP会员查看完整内容
0
10

相关内容

自回归文本生成模型通常侧重于局部的流畅性,在长文本生成过程中可能导致语义不一致。此外,自动生成具有相似语义的单词是具有挑战性的,而且手工编写的语言规则很难应用。我们考虑了一个文本规划方案,并提出了一个基于模型的模仿学习方法来缓解上述问题。具体来说,我们提出了一种新的引导网络来关注更长的生成过程,它可以帮助下一个单词的预测,并为生成器的优化提供中间奖励。大量的实验表明,该方法具有较好的性能。

成为VIP会员查看完整内容
0
18

题目: Adversarial Training for Large Neural Language Models

简介: 泛化性和鲁棒性都是设计机器学习方法的关键要求。对抗性训练可以增强鲁棒性,但是过去的工作常常发现它不利于推广。在自然语言处理(NLP)中,预训练大型神经语言模型(例如BERT)在针对各种任务的通用化方面显示出令人印象深刻的收益,而从对抗性微调中得到了进一步的改进。但是,这些模型仍然容易受到对抗性攻击。在本文中,我们表明对抗性预训练可以同时提高泛化性和鲁棒性。我们提出了一种通用算法ALUM(大型神经语言模型的专家训练),该算法通过在嵌入空间中应用扰动来最大化训练目标,从而使对抗性损失最大化。我们将对所有阶段的对抗训练进行全面的研究,包括从头开始进行预训练,在训练有素的模型上进行连续的预训练以及针对特定任务的微调。在常规和对抗性方案中,在各种NLP任务上,ALUM都比BERT获得了可观的收益。即使对于已经在超大型文本语料库上进行过良好训练的模型(例如RoBERTa),ALUM仍可以通过连续的预训练获得可观的收益,而传统的非对抗方法则不能。可以将ALUM与特定于任务的微调进一步结合以获取更多收益。

成为VIP会员查看完整内容
0
17

交叉熵是图像分类模型监督训练中应用最广泛的损失函数。在这篇论文中,我们提出了一种新的训练方法,在不同架构和数据扩充的监督学习任务中,它的表现始终优于交叉熵。我们修改了批量对比损失,这是最近被证明在自监督学习强大表示是非常有效的。我们能够比交叉熵更有效地利用标签信息。在嵌入空间中,将同一类的点聚在一起,同时将不同类的样本聚在一起。除此之外,我们还利用了关键的成分,如大批量和标准化嵌入,这些已经被证明有利于自监督学习。在ResNet-50和ResNet-200上,我们的交叉熵性能都超过了1%,在使用自动增广数据增强的方法中,我们设置了78.8%的最新水平。这一损失也清楚地表明,在校准和准确性方面,对标准基准的自然损坏具有鲁棒性。与交叉熵相比,我们的监督对比损失更稳定的超参数设置,如优化或数据扩充。

成为VIP会员查看完整内容
0
20

题目: Training Binary Neural Networks with Real-to-Binary Convolutions

摘要:

本文展示了如何将二进制网络训练到与完全精确网络相当的几个百分点(∼3−5%)之内。我们首先展示如何建立一个强大的基线,该基线通过结合最近提出的进展和仔细调整优化过程已经达到了最先进的精度。其次,我们证明了通过最小化二进制信号的输出和相应的实值卷积之间的差异,可以获得额外显著的精度增益。我们以两种互补的方式实现了这个想法:

  • (1)具有损失函数,在训练过程中,通过对二值卷积和实值卷积输出的空间注意图进行匹配;
  • (2)以数据驱动的方式,利用二值化过程之前的推理过程中可用的实值激活,在二进制卷积之后重新缩放激活。

最后,我们证明,当我们把所有的改进放在一起,当使用ResNet-18架构时,该模型在ImageNet上的top-1精度超过当前水平的5%,并将其与CIFAR-100和ImageNet上的real-value精度的差距分别降低到不足3%和5%。

成为VIP会员查看完整内容
0
12

主题: Manifold Regularization for Adversarial Robustness

摘要: 流形正则化是一种在输入数据的内在几何上惩罚学习函数复杂性的技术。我们发展了一个与“局部稳定”学习函数的联系,并提出了一个新的正则化项来训练对一类局部扰动稳定的深度神经网络。这些正则化器使我们能够训练一个网络,使其在CIFAR-10上达到70%的最新鲁棒精度,以对抗PGD敌手,使用大小为8/255的ϵ∞扰动。此外,我们的技术不依赖于任何对抗性例子的构造,因此比对抗性训练的标准算法运行速度快几个数量级。

成为VIP会员查看完整内容
0
7

题目:* Certified Adversarial Robustness with Additive Noise

摘要:

对抗性数据实例的存在引起了深度学习社区的高度重视;相对于原始数据,这些数据似乎受到了最小程度的干扰,但从深度学习算法得到的结果却非常不同。尽管已经考虑了开发防御模型的大量工作,但大多数此类模型都是启发式的,并且常常容易受到自适应攻击。人们对提供理论鲁棒性保证的防御方法进行了深入的研究,但是当存在大规模模型和数据时,大多数方法都无法获得非平凡的鲁棒性。为了解决这些限制,我们引入了一个可伸缩的框架,并为构造对抗性示例提供了输入操作规范的认证边界。我们建立了对抗扰动的鲁棒性与加性随机噪声之间的联系,并提出了一种能显著提高验证界的训练策略。我们对MNIST、CIFAR-10和ImageNet的评估表明,该方法可扩展到复杂的模型和大型数据集,同时对最先进的可证明防御方法具有竞争力的鲁棒性。

作者简介:

Changyou Chen是纽约州立大学布法罗分校计算机科学与工程系的助理教授,研究兴趣包括贝叶斯机器学习、深度学习和深度强化学习。目前感兴趣的是:大规模贝叶斯抽样和推理、深度生成模型,如VAE和GAN、用贝叶斯方法进行深度强化学习。

成为VIP会员查看完整内容
0
14

Graph embedding aims to transfer a graph into vectors to facilitate subsequent graph analytics tasks like link prediction and graph clustering. Most approaches on graph embedding focus on preserving the graph structure or minimizing the reconstruction errors for graph data. They have mostly overlooked the embedding distribution of the latent codes, which unfortunately may lead to inferior representation in many cases. In this paper, we present a novel adversarially regularized framework for graph embedding. By employing the graph convolutional network as an encoder, our framework embeds the topological information and node content into a vector representation, from which a graph decoder is further built to reconstruct the input graph. The adversarial training principle is applied to enforce our latent codes to match a prior Gaussian or Uniform distribution. Based on this framework, we derive two variants of adversarial models, the adversarially regularized graph autoencoder (ARGA) and its variational version, adversarially regularized variational graph autoencoder (ARVGA), to learn the graph embedding effectively. We also exploit other potential variations of ARGA and ARVGA to get a deeper understanding on our designs. Experimental results compared among twelve algorithms for link prediction and twenty algorithms for graph clustering validate our solutions.

0
3
下载
预览

Meta-learning enables a model to learn from very limited data to undertake a new task. In this paper, we study the general meta-learning with adversarial samples. We present a meta-learning algorithm, ADML (ADversarial Meta-Learner), which leverages clean and adversarial samples to optimize the initialization of a learning model in an adversarial manner. ADML leads to the following desirable properties: 1) it turns out to be very effective even in the cases with only clean samples; 2) it is model-agnostic, i.e., it is compatible with any learning model that can be trained with gradient descent; and most importantly, 3) it is robust to adversarial samples, i.e., unlike other meta-learning methods, it only leads to a minor performance degradation when there are adversarial samples. We show via extensive experiments that ADML delivers the state-of-the-art performance on two widely-used image datasets, MiniImageNet and CIFAR100, in terms of both accuracy and robustness.

0
3
下载
预览

Deep neural networks (DNNs) have been found to be vulnerable to adversarial examples resulting from adding small-magnitude perturbations to inputs. Such adversarial examples can mislead DNNs to produce adversary-selected results. Different attack strategies have been proposed to generate adversarial examples, but how to produce them with high perceptual quality and more efficiently requires more research efforts. In this paper, we propose AdvGAN to generate adversarial examples with generative adversarial networks (GANs), which can learn and approximate the distribution of original instances. For AdvGAN, once the generator is trained, it can generate adversarial perturbations efficiently for any instance, so as to potentially accelerate adversarial training as defenses. We apply AdvGAN in both semi-whitebox and black-box attack settings. In semi-whitebox attacks, there is no need to access the original target model after the generator is trained, in contrast to traditional white-box attacks. In black-box attacks, we dynamically train a distilled model for the black-box model and optimize the generator accordingly. Adversarial examples generated by AdvGAN on different target models have high attack success rate under state-of-the-art defenses compared to other attacks. Our attack has placed the first with 92.76% accuracy on a public MNIST black-box attack challenge.

0
8
下载
预览
小贴士
相关论文
Deflecting Adversarial Attacks
Yao Qin,Nicholas Frosst,Colin Raffel,Garrison Cottrell,Geoffrey Hinton
4+阅读 · 2月18日
Interpretable Adversarial Training for Text
Samuel Barham,Soheil Feizi
4+阅读 · 2019年5月30日
Learning Graph Embedding with Adversarial Training Methods
Shirui Pan,Ruiqi Hu,Sai-fu Fung,Guodong Long,Jing Jiang,Chengqi Zhang
3+阅读 · 2019年1月4日
Training Generative Adversarial Networks Via Turing Test
Jianlin Su
3+阅读 · 2018年10月25日
Logan Engstrom,Andrew Ilyas,Anish Athalye
7+阅读 · 2018年7月26日
Chengxiang Yin,Jian Tang,Zhiyuan Xu,Yanzhi Wang
3+阅读 · 2018年6月8日
Anish Athalye,Nicholas Carlini
3+阅读 · 2018年4月10日
Jiyi Zhang,Hung Dang,Hwee Kuan Lee,Ee-Chien Chang
4+阅读 · 2018年4月4日
Chaowei Xiao,Bo Li,Jun-Yan Zhu,Warren He,Mingyan Liu,Dawn Song
8+阅读 · 2018年1月15日
Liwei Cai,William Yang Wang
4+阅读 · 2017年11月11日
Top