该论文提出一种面向词替换攻击的对抗训练方法。该方法先将词替换攻击建模为词向量空间上的凸包络,并香农熵对凸组合参数进行正则,提出了对抗稀疏凸组合模型,该模型可以贴合语言的规律,高效地生成对抗句子,以攻击已有深度语言模型。随后,将该模型与对抗训练整合实现不易被攻击的鲁棒模型训练。相比之前的方法,该模型有如下的好处:1)包含所有可能出现的对抗噪声。2)凸集利于优化 3)替换词组集合的数量最小。论文提出的防御方法在情感分类和语言推断任务中均有较大的鲁棒性提升

论文由新加坡南洋理工大学董新帅同学、日本国立信息学研究所刘弘博士、厦门大学纪荣嵘教授、以及麻省理工学院的Anh Tuan Luu博士合作完成。论文中的董新帅同学和刘弘博士皆为厦门大学MAC实验室毕业学生,通讯作者是纪荣嵘教授。

https://openreview.net/forum?id=ks5nebunVn_

成为VIP会员查看完整内容
0
9

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

本篇论文的研究对象是AI安全领域的后门攻击。作为一种发生在训练阶段的定向攻击,后门攻击近年来在AI安全中引起了极大的重视。后门攻击能够控制模型的预测结果,但是却不会影响正常样本的预测准确率,是一种相当隐蔽且危险的攻击。更重要的是,一旦将后门触发器嵌入到目标模型中,就很难通过传统的微调或神经修剪来彻底消除其恶意的影响。针对这一问题,本文提出了一种新颖的防御框架--神经元注意力蒸馏(Neural Attention Distillation,NAD),以消除DNN中的后门触发器。NAD利用教师网络在少量干净的数据子集上指导后门学生网络的微调,以使学生网络的中间层注意力激活与教师网络的注意力激活保持一致。其中,教师网络可以通过对同一干净子集进行独立的微调获得。针对6种最新的后门攻击——BadNets,Trojan attack,Blend attack,Clean-label attack,Sinusoidal signal attack,Reflection attack,验证了提出的NAD的有效性,仅使用5%的干净训练数据就可以有效擦除后门触发器,同时几乎不影响干净样本的性能。本文提出的基于神经元注意力蒸馏的后门净化方法是目前业界最简单有效的方法,能够抵御目前已知的所有后门攻击,理论分析表明该方法具有对后门攻击的普适性防御能力。论文代码已经开源:https://github.com/bboylyg/NAD。

https://www.zhuanzhi.ai/paper/cd0a5e5691fdcf5c9d35336bee226409

成为VIP会员查看完整内容
0
5

我们提出了一种新的用于分布式训练神经网络模型的联邦学习方法,其中服务器在每一轮随机选择的设备子集的协调合作。我们主要从通信的角度来看待联邦学习问题,并允许更多的设备级计算来节省传输成本。20指出了一个基本的困境,即局部设备级经验损失的最小值与全局经验损失的最小值不一致。与最近尝试不精确最小化或利用设备来并行梯度计算的工作不同,我们在每一轮为每个设备提出了一个动态正则化,这样在极限情况下全局解决方案和设备解决方案是对齐的。我们通过对真实数据和合成数据的实证结果以及分析结果证明,我们的方案能够在凸和非凸设置下实现高效的训练,同时完全不知道设备的异构性,对大量设备、部分参与和不平衡数据具有鲁棒性。

https://openreview.net/forum?id=B7v4QMR6Z9w

成为VIP会员查看完整内容
0
14
小贴士
相关资讯
论文浅尝 | 面向自动问题生成的跨语言训练
开放知识图谱
8+阅读 · 2019年9月6日
IJCAI 2019 提前看 | 神经网络后门攻击、对抗攻击
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
8+阅读 · 2019年6月9日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
6+阅读 · 2019年6月9日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
27+阅读 · 2019年4月7日
论文浅尝 | 用于知识图中链接预测的嵌入方法 SimplE
开放知识图谱
18+阅读 · 2019年4月3日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
22+阅读 · 2019年3月26日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
14+阅读 · 2018年12月2日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
14+阅读 · 2018年7月12日
相关论文
David Lindner,Kyle Matoba,Alexander Meulemans
0+阅读 · 2月23日
Matteo Quattropani,Marco Scarsini
0+阅读 · 2月23日
Zhuang Liu,Xuanlin Li,Bingyi Kang,Trevor Darrell
0+阅读 · 2月23日
Elena Khusainova,Emily Dodwell,Ritwik Mitra
0+阅读 · 2月23日
Ruihan Wu,Chuan Guo,Felix Wu,Rahul Kidambi,Laurens van der Maaten,Kilian Q. Weinberger
0+阅读 · 2月22日
Jinhyun So,Basak Guler,A. Salman Avestimehr
0+阅读 · 2月20日
Neural Architecture Optimization
Renqian Luo,Fei Tian,Tao Qin,Enhong Chen,Tie-Yan Liu
7+阅读 · 2018年9月5日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Mirco Ravanelli,Yoshua Bengio
6+阅读 · 2018年7月29日
Yu Su,Honglei Liu,Semih Yavuz,Izzeddin Gur,Huan Sun,Xifeng Yan
10+阅读 · 2018年4月19日
Top