深度学习模型被证明存在脆弱性并容易遭到对抗样本的攻击,但目前对于对抗样本的研究主要集中在计算机视觉领域而忽略了自然语言处理模型的安全问题.针对自然语言处理领域同样面临对抗样本的风险,在阐明对抗样本相关概念的基础上,文中首先对基于深度学习的自然语言处理模型的复杂结构、难以探知的训练过程和朴素的基本原理等脆弱性成因进行分析,进一步阐述了文本对抗样本的特点、分类和评价指标,并对该领域对抗技术涉及到的典型任务和数据集进行了阐述;然后按照扰动级别对主流的字、词、句和多级扰动组合的文本对抗样本生成技术进行了梳理,并对相关防御方法进行了归纳总结;最后对目前自然语言处理对抗样本领域攻防双方存在的痛点问题进行了进一步的讨论和展望.

http://www.jsjkx.com/CN/10.11896/jsjkx.200500078

成为VIP会员查看完整内容
0
17

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

新型冠状病毒肺炎(novel coronavirus pneumonia,COVID-19)具有高传染性和高致病性,对人们的公共安全造成了严重威胁,从而备受全球关注。因此,对COVID-19进行快速且准确地检测和诊断变得至关重要。目前传统的检测诊断方法主要包括核酸检测和医学影像的人工诊断。但是,核酸检测存在耗时较长、需要专用的测试盒等缺点,而医学影像的人工诊断则存在过于依赖专业知识、分析耗时较长和难以发现隐匿病变等缺点。同时,随着X射线(X-ray)和计算机断层扫描(CT)数据集的相继提出,科研人员在此基础上构建了基于深度学习的COVID-19检测诊断模型,这些模型有效地辅助了医学专家对COVID-19的高效诊断治疗。对现有基于深度学习的COVID-19检测诊断方法进行了系统性的深入调研和分析。首先,全面调研了目前主流的用于COVID-19检测诊断的影像数据集以及相关评价指标;接着,对基于深度学习的新冠肺炎检测诊断方法从模型任务(单任务:分类任务或者分割任务、多任务:分割任务和分类任务)和影像数据类型(CT、X-ray)两个不同角度进行了详细介绍,在此基础上对模型性能进行了比较分析,并从六个不同维度进行总结;随后,介绍了用于抗击COVID-19的现有应用系统。最后,对该领域的未来发展趋势进行了探讨分析。

成为VIP会员查看完整内容
0
14

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域。尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性。在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测与防御方法,并阐述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,展望对抗攻击与防御领域未来的研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
14

深度学习是当前机器学习和人工智能兴起的核心。随着深度学习在自动驾驶、门禁安检、人脸支付等严苛的安全领域中广泛应用,深度学习模型的安全问题逐渐成为新的研究热点。深度模型的攻击根据攻击阶段可分为中毒攻击和对抗攻击,其区别在于前者的攻击发生在训练阶段,后者的攻击发生在测试阶段。本文首次综述了深度学习中的中毒攻击方法,回顾深度学习中的中毒攻击,分析了此类攻击存在的可能性,并研究了现有的针对这些攻击的防御措施。最后,对未来中毒攻击的研究发展方向进行了探讨。

http://jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200403&flag=1

成为VIP会员查看完整内容
0
12

随着网络空间安全情报在网络犯罪、网络战和网络反恐等领域的作用日益凸显,迫切需要对网络空间安全情报的基本理论和综合分析方法进行深入研究。当前,安全情报在实际应用中主要面临着数据类型多样、分布离散、内容不一致等问题,因此引入知识图谱技术框架,旨在利用知识图谱面向海量数据时信息收集及加工整合的思想,提高安全情报的收集效率、情报质量,同时拓展情报的使用范围。本文首先简要回顾安全情报和知识图谱的研究现状,同时介绍知识图谱在安全领域的应用。其次给出面向安全情报的知识图谱构建框架。然后介绍安全情报知识图谱构建的关键技术,包括信息抽取、本体构建和知识推理等。最后,对安全情报知识图谱发展面临的问题进行了讨论。

http://jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200505&flag=1

成为VIP会员查看完整内容
0
17

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
0
36

摘要: 深度学习作为人工智能技术的重要组成部分,被广泛应用在计算机视觉、自然语言处理等领域。尽管深 度学习在图像分类和目标检测等方向上取得了较好性能,但研究表明,对抗攻击的存在对深度学习模型的安全应 用造成了潜在威胁,进而影响模型的安全性。本文在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击 的主要思路,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测方法与防御方法,并从应用角度阐 述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,预测未来对抗攻击与防御的 研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
22

近年来,随着web2.0的普及,使用图挖掘技术进行异常检测受到人们越来越多的关注.图异常检测在欺诈检测、入侵检测、虚假投票、僵尸粉丝分析等领域发挥着重要作用.本文在广泛调研国内外大量文献以及最新科研成果的基础上,按照数据表示形式将面向图的异常检测划分成静态图上的异常检测与动态图上的异常检测两大类,进一步按照异常类型将静态图上的异常分为孤立个体异常和群组异常检测两种类别,动态图上的异常分为孤立个体异常、群体异常以及事件异常三种类型.对每一类异常检测方法当前的研究进展加以介绍,对每种异常检测算法的基本思想、优缺点进行分析、对比,总结面向图的异常检测的关键技术、常用框架、应用领域、常用数据集以及性能评估方法,并对未来可能的发展趋势进行展望.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6100&flag=1

成为VIP会员查看完整内容
0
43

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了“对抗样本”这一概念.通过在原有样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用MNIST数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.

成为VIP会员查看完整内容
0
34

随着高计算设备的发展,深度神经网络(DNNs)近年来在人工智能(AI)领域得到了广泛的应用。然而,之前的研究表明,DNN在经过策略性修改的样本(称为对抗性样本)面前是脆弱的。这些样本是由一些不易察觉的扰动产生的,但可以欺骗DNN做出错误的预测。受图像DNNs中生成对抗性示例的流行启发,近年来出现了针对文本应用的攻击DNNs的研究工作。然而,现有的图像扰动方法不能直接应用于文本,因为文本数据是离散的。在这篇文章中,我们回顾了针对这一差异的研究工作,并产生了关于DNN的电子对抗实例。我们对这些作品进行了全面的收集、选择、总结、讨论和分析,涵盖了所有相关的信息,使文章自成一体。最后,在文献回顾的基础上,我们提出了进一步的讨论和建议。

成为VIP会员查看完整内容
0
38

简介:

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人 工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了“对抗样本”这一概念.通过在原有 样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时 也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的 基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用 MNIST 数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.

内容简介:

本文重点对生成对抗样本的已有研究工作进行综述,主要选取了近年来有代表性的或取得比较显著效果的方法进行详细的原理介绍和优缺点分析.按照其生成方式和原理的不同,分为全像素添加扰动和部分像素添 加扰动两类.在此基础上,根据目标是否定向、是否黑盒和是否肉眼可见这 3 个标准进行细分,将各类方法中的 代表性算法在统一数据集(MNIST)上进行测试,验证并分析其优缺点,终总结提出未来的发展前景. 本文第 1 节主要介绍对抗样本的基本概念和基础知识,包括对抗样本本身的定义、其延伸有关的相关概念 以及基本操作流程.第 2 节则指出对抗样本是从深度学习中衍生出来的概念,同时介绍了对抗样本有效性的评估方法.第 3 节则介绍对抗样本的起源,说明了对抗样本的产生契机和原理解释.第 4 节介绍生成对抗样本的发展状况,以全像素添加扰动和部分像素添加扰动两大类进行算法说明,同时总结生成方法中常用的数据集.第 5 节是对第 4 节中代表方法的实验,结合对同一数据集的效果测试来说明各类方法的优缺点.通过这些优缺点,在 第 6 节中讨论对抗样本生成技术面临的挑战和前景预测.

目录:

  • 1 简 介

    • 1.1 样本的定义
    • 1.2 相关概念
    • 1.3 基本操作流程
  • 2 前 传

    • 2.1机器学习在分类问题中的运用
    • 2.2 深度学习在分类问题中的运用
    • 2.3 评估方法
  • 3 起源

    • 3.1 首次发现
    • 3.2 基本原理
  • 4 发 展

    • 4.1 分类方式及代表模型
    • 4.2 常用数据集
  • 5 实验结果对比

  • 6 面临挑战与前景预测

成为VIP会员查看完整内容
0
48
小贴士
相关VIP内容
专知会员服务
14+阅读 · 1月29日
专知会员服务
14+阅读 · 1月17日
专知会员服务
12+阅读 · 1月10日
专知会员服务
17+阅读 · 1月8日
专知会员服务
36+阅读 · 2020年12月9日
专知会员服务
22+阅读 · 2020年12月8日
专知会员服务
43+阅读 · 2020年10月27日
专知会员服务
34+阅读 · 2020年7月21日
【浙江大学】对抗样本生成技术综述
专知会员服务
48+阅读 · 2020年1月6日
相关资讯
最新《多任务学习》综述,39页pdf
专知
4+阅读 · 2020年7月10日
【综述】生成式对抗网络GAN最新进展综述
专知
39+阅读 · 2019年6月5日
一文读懂文本处理中的对抗训练
PaperWeekly
16+阅读 · 2019年6月5日
【深度学习】深度学习技术发展趋势浅析
产业智能官
8+阅读 · 2019年4月13日
深度学习技术发展趋势浅析
人工智能学家
16+阅读 · 2019年4月11日
硬件加速神经网络综述
计算机研究与发展
8+阅读 · 2019年2月1日
深度学习应用于网络空间安全所面临的十大问题与机遇
计算机研究与发展
14+阅读 · 2018年6月7日
深度学习在文本分类中的应用
AI研习社
12+阅读 · 2018年1月7日
相关论文
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
0+阅读 · 2月19日
One-Class Classification: A Survey
Pramuditha Perera,Poojan Oza,Vishal M. Patel
5+阅读 · 1月8日
Recent Advances and Challenges in Task-oriented Dialog System
Zheng Zhang,Ryuichi Takanobu,Minlie Huang,Xiaoyan Zhu
13+阅读 · 2020年3月19日
Anomalous Instance Detection in Deep Learning: A Survey
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
19+阅读 · 2020年3月16日
A Survey on Deep Learning for Named Entity Recognition
Jing Li,Aixin Sun,Jianglei Han,Chenliang Li
19+阅读 · 2020年3月13日
Deep Learning for Deepfakes Creation and Detection
Thanh Thi Nguyen,Cuong M. Nguyen,Dung Tien Nguyen,Duc Thanh Nguyen,Saeid Nahavandi
4+阅读 · 2019年9月25日
Object Detection in 20 Years: A Survey
Zhengxia Zou,Zhenwei Shi,Yuhong Guo,Jieping Ye
32+阅读 · 2019年5月13日
Ziwei Zhang,Peng Cui,Wenwu Zhu
36+阅读 · 2018年12月11日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
David Tolpin
5+阅读 · 2018年5月5日
Top