深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域。尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性。在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测与防御方法,并阐述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,展望对抗攻击与防御领域未来的研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
15

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。

摘要 深度学习研究发展至今已可以胜任各类识别、分类、生成任务,但是对于不同的任务,神经网络的结构或参数不可能只是微小的变化,依然需要专家进行调整.在这样的情况下,自动化地调整神经网络的结构或参数成为研究热点.其中,以达尔文自然进化论为灵感的神经进化成为主要优化方法.利用神经进化优化的深度学习模型以种群为基础,通过突变、重组等操作进化,可实现自动地、逐步地构建神经网络并最终选择出性能最优的深度学习模型. 本文简述了神经进化与进化计算;详细概述了各类基于神经进化的深度学习模型;分析了各类模型的性能;总结了神经进化与深度学习融合的前景并探讨下一步的研究方向.

http://www.ejournal.org.cn/CN/abstract/abstract11887.shtml

成为VIP会员查看完整内容
0
12

深度学习模型被证明存在脆弱性并容易遭到对抗样本的攻击,但目前对于对抗样本的研究主要集中在计算机视觉领域而忽略了自然语言处理模型的安全问题.针对自然语言处理领域同样面临对抗样本的风险,在阐明对抗样本相关概念的基础上,文中首先对基于深度学习的自然语言处理模型的复杂结构、难以探知的训练过程和朴素的基本原理等脆弱性成因进行分析,进一步阐述了文本对抗样本的特点、分类和评价指标,并对该领域对抗技术涉及到的典型任务和数据集进行了阐述;然后按照扰动级别对主流的字、词、句和多级扰动组合的文本对抗样本生成技术进行了梳理,并对相关防御方法进行了归纳总结;最后对目前自然语言处理对抗样本领域攻防双方存在的痛点问题进行了进一步的讨论和展望.

http://www.jsjkx.com/CN/10.11896/jsjkx.200500078

成为VIP会员查看完整内容
0
19

深度学习是当前机器学习和人工智能兴起的核心。随着深度学习在自动驾驶、门禁安检、人脸支付等严苛的安全领域中广泛应用,深度学习模型的安全问题逐渐成为新的研究热点。深度模型的攻击根据攻击阶段可分为中毒攻击和对抗攻击,其区别在于前者的攻击发生在训练阶段,后者的攻击发生在测试阶段。本文首次综述了深度学习中的中毒攻击方法,回顾深度学习中的中毒攻击,分析了此类攻击存在的可能性,并研究了现有的针对这些攻击的防御措施。最后,对未来中毒攻击的研究发展方向进行了探讨。

http://jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200403&flag=1

成为VIP会员查看完整内容
0
12

随着信息技术的快速发展,网络攻击逐渐呈现多阶段、分布式和智能化的特性,单一的防火墙、入侵检测系统等传统网络防御措施不能很好地保护开放环境下的网络系统安全。网络攻击模型作为一种攻击者视角的攻击场景表示,能够综合描述复杂多变环境下的网络攻击行为,是常用的网络攻击分析与应对工具之一。本文首先介绍主要网络攻击模型,包括传统树、图、网结构模型和现代杀伤链、ATT&CK、钻石模型等;然后再对网络攻击模型的分析与应用进行说明,其中以求解攻击指标为目的的分析过程主要包括概率框架、赋值方法和求解方法,基于生命周期的攻击模型应用则包括了攻击者视角和防守者视角的应用过程;最后总结了网络攻击模型及其分析应用的现有挑战与未来方向。

http://www.sicris.cn/CN/abstract/abstract862.shtml

成为VIP会员查看完整内容
1
15

摘要: 深度学习作为人工智能技术的重要组成部分,被广泛应用在计算机视觉、自然语言处理等领域。尽管深 度学习在图像分类和目标检测等方向上取得了较好性能,但研究表明,对抗攻击的存在对深度学习模型的安全应 用造成了潜在威胁,进而影响模型的安全性。本文在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击 的主要思路,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测方法与防御方法,并从应用角度阐 述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,预测未来对抗攻击与防御的 研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
22

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法. 在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足. 最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6131&flag=1

成为VIP会员查看完整内容
1
29

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了“对抗样本”这一概念.通过在原有样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用MNIST数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.

成为VIP会员查看完整内容
0
34

随着高计算设备的发展,深度神经网络(DNNs)近年来在人工智能(AI)领域得到了广泛的应用。然而,之前的研究表明,DNN在经过策略性修改的样本(称为对抗性样本)面前是脆弱的。这些样本是由一些不易察觉的扰动产生的,但可以欺骗DNN做出错误的预测。受图像DNNs中生成对抗性示例的流行启发,近年来出现了针对文本应用的攻击DNNs的研究工作。然而,现有的图像扰动方法不能直接应用于文本,因为文本数据是离散的。在这篇文章中,我们回顾了针对这一差异的研究工作,并产生了关于DNN的电子对抗实例。我们对这些作品进行了全面的收集、选择、总结、讨论和分析,涵盖了所有相关的信息,使文章自成一体。最后,在文献回顾的基础上,我们提出了进一步的讨论和建议。

成为VIP会员查看完整内容
0
39

简介:

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人 工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了“对抗样本”这一概念.通过在原有 样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时 也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的 基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用 MNIST 数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.

内容简介:

本文重点对生成对抗样本的已有研究工作进行综述,主要选取了近年来有代表性的或取得比较显著效果的方法进行详细的原理介绍和优缺点分析.按照其生成方式和原理的不同,分为全像素添加扰动和部分像素添 加扰动两类.在此基础上,根据目标是否定向、是否黑盒和是否肉眼可见这 3 个标准进行细分,将各类方法中的 代表性算法在统一数据集(MNIST)上进行测试,验证并分析其优缺点,终总结提出未来的发展前景. 本文第 1 节主要介绍对抗样本的基本概念和基础知识,包括对抗样本本身的定义、其延伸有关的相关概念 以及基本操作流程.第 2 节则指出对抗样本是从深度学习中衍生出来的概念,同时介绍了对抗样本有效性的评估方法.第 3 节则介绍对抗样本的起源,说明了对抗样本的产生契机和原理解释.第 4 节介绍生成对抗样本的发展状况,以全像素添加扰动和部分像素添加扰动两大类进行算法说明,同时总结生成方法中常用的数据集.第 5 节是对第 4 节中代表方法的实验,结合对同一数据集的效果测试来说明各类方法的优缺点.通过这些优缺点,在 第 6 节中讨论对抗样本生成技术面临的挑战和前景预测.

目录:

  • 1 简 介

    • 1.1 样本的定义
    • 1.2 相关概念
    • 1.3 基本操作流程
  • 2 前 传

    • 2.1机器学习在分类问题中的运用
    • 2.2 深度学习在分类问题中的运用
    • 2.3 评估方法
  • 3 起源

    • 3.1 首次发现
    • 3.2 基本原理
  • 4 发 展

    • 4.1 分类方式及代表模型
    • 4.2 常用数据集
  • 5 实验结果对比

  • 6 面临挑战与前景预测

成为VIP会员查看完整内容
0
48
小贴士
相关VIP内容
专知会员服务
12+阅读 · 3月3日
专知会员服务
19+阅读 · 1月18日
专知会员服务
12+阅读 · 1月10日
专知会员服务
15+阅读 · 2020年12月28日
专知会员服务
22+阅读 · 2020年12月8日
专知会员服务
29+阅读 · 2020年11月12日
专知会员服务
86+阅读 · 2020年8月1日
专知会员服务
34+阅读 · 2020年7月21日
【浙江大学】对抗样本生成技术综述
专知会员服务
48+阅读 · 2020年1月6日
相关论文
Alberto Signori,Federico Chiariotti,Filippo Campagnaro,Michele Zorzi
0+阅读 · 3月2日
Bashar Tahir,Stefan Schwarz,Markus Rupp
0+阅读 · 3月2日
Chaoning Zhang,Philipp Benz,Chenguo Lin,Adil Karjauv,Jing Wu,In So Kweon
0+阅读 · 3月2日
Improving BERT Performance for Aspect-Based Sentiment Analysis
Akbar Karimi,Leonardo Rossi,Andrea Prati
0+阅读 · 3月1日
Raheel Anwar,Muhammad Irfan Yousuf,Muhammad Abid
0+阅读 · 2月25日
A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification
Yang Liu,Jianpeng Zhang,Chao Gao,Jinghua Qu,Lixin Ji
4+阅读 · 2019年8月25日
Deep Face Recognition: A Survey
Mei Wang,Weihong Deng
11+阅读 · 2019年2月12日
Wei Xue,Tao Li
12+阅读 · 2018年5月18日
Yongfeng Zhang,Xu Chen
10+阅读 · 2018年5月13日
Afroze Ibrahim Baqapuri
3+阅读 · 2015年9月14日
Top