深度学习是当前机器学习和人工智能兴起的核心。随着深度学习在自动驾驶、门禁安检、人脸支付等严苛的安全领域中广泛应用,深度学习模型的安全问题逐渐成为新的研究热点。深度模型的攻击根据攻击阶段可分为中毒攻击和对抗攻击,其区别在于前者的攻击发生在训练阶段,后者的攻击发生在测试阶段。本文首次综述了深度学习中的中毒攻击方法,回顾深度学习中的中毒攻击,分析了此类攻击存在的可能性,并研究了现有的针对这些攻击的防御措施。最后,对未来中毒攻击的研究发展方向进行了探讨。

http://jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200403&flag=1

成为VIP会员查看完整内容
0
14

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

摘要 深度学习研究发展至今已可以胜任各类识别、分类、生成任务,但是对于不同的任务,神经网络的结构或参数不可能只是微小的变化,依然需要专家进行调整.在这样的情况下,自动化地调整神经网络的结构或参数成为研究热点.其中,以达尔文自然进化论为灵感的神经进化成为主要优化方法.利用神经进化优化的深度学习模型以种群为基础,通过突变、重组等操作进化,可实现自动地、逐步地构建神经网络并最终选择出性能最优的深度学习模型. 本文简述了神经进化与进化计算;详细概述了各类基于神经进化的深度学习模型;分析了各类模型的性能;总结了神经进化与深度学习融合的前景并探讨下一步的研究方向.

http://www.ejournal.org.cn/CN/abstract/abstract11887.shtml

成为VIP会员查看完整内容
0
21

随着人工智能技术的深入发展,自动驾驶已经成为人工智能技术的典型应用,近十年得到了长足的发展,作为一类非确定性系统,自动驾驶车辆的质量和安全性得到越来越多的关注.对自动驾驶系统,特别是自动驾驶智能系统(如感知模块,决策模块,综合功能及整车)的测试技术得到了业界和学界的深入研究.本文调研了56篇相关领域的学术论文,分别就感知模块、决策模块、综合功能模块及整车系统的测试技术、用例生成方法和测试覆盖度量等维度对目前已有的研究成果进行了梳理,并描述了自动驾驶智能系统测试中的数据集及工具集.最后,对自动驾驶智能系统测试的未来工作进行了展望,为该领域的研究人员提供参考.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6266&flag=1

成为VIP会员查看完整内容
0
19

深度学习模型被证明存在脆弱性并容易遭到对抗样本的攻击,但目前对于对抗样本的研究主要集中在计算机视觉领域而忽略了自然语言处理模型的安全问题.针对自然语言处理领域同样面临对抗样本的风险,在阐明对抗样本相关概念的基础上,文中首先对基于深度学习的自然语言处理模型的复杂结构、难以探知的训练过程和朴素的基本原理等脆弱性成因进行分析,进一步阐述了文本对抗样本的特点、分类和评价指标,并对该领域对抗技术涉及到的典型任务和数据集进行了阐述;然后按照扰动级别对主流的字、词、句和多级扰动组合的文本对抗样本生成技术进行了梳理,并对相关防御方法进行了归纳总结;最后对目前自然语言处理对抗样本领域攻防双方存在的痛点问题进行了进一步的讨论和展望.

http://www.jsjkx.com/CN/10.11896/jsjkx.200500078

成为VIP会员查看完整内容
0
25

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域。尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性。在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测与防御方法,并阐述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,展望对抗攻击与防御领域未来的研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
19

摘要: 深度学习作为人工智能技术的重要组成部分,被广泛应用在计算机视觉、自然语言处理等领域。尽管深 度学习在图像分类和目标检测等方向上取得了较好性能,但研究表明,对抗攻击的存在对深度学习模型的安全应 用造成了潜在威胁,进而影响模型的安全性。本文在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击 的主要思路,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测方法与防御方法,并从应用角度阐 述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,预测未来对抗攻击与防御的 研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
29

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法. 在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足. 最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6131&flag=1

成为VIP会员查看完整内容
1
35

数据孤岛以及模型训练和应用过程中的隐私泄露是当下阻碍人工智能技术发展的主要难题。联邦学习作为一种高效的隐私保护手段应运而生。联邦学习是一种分布式的机器学习方法,以在不直接获取数据源的基础上,通过参与方的本地训练与参数传递,训练出一个无损的学习模型。但联邦学习中也存在较多的安全隐患。本文着重分析了联邦学习中的投毒攻击、对抗攻击以及隐私泄露三种主要的安全威胁,针对性地总结了最新的防御措施,并提出了相应的解决思路。

成为VIP会员查看完整内容
0
59

目标检测的任务是从图像中精确且高效地识别、定位出大量预定义类别的物体实例。随着深度学习的广泛应用,目标检测的精确度和效率都得到了较大提升,但基于深度学习的目标检测仍面临改进与优化主流目标检测算法的性能、提高小目标物体检测精度、实现多类别物体检测、轻量化检测模型等关键技术的挑战。针对上述挑战,本文在广泛文献调研的基础上,从双阶段、单阶段目标检测算法的改进与结合的角度分析了改进与优化主流目标检测算法的方法,从骨干网络、增加视觉感受野、特征融合、级联卷积神经网络和模型的训练方式的角度分析了提升小目标检测精度的方法,从训练方式和网络结构的角度分析了用于多类别物体检测的方法,从网络结构的角度分析了用于轻量化检测模型的方法。此外,对目标检测的通用数据集进行了详细介绍,从4个方面对该领域代表性算法的性能表现进行了对比分析,对目标检测中待解决的问题与未来研究方向做出预测和展望。目标检测研究是计算机视觉和模式识别中备受青睐的热点,仍然有更多高精度和高效的算法相继提出,未来将朝着更多的研究方向发展。

成为VIP会员查看完整内容
0
93

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了“对抗样本”这一概念.通过在原有样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用MNIST数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.

成为VIP会员查看完整内容
0
38

随着高计算设备的发展,深度神经网络(DNNs)近年来在人工智能(AI)领域得到了广泛的应用。然而,之前的研究表明,DNN在经过策略性修改的样本(称为对抗性样本)面前是脆弱的。这些样本是由一些不易察觉的扰动产生的,但可以欺骗DNN做出错误的预测。受图像DNNs中生成对抗性示例的流行启发,近年来出现了针对文本应用的攻击DNNs的研究工作。然而,现有的图像扰动方法不能直接应用于文本,因为文本数据是离散的。在这篇文章中,我们回顾了针对这一差异的研究工作,并产生了关于DNN的电子对抗实例。我们对这些作品进行了全面的收集、选择、总结、讨论和分析,涵盖了所有相关的信息,使文章自成一体。最后,在文献回顾的基础上,我们提出了进一步的讨论和建议。

成为VIP会员查看完整内容
0
40
小贴士
相关VIP内容
专知会员服务
21+阅读 · 3月3日
专知会员服务
19+阅读 · 1月24日
专知会员服务
25+阅读 · 1月18日
专知会员服务
19+阅读 · 1月17日
专知会员服务
29+阅读 · 2020年12月8日
专知会员服务
35+阅读 · 2020年11月12日
专知会员服务
59+阅读 · 2020年8月7日
专知会员服务
93+阅读 · 2020年8月1日
专知会员服务
38+阅读 · 2020年7月21日
相关论文
Quentin Fournier,Naser Ezzati-Jivan,Daniel Aloise,Michel R. Dagenais
0+阅读 · 3月8日
MaungMaung AprilPyone,Hitoshi Kiya
0+阅读 · 3月5日
Wei Chen,Yu Liu,Weiping Wang,Erwin Bakker,Theodoros Georgiou,Paul Fieguth,Li Liu,Michael S. Lew
11+阅读 · 1月27日
One-Class Classification: A Survey
Pramuditha Perera,Poojan Oza,Vishal M. Patel
5+阅读 · 1月8日
Kai Han,Yunhe Wang,Hanting Chen,Xinghao Chen,Jianyuan Guo,Zhenhua Liu,Yehui Tang,An Xiao,Chunjing Xu,Yixing Xu,Zhaohui Yang,Yiman Zhang,Dacheng Tao
10+阅读 · 2020年12月23日
Yi Tay,Mostafa Dehghani,Dara Bahri,Donald Metzler
10+阅读 · 2020年9月16日
Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang
102+阅读 · 2020年9月6日
Deep learning for cardiac image segmentation: A review
Chen Chen,Chen Qin,Huaqi Qiu,Giacomo Tarroni,Jinming Duan,Wenjia Bai,Daniel Rueckert
12+阅读 · 2019年11月9日
Fang Liu,Guoming Tang,Youhuizi Li,Zhiping Cai,Xingzhou Zhang,Tongqing Zhou
15+阅读 · 2019年11月7日
Joaquin Vanschoren
108+阅读 · 2018年10月8日
Top