深度学习是当前机器学习和人工智能兴起的核心。随着深度学习在自动驾驶、门禁安检、人脸支付等严苛的安全领域中广泛应用,深度学习模型的安全问题逐渐成为新的研究热点。深度模型的攻击根据攻击阶段可分为中毒攻击和对抗攻击,其区别在于前者的攻击发生在训练阶段,后者的攻击发生在测试阶段。本文首次综述了深度学习中的中毒攻击方法,回顾深度学习中的中毒攻击,分析了此类攻击存在的可能性,并研究了现有的针对这些攻击的防御措施。最后,对未来中毒攻击的研究发展方向进行了探讨。

http://jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200403&flag=1

成为VIP会员查看完整内容
0
12

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

深度学习模型被证明存在脆弱性并容易遭到对抗样本的攻击,但目前对于对抗样本的研究主要集中在计算机视觉领域而忽略了自然语言处理模型的安全问题.针对自然语言处理领域同样面临对抗样本的风险,在阐明对抗样本相关概念的基础上,文中首先对基于深度学习的自然语言处理模型的复杂结构、难以探知的训练过程和朴素的基本原理等脆弱性成因进行分析,进一步阐述了文本对抗样本的特点、分类和评价指标,并对该领域对抗技术涉及到的典型任务和数据集进行了阐述;然后按照扰动级别对主流的字、词、句和多级扰动组合的文本对抗样本生成技术进行了梳理,并对相关防御方法进行了归纳总结;最后对目前自然语言处理对抗样本领域攻防双方存在的痛点问题进行了进一步的讨论和展望.

http://www.jsjkx.com/CN/10.11896/jsjkx.200500078

成为VIP会员查看完整内容
0
13

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域。尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性。在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测与防御方法,并阐述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,展望对抗攻击与防御领域未来的研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
11

随着信息技术的快速发展,网络攻击逐渐呈现多阶段、分布式和智能化的特性,单一的防火墙、入侵检测系统等传统网络防御措施不能很好地保护开放环境下的网络系统安全。网络攻击模型作为一种攻击者视角的攻击场景表示,能够综合描述复杂多变环境下的网络攻击行为,是常用的网络攻击分析与应对工具之一。本文首先介绍主要网络攻击模型,包括传统树、图、网结构模型和现代杀伤链、ATT&CK、钻石模型等;然后再对网络攻击模型的分析与应用进行说明,其中以求解攻击指标为目的的分析过程主要包括概率框架、赋值方法和求解方法,基于生命周期的攻击模型应用则包括了攻击者视角和防守者视角的应用过程;最后总结了网络攻击模型及其分析应用的现有挑战与未来方向。

http://www.sicris.cn/CN/abstract/abstract862.shtml

成为VIP会员查看完整内容
0
14

摘要: 深度学习作为人工智能技术的重要组成部分,被广泛应用在计算机视觉、自然语言处理等领域。尽管深 度学习在图像分类和目标检测等方向上取得了较好性能,但研究表明,对抗攻击的存在对深度学习模型的安全应 用造成了潜在威胁,进而影响模型的安全性。本文在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击 的主要思路,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测方法与防御方法,并从应用角度阐 述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,预测未来对抗攻击与防御的 研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
21

联邦学习是一种新型的分布式学习框架,它允许在多个参与者之间共享训练数据而不会泄露其数据隐私。但是这种新颖的学习机制仍然可能受到来自各种攻击者的前所未有的安全和隐私威胁。本文主要探讨联邦学习在安全和隐私方面面临的挑战。首先,本文介绍了联邦学习的基本概念和威胁模型,有助于理解其面临的攻击。其次,本文总结了由内部恶意实体发起的3种攻击类型,同时分析了联邦学习体系结构的安全漏洞和隐私漏洞。然后从差分隐私、同态密码系统和安全多方聚合等方面研究了目前最先进的防御方案。最后通过对这些解决方案的总结和比较,进一步讨论了该领域未来的发展方向。

https://jnuaa.nuaa.edu.cn/ch/reader/create_pdf.aspx?file_no=202005001&flag=1&journal_id=njhkht&year_id=2020

成为VIP会员查看完整内容
0
31

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法. 在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足. 最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6131&flag=1

成为VIP会员查看完整内容
0
26

近年来,随着web2.0的普及,使用图挖掘技术进行异常检测受到人们越来越多的关注.图异常检测在欺诈检测、入侵检测、虚假投票、僵尸粉丝分析等领域发挥着重要作用.本文在广泛调研国内外大量文献以及最新科研成果的基础上,按照数据表示形式将面向图的异常检测划分成静态图上的异常检测与动态图上的异常检测两大类,进一步按照异常类型将静态图上的异常分为孤立个体异常和群组异常检测两种类别,动态图上的异常分为孤立个体异常、群体异常以及事件异常三种类型.对每一类异常检测方法当前的研究进展加以介绍,对每种异常检测算法的基本思想、优缺点进行分析、对比,总结面向图的异常检测的关键技术、常用框架、应用领域、常用数据集以及性能评估方法,并对未来可能的发展趋势进行展望.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6100&flag=1

成为VIP会员查看完整内容
0
36

数据孤岛以及模型训练和应用过程中的隐私泄露是当下阻碍人工智能技术发展的主要难题。联邦学习作为一种高效的隐私保护手段应运而生。联邦学习是一种分布式的机器学习方法,以在不直接获取数据源的基础上,通过参与方的本地训练与参数传递,训练出一个无损的学习模型。但联邦学习中也存在较多的安全隐患。本文着重分析了联邦学习中的投毒攻击、对抗攻击以及隐私泄露三种主要的安全威胁,针对性地总结了最新的防御措施,并提出了相应的解决思路。

成为VIP会员查看完整内容
0
49

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了“对抗样本”这一概念.通过在原有样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用MNIST数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.

成为VIP会员查看完整内容
0
32

简介

近年来,由于机器学习(ML)/深度学习(DL)技术使用多维医学图像,在从一维心脏信号的心脏骤停的预测到计算机辅助诊断(CADx)的各种医疗保健应用中的卓越性能,见证了机器学习(ML)/深度学习(DL)技术的广泛采用。尽管ML / DL的性能令人印象深刻,但对于ML / DL在医疗机构中的健壮性仍然存有疑虑(由于涉及众多安全性和隐私问题,传统上认为ML / DL的挑战性很大),尤其是鉴于最近的研究结果表明ML / DL容易受到对抗性攻击。在本文中,我们概述了医疗保健中各个应用领域,这些领域从安全性和隐私性的角度利用了这些技术,并提出了相关的挑战。此外,我们提出了潜在的方法来确保医疗保健应用程序的安全和隐私保护机器学习。最后,我们提供了有关当前研究挑战的见解以及未来研究的有希望的方向。

内容大纲

成为VIP会员查看完整内容
0
31
小贴士
相关VIP内容
专知会员服务
13+阅读 · 1月18日
专知会员服务
11+阅读 · 1月17日
专知会员服务
14+阅读 · 2020年12月28日
专知会员服务
21+阅读 · 2020年12月8日
专知会员服务
31+阅读 · 2020年11月16日
专知会员服务
26+阅读 · 2020年11月12日
专知会员服务
36+阅读 · 2020年10月27日
专知会员服务
49+阅读 · 2020年8月7日
专知会员服务
32+阅读 · 2020年7月21日
专知会员服务
31+阅读 · 2020年1月25日
相关论文
Junghyuk Lee,Toinon Vigier,Patrick Le Callet,Jong-Seok Lee
0+阅读 · 1月19日
Raghav Awasthi,Keerat Kaur Guliani,Saif Ahmad Khan,Aniket Vashishtha,Mehrab Singh Gill,Arshita Bhatt,Aditya Nagori,Aniket Gupta,Ponnurangam Kumaraguru,Tavpritesh Sethi
0+阅读 · 1月18日
Yankai Chen,Yaozu Wu,Shicheng Ma,Irwin King
0+阅读 · 1月17日
One-Class Classification: A Survey
Pramuditha Perera,Poojan Oza,Vishal M. Patel
5+阅读 · 1月8日
Maayan Shvo,Andrew C. Li,Rodrigo Toro Icarte,Sheila A. McIlraith
6+阅读 · 2020年10月6日
Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI
Alejandro Barredo Arrieta,Natalia Díaz-Rodríguez,Javier Del Ser,Adrien Bennetot,Siham Tabik,Alberto Barbado,Salvador García,Sergio Gil-López,Daniel Molina,Richard Benjamins,Raja Chatila,Francisco Herrera
37+阅读 · 2019年10月22日
Recommendation Systems for Tourism Based on Social Networks: A Survey
Alan Menk,Laura Sebastia,Rebeca Ferreira
3+阅读 · 2019年3月28日
Thomas Elsken,Jan Hendrik Metzen,Frank Hutter
8+阅读 · 2018年9月5日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
12+阅读 · 2018年6月23日
Kerem C. Tezcan,Christian F. Baumgartner,Ender Konukoglu
4+阅读 · 2018年1月17日
Top