最新49页《深度学习异常检测综述》论文,带你全面了解深度学习异常检测方法

2019 年 1 月 14 日 专知
最新49页《深度学习异常检测综述》论文,带你全面了解深度学习异常检测方法

【导读】本文对基于深度学习的异常检测的研究方法进行了系统全面的综述。此外,还回顾了这些方法对不同应用领域异常的应用,并评估了它们的有效性。

(图源自网络)


作者 | Raghavendra Chalapathy等

编译 | Xiaowen



异常检测是一个在各个研究领域和应用领域内得到广泛研究的重要问题。本研究的目的有两个方面:首先,我们对基于深度学习的异常检测的研究方法进行了系统全面的综述。此外,我们还回顾了这些方法对不同应用领域异常的应用,并评估了它们的有效性。我们根据所采用的基本假设和方法,将最先进的研究技术分为不同的类别。在每一类中,我们概述了基本的异常检测技术,以及它的变体,并给出了关键的假设,以区分正常行为和异常行为。对于我们介绍的每一类技术,我们还介绍了它们的优点和局限性,并讨论了这些技术在实际应用领域中的计算复杂性。最后,我们概述了研究中的未决问题和采用这些技术时所面临的挑战


在分析真实世界的数据集时,一个常见的需求是确定哪些实例与所有其他实例不同。这些实例被称为异常,异常检测(也称为异常点检测)的目标是以数据驱动的方式确定所有此类实例(Chandola et al. [2007])。异常可由数据中的错误引起,但有时表示一种新的、以前未知的潜在过程;事实上,Hawkins[1980]将异常点定义为一种与其他观测结果显著偏离的观测。在广泛的机器学习领域,近几年来,深度神经网络在各个应用领域都出现了前所未有的成果。深度学习是机器学习的子集,它通过学习将数据表示为神经网络层内概念的嵌套层次,从而获得良好的性能和灵活性。随着数据规模的增加,深度学习优于传统的机器学习,如图1所示。


近年来,基于深度学习的异常检测算法越来越流行,并已应用于各种任务集,如图2所示;研究表明,深度学习完全优于传统方法(Javaid[2016])。本文的研究目的有两个方面,首先对深度异常检测(DAD)的研究方法进行了系统、全面的综述。此外,我们还讨论了跨不同应用领域采用DAD方法的问题,并评估了它们的有效性。



图3是二维数据集异常的图解:



图4体现了图像数据集中的新颖性:



图5展示了与基于深度学习的异常检测技术相关的关键部件。 




图6展示了基于深度学习模型的异常检测分类:



更多内容,下载查看49页综述论文:


请关注专知公众号(点击标题下方蓝色专知关注

  • 后台回复“异常检测综述” 就可以获取49页《深度学习异常检测综述》论文载链接~ 

  • 专知《深度学习:算法到实战》2019年1月正在开讲,欢迎报名!

专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授!


-END-

专 · 知

   专知《深度学习: 算法到实战》课程正在开讲! 中科院博士为你讲授!


请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
98

相关内容

在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。[1] 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。

摘要:近年来,基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中.本文对近年来基于深度学习的表面缺陷检测方法进行了梳理,根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类,并对各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点和应用场景.本文探讨了表面缺陷检测中三个关键问题,介绍了工业表面缺陷常用数据集.最后,对表面缺陷检测的未来发展趋势进行了展望.

成为VIP会员查看完整内容
0
38

随着高计算设备的发展,深度神经网络(DNNs)近年来在人工智能(AI)领域得到了广泛的应用。然而,之前的研究表明,DNN在经过策略性修改的样本(称为对抗性样本)面前是脆弱的。这些样本是由一些不易察觉的扰动产生的,但可以欺骗DNN做出错误的预测。受图像DNNs中生成对抗性示例的流行启发,近年来出现了针对文本应用的攻击DNNs的研究工作。然而,现有的图像扰动方法不能直接应用于文本,因为文本数据是离散的。在这篇文章中,我们回顾了针对这一差异的研究工作,并产生了关于DNN的电子对抗实例。我们对这些作品进行了全面的收集、选择、总结、讨论和分析,涵盖了所有相关的信息,使文章自成一体。最后,在文献回顾的基础上,我们提出了进一步的讨论和建议。

成为VIP会员查看完整内容
0
39

题目: Anomalous Instance Detection in Deep Learning: A Survey

摘要:

深度学习(DL)容易受到分布不均匀和对抗性示例的影响,从而导致不正确的输出。为了使DL更具有鲁棒性,最近提出了几种方法:异常检测技术来检测(并丢弃)这些异常样本。本研究试图为基于DL的应用程序异常检测的研究提供一个结构化的、全面的概述。我们根据现有技术的基本假设和采用的方法为它们提供了一个分类。我们讨论了每个类别中的各种技术,并提供了这些方法的相对优势和劣势。我们在这次调查中的目标是提供一个更容易并且更好理解的技术,这项技术是在这方面已经做过研究的,且属于不同的类别的。最后,我们强调了在DL系统中应用异常检测技术所面临的未解决的研究挑战,并提出了一些具有重要影响的未来研究方向。

成为VIP会员查看完整内容
0
48

题目: A survey of deep learning techniques for autonomous driving

简介: 本文目的是研究自动驾驶中深度学习技术的最新技术。首先介绍基于AI的自动驾驶架构、CNN和RNN、以及DRL范例。这些方法为驾驶场景感知、路径规划、行为决策和运动控制算法奠定基础。该文研究深度学习方法构建的模块化“感知-规划-执行”流水线以及将传感信息直接映射到转向命令的端到端系统。此外,设计自动驾驶AI架构遇到的当前挑战,如安全性、训练数据源和计算硬件等也进行了讨论。该工作有助于深入了解深度学习和自动驾驶AI方法的优越性和局限性,并协助系统的设计选择。

成为VIP会员查看完整内容
0
37

多目标跟踪(MOT)的问题在于在一个序列中跟踪不同目标的轨迹,通常是视频。近年来,随着深度学习的兴起,为这一问题提供解决方案的算法受益于深度模型的表示能力。本文对利用深度学习模型解决单摄像机视频MOT任务的作品进行了全面的综述。提出了MOT算法的四个主要步骤,并对深度学习在每个阶段的应用进行了深入的回顾。本文还对三种MOTChallenge数据集上的现有工作进行了完整的实验比较,确定了一些最优的方法之间的相似性,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
0
57

A Survey on GANs for Anomaly Detection

异常检测是当前研究领域面临的一个重要问题。检测和正确分类看不见的异常样本是一个具有挑战性的问题,多年来已经有很多方式在解决。

生成式对抗网络(GANs)和对抗训练过程最近已被用于面对这一任务,并产生了显著的结果。在本文中,我们调研了主要GAN-based异常检测方法,突出优点和缺点。我们的贡献是主要的实证验证GAN异常检测模型,在不同的数据集实验结果的增加和公众发布一个完整的开源工具箱使用GAN进行异常检测。

成为VIP会员查看完整内容
0
53

题目: Deep Learning in Video Multi-Object Tracking: A Survey

简介: 多对象跟踪(MOT)的问题在于遵循序列中不同对象(通常是视频)的轨迹。 近年来,随着深度学习的兴起,提供解决此问题的算法得益于深度模型的表示能力。 本文对采用深度学习模型解决单摄像机视频中的MOT任务的作品进行了全面的调查。 确定了MOT算法的四个主要步骤,并对这些阶段的每个阶段如何使用深度学习进行了深入的回顾。 还提供了对三个MOTChallenge数据集上提出的作品的完整实验比较,确定了表现最好的方法之间的许多相似之处,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
DEEP LEARNING IN VIDEO MULTI-OBJECT TRACKING.pdf
0
32
小贴士
相关VIP内容
专知会员服务
38+阅读 · 2020年5月31日
专知会员服务
48+阅读 · 2020年5月5日
专知会员服务
62+阅读 · 2020年3月12日
专知会员服务
194+阅读 · 2020年1月1日
深度学习视频中多目标跟踪:论文综述
专知会员服务
57+阅读 · 2019年10月13日
生成式对抗网络GAN异常检测
专知会员服务
53+阅读 · 2019年10月13日
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
39+阅读 · 2020年7月2日
Anomalous Instance Detection in Deep Learning: A Survey
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
20+阅读 · 2020年3月16日
Meta Learning for End-to-End Low-Resource Speech Recognition
Jui-Yang Hsu,Yuan-Jui Chen,Hung-yi Lee
15+阅读 · 2019年10月26日
Sicheng Zhao,Shangfei Wang,Mohammad Soleymani,Dhiraj Joshi,Qiang Ji
7+阅读 · 2019年10月3日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
7+阅读 · 2019年1月16日
Chunwei Tian,Yong Xu,Lunke Fei,Ke Yan
3+阅读 · 2018年10月11日
Joaquin Vanschoren
106+阅读 · 2018年10月8日
Deep Learning for Generic Object Detection: A Survey
Li Liu,Wanli Ouyang,Xiaogang Wang,Paul Fieguth,Jie Chen,Xinwang Liu,Matti Pietikäinen
7+阅读 · 2018年9月6日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Top