在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。[1] 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。

VIP内容

在本教程中,我们旨在全面介绍专门为异常检测(深度异常检测)而设计的深度学习技术的进展。

深度学习在转换许多数据挖掘和机器学习任务方面取得了巨大的成功,但由于异常具有一些独特的特征,如罕见性、异质性、无限性以及收集大规模异常数据的高昂成本,目前流行的深度学习技术并不适用于异常检测。

通过本教程,读者将对该领域有一个系统的概述,了解目前最先进的12种不同类型的深度异常检测方法的主要要点、目标函数、基本假设、优缺点,并认识到其在不同领域的广泛适用性。我们还讨论了当前的深度异常检测方法可以从多个不同的角度解决和展望该领域的挑战。

任何对深度学习、异常/离群值/新奇检测、分布外检测、带有有限标记数据的表示学习以及自我监督表示学习感兴趣的读者,都会发现参加本教程非常有帮助。

金融、网络安全、医疗保健领域的研究人员和从业者也会发现该教程在实践中有帮助。

异常检测,几十年来一直是各个研究领域中一个持续而活跃的研究领域。但仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来,将深度学习应用于异常检测(即深度异常检测)已经成为关键方向。本文回顾了深度异常检测方法的研究进展,并对检测方法进行了分类,包括3个高级类别和11个细粒度类别。本文回顾了检测方法的主要intuitions、目标函数、基本假设、优势和劣势,并讨论了他们如何应对上述挑战。并且进一步讨论了一系列未来可能的机遇和应对挑战的新观点。

异常检测,又称离群值检测或新颖性检测,是指检测与大多数数据实例显著偏离的数据实例的过程。几十年来,异常探测一直是一个活跃的研究领域,早期的探测可以追溯到20世纪60年代的[52]。由于在风险管理、合规、安全、金融监控、健康和医疗风险、人工智能安全等广泛领域的需求和应用日益增长,异常检测在数据挖掘、机器学习、计算机视觉和统计等各个领域发挥着越来越重要的作用。近年来,深度学习在学习高维数据、时间数据、空间数据和图形数据等复杂数据的表达表示方面显示出了巨大的能力,推动了不同学习任务的边界。深度学习异常检测,简称深度异常检测,目的是通过神经网络学习特征表示或异常分数来进行异常检测。大量的深度异常检测方法已经被引入,在解决各种现实世界应用中具有挑战性的检测问题上,表现出比传统异常检测显著更好的性能。这项工作旨在对这一领域进行全面调研。我们首先讨论了异常检测的问题本质和主要的未解决的挑战,然后系统地回顾了当前的深度方法及其解决这些挑战的能力,最后提出了一些未来的机会。

成为VIP会员查看完整内容
0
90

最新内容

From a safety perspective, a machine learning method embedded in real-world applications is required to distinguish irregular situations. For this reason, there has been a growing interest in the anomaly detection (AD) task. Since we cannot observe abnormal samples for most of the cases, recent AD methods attempt to formulate it as a task of classifying whether the sample is normal or not. However, they potentially fail when the given normal samples are inherited from diverse semantic labels. To tackle this problem, we introduce a latent class-condition-based AD scenario. In addition, we propose a confidence-based self-labeling AD framework tailored to our proposed scenario. Since our method leverages the hidden class information, it successfully avoids generating the undesirable loose decision region that one-class methods suffer. Our proposed framework outperforms the recent one-class AD methods in the latent multi-class scenarios.

0
0
下载
预览

最新论文

From a safety perspective, a machine learning method embedded in real-world applications is required to distinguish irregular situations. For this reason, there has been a growing interest in the anomaly detection (AD) task. Since we cannot observe abnormal samples for most of the cases, recent AD methods attempt to formulate it as a task of classifying whether the sample is normal or not. However, they potentially fail when the given normal samples are inherited from diverse semantic labels. To tackle this problem, we introduce a latent class-condition-based AD scenario. In addition, we propose a confidence-based self-labeling AD framework tailored to our proposed scenario. Since our method leverages the hidden class information, it successfully avoids generating the undesirable loose decision region that one-class methods suffer. Our proposed framework outperforms the recent one-class AD methods in the latent multi-class scenarios.

0
0
下载
预览
Top