Given high-dimensional time series data (e.g., sensor data), how can we detect anomalous events, such as system faults and attacks? More challengingly, how can we do this in a way that captures complex inter-sensor relationships, and detects and explains anomalies which deviate from these relationships? Recently, deep learning approaches have enabled improvements in anomaly detection in high-dimensional datasets; however, existing methods do not explicitly learn the structure of existing relationships between variables, or use them to predict the expected behavior of time series. Our approach combines a structure learning approach with graph neural networks, additionally using attention weights to provide explainability for the detected anomalies. Experiments on two real-world sensor datasets with ground truth anomalies show that our method detects anomalies more accurately than baseline approaches, accurately captures correlations between sensors, and allows users to deduce the root cause of a detected anomaly.


翻译:鉴于高维时间序列数据(例如传感器数据),我们怎样才能探测系统断层和攻击等异常事件?更具有挑战性地说,我们如何能以捕捉复杂的传感器间关系和探测并解释偏离这些关系的异常现象的方式来做到这一点?最近,深层学习方法使高维数据集异常现象探测工作得以改进;然而,现有方法并未明确了解变量之间现有关系的结构,也未使用这些变量预测时间序列的预期行为。我们的方法将结构学习方法与图形神经网络相结合,还利用关注权重来解释所发现的异常现象。对两个真实世界传感器数据集的实验显示,我们的方法比基线方法更精确地探测异常现象,精确地捕捉传感器之间的相互关系,并使用户能够推断所检测到的异常现象的根源。

2
下载
关闭预览

相关内容

在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。[1] 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
153+阅读 · 2020年5月26日
异常检测(Anomaly Detection)综述
极市平台
19+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
125+阅读 · 2019年7月15日
时序数据异常检测工具/数据集大列表
极市平台
65+阅读 · 2019年2月23日
小草雷V1工具包
黑白之道
14+阅读 · 2019年2月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
已删除
将门创投
3+阅读 · 2017年11月3日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Arxiv
0+阅读 · 2021年8月10日
Arxiv
4+阅读 · 2019年5月1日
Deep Anomaly Detection with Outlier Exposure
Arxiv
17+阅读 · 2018年12月21日
VIP会员
相关VIP内容
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
153+阅读 · 2020年5月26日
相关资讯
异常检测(Anomaly Detection)综述
极市平台
19+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
125+阅读 · 2019年7月15日
时序数据异常检测工具/数据集大列表
极市平台
65+阅读 · 2019年2月23日
小草雷V1工具包
黑白之道
14+阅读 · 2019年2月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
已删除
将门创投
3+阅读 · 2017年11月3日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Top
微信扫码咨询专知VIP会员