异常检测已经得到了广泛的研究和应用。建立一个有效的异常检测系统需要研究者和开发者从嘈杂的数据中学习复杂的结构,识别动态异常模式,用有限的标签检测异常。与经典方法相比,近年来深度学习技术的进步极大地提高了异常检测的性能,并将异常检测扩展到广泛的应用领域。本教程将帮助读者全面理解各种应用领域中基于深度学习的异常检测技术。首先,我们概述了异常检测问题,介绍了在深度模型时代之前采用的方法,并列出了它们所面临的挑战。然后我们调查了最先进的深度学习模型,范围从构建块神经网络结构,如MLP, CNN,和LSTM,到更复杂的结构,如自动编码器,生成模型(VAE, GAN,基于流的模型),到深度单类检测模型,等等。此外,我们举例说明了迁移学习和强化学习等技术如何在异常检测问题中改善标签稀疏性问题,以及在实际中如何收集和充分利用用户标签。其次,我们讨论来自LinkedIn内外的真实世界用例。本教程最后讨论了未来的趋势。

https://sites.google.com/view/kdd2020deepeye/home

成为VIP会员查看完整内容
0
39

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 图神经网络简介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表达性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs训练 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可扩展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(无)监督学习 04:15 pm – 04:35 pm: GNN in Social Networks 社交网络GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs图像处理与未来方向 04:55 pm – 05:00 pm: Q&A

成为VIP会员查看完整内容
0
63

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
14

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
82

深度神经网络(DNN)在各个领域的大量机器学习任务中取得了前所未有的成功。然而,在将DNN模型应用于诸如自动驾驶汽车和恶意软件检测等安全关键任务时,存在的一些反面例子给我们带来了很大的犹豫。这些对抗例子都是故意制作的实例,无论是出现在火车上还是测试阶段,都可以欺骗DNN模型,使其犯下严重错误。因此,人们致力于设计更健壮的模型来抵御对抗的例子,但它们通常会被新的更强大的攻击击垮。这种对抗性的攻击和防御之间的军备竞赛近年来受到越来越多的关注。**在本教程中,我们将全面概述对抗性攻击的前沿和进展,以及它们的对策。特别地,我们详细介绍了不同场景下的不同类型的攻击,包括闪避和中毒攻击,白盒和黑盒攻击。**我们还将讨论防御策略如何发展以对抗这些攻击,以及新的攻击如何出现以打破这些防御。此外,我们将讨论在其他数据域中的敌对攻击和防御,特别是在图结构数据中。然后介绍了Pytorch对抗式学习图书馆DeepRobust,旨在为该研究领域的发展搭建一个全面、易用的平台。最后,我们通过讨论对抗性攻击和防御的开放问题和挑战来总结本教程。通过我们的教程,我们的观众可以掌握对抗性攻击和防御之间的主要思想和关键方法。

目录内容: Part 1. Introduction about adversarial examples and robustness. Part 2. Algorithms for generating adversarial examples. Part 3. Defending algorithms and adaptive attacks. Part 4. Adversarial learning in Graph domain. Part 5. DeepRobust-- A Pytorch Repository for Adversarial learning.

成为VIP会员查看完整内容
0
22

ACM SIGKDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域国际顶级学术会议,今年的KDD大会将于8月23日至27日在线上召开。宾夕法尼亚州立大学ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了关于小数据学习《Learning with Small Data》教程,116页ppt涵盖迁移学习与元学习等最新课题,是非常好的学习材料!

摘要:

在大数据时代,数据驱动的方法在图像识别、交通信号控制、假新闻检测等各种应用中越来越受欢迎。这些数据驱动方法的优越性能依赖于大规模的标记训练数据,而实际应用中可能无法获得这些数据,即“小(标记)数据”挑战。例如,预测一个城市的突发事件,发现新出现的假新闻,以及预测罕见疾病的病情发展。在大多数情况下,人们最关心的是这些小数据案例,因此提高带有小标记数据的机器学习算法的学习效率一直是一个热门的研究课题。在本教程中,我们将回顾使用小数据进行学习的最新的机器学习技术。这些技术被组织从两个方面: (1) 提供一个全面的回顾最近的研究关于知识的泛化,迁移,和共享,其中迁移学习,多任务学习,元学习被讨论。特别是元学习,提高了模型的泛化能力,近年来已被证明是一种有效的方法; (2) 引入前沿技术,着重于将领域知识融入机器学习模型中。与基于模型的知识迁移技术不同,在现实应用中,领域知识(如物理定律)为我们提供了一个处理小数据挑战的新角度。具体地说,领域知识可以用来优化学习策略和/或指导模型设计。在数据挖掘领域,我们认为小数据学习是一个具有重要社会影响的热门话题,将吸引学术界和产业界的研究者和从业者。

目录:

地址:

https://sites.psu.edu/kdd20tutorial/

成为VIP会员查看完整内容
0
44

本教程对基于模型的强化学习(MBRL)领域进行了广泛的概述,特别强调了深度方法。MBRL方法利用环境模型来进行决策——而不是将环境视为一个黑箱——并且提供了超越无模型RL的独特机会和挑战。我们将讨论学习过渡和奖励模式的方法,如何有效地使用这些模式来做出更好的决策,以及规划和学习之间的关系。我们还强调了在典型的RL设置之外利用世界模型的方式,以及在设计未来的MBRL系统时,从人类认知中可以得到什么启示。

https://sites.google.com/view/mbrl-tutorial

近年来,强化学习领域取得了令人印象深刻的成果,但主要集中在无模型方法上。然而,社区认识到纯无模型方法的局限性,从高样本复杂性、需要对不安全的结果进行抽样,到稳定性和再现性问题。相比之下,尽管基于模型的方法在机器人、工程、认知和神经科学等领域具有很大的影响力,但在机器学习社区中,这些方法的开发还不够充分(但发展迅速)。它们提供了一系列独特的优势和挑战,以及互补的数学工具。本教程的目的是使基于模型的方法更被机器学习社区所认可和接受。鉴于最近基于模型的规划的成功应用,如AlphaGo,我们认为对这一主题的全面理解是非常及时的需求。在教程结束时,观众应该获得:

  • 数学背景,阅读并跟进相关文献。
  • 对所涉及的算法有直观的理解(并能够访问他们可以使用和试验的轻量级示例代码)。
  • 在应用基于模型的方法时所涉及到的权衡和挑战。
  • 对可以应用基于模型的推理的问题的多样性的认识。
  • 理解这些方法如何适应更广泛的强化学习和决策理论,以及与无模型方法的关系。
成为VIP会员查看完整内容
0
38

在海量大数据的帮助下,深度学习在许多领域都取得了显著的成功。但是,数据标签的质量是一个问题,因为在许多现实场景中缺乏高质量的标签。由于带噪标签严重降低了深度神经网络的泛化性能,从带噪标签中学习(鲁棒训练)已成为现代深度学习应用的一项重要任务。在这个综述中,我们首先从监督学习的角度来描述标签噪声的学习问题。接下来,我们提供了对46种最先进的鲁棒训练方法的全面回顾,所有这些方法根据其方法上的差异被归类为7组,然后系统地比较用于评价其优越性的6种属性。然后,总结了常用的评价方法,包括公共噪声数据集和评价指标。最后,我们提出了几个有前景的研究方向,可以作为未来研究的指导。

https://arxiv.org/abs/2007.08199

成为VIP会员查看完整内容
0
25

【导读】新加坡国立大学的Xiang Wang、Tat-Seng Chua,以及来自中国科学技术大学的Xiangnan He在WSDM 2020会议上通过教程《Learning and Reasoning on Graph for Recommendation》介绍了基于图学习和推理的推荐系统,涵盖了基于随机游走的推荐系统、基于网络嵌入的推荐系统,基于图神经网络的推荐系统等内容。

Tutorial摘要:

推荐方法构建预测模型来估计用户-项目交互的可能性。之前的模型在很大程度上遵循了一种通用的监督学习范式——将每个交互视为一个单独的数据实例,并基于“信息孤岛”进行预测。但是,这些方法忽略了数据实例之间的关系,这可能导致性能不佳,特别是在稀疏场景中。此外,建立在单独数据实例上的模型很难展示推荐背后的原因,这使得推荐过程难以理解。

在本教程中,我们将从图学习的角度重新讨论推荐问题。用于推荐的公共数据源可以组织成图,例如用户-项目交互(二部图)、社交网络、项目知识图(异构图)等。这种基于图的组织将孤立的数据实例连接起来,为开发高阶连接带来了好处,这些连接为协作过滤、基于内容的过滤、社会影响建模和知识感知推理编码有意义的模式。随着最近图形神经网络(GNNs)的成功,基于图形的模型显示了成为下一代推荐系统技术的潜力。本教程对基于图的推荐学习方法进行了回顾,重点介绍了GNNs的最新发展和先进的推荐知识。通过在教程中介绍这一新兴而有前景的领域,我们希望观众能够对空间有更深刻的理解和准确的洞察,激发更多的想法和讨论,促进技术的发展。

Tutorial大纲:

成为VIP会员查看完整内容
0
90
小贴士
相关论文
Ning Ma,Jiajun Bu,Jieyu Yang,Zhen Zhang,Chengwei Yao,Zhi Yu
14+阅读 · 3月18日
Yu Cao,Meng Fang,Baosheng Yu,Joey Tianyi Zhou
4+阅读 · 2019年11月13日
Sheng Shen,Zhen Dong,Jiayu Ye,Linjian Ma,Zhewei Yao,Amir Gholami,Michael W. Mahoney,Kurt Keutzer
3+阅读 · 2019年9月12日
Fast AutoAugment
Sungbin Lim,Ildoo Kim,Taesup Kim,Chiheon Kim,Sungwoong Kim
3+阅读 · 2019年5月1日
Huan Ling,Jun Gao,Amlan Kar,Wenzheng Chen,Sanja Fidler
11+阅读 · 2019年3月16日
Matthew MacKay,Paul Vicol,Jimmy Ba,Roger Grosse
3+阅读 · 2018年10月25日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Recurrent Fusion Network for Image Captioning
Wenhao Jiang,Lin Ma,Yu-Gang Jiang,Wei Liu,Tong Zhang
3+阅读 · 2018年7月31日
Convolutional Neural Networks for Aerial Multi-Label Pedestrian Detection
Amir Soleimani,Nasser M. Nasrabadi
11+阅读 · 2018年7月16日
Jonathan Long,Evan Shelhamer,Trevor Darrell
3+阅读 · 2015年3月8日
Top