来自DeepMind 的S. M. Ali Eslami · Irina Higgins · Danilo J. Rezende的ICML 2020教程-自监督学习,222页ppt,非常干货!

无标签表示学习,也称为无监督或自监督学习,正在取得重大进展。新的自监督学习方法在大规模基准测试中取得了接近甚至超过了完全监督技术的性能,如图像分类。因此,无标签表示学习最终开始解决现代深度学习中的一些主要挑战。然而,为了继续取得进步,系统地理解学习表示的性质以及产生这些表示的学习目标是很重要的。

成为VIP会员查看完整内容
0
51

相关内容

来自DeepMind研究人员Feryal Behbahani, Matt Hoffman 和 Bobak Shahriari讲解的强化学习教程。

成为VIP会员查看完整内容
0
23

题目: AlignNet: Unsupervised Entity Alignment

摘要:

最近开发的深度学习模型能够学会在无监督的情况下将场景分割为组件对象。这开辟了许多新颖的研究方法,允许代理将对象(或实体)作为输入,而不是像素。不幸的是,尽管这些模型提供了单个帧的出色分割效果,但它们无法跟踪在一个时间步长处分割的对象与在后一个时间步长处对应的对象如何对齐(或对齐)。对齐(或对应)问题阻碍了在下游任务中使用对象表示的进展。在本文中,采取了解决对准问题的步骤,提出了AlignNet(无监督对准模块)。

成为VIP会员查看完整内容
0
10

【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习计算机视觉。

继上一讲之后,DeepMind研究科学家Viorica Patraucean介绍了图像分类之外的经典计算机视觉任务(目标检测、语义分割、光流估计),并描述了每种任务的最新模型以及标准基准。她讨论了视频处理任务的类似模型,如动作识别、跟踪和相关挑战。她特别提到了最近提高视频处理效率的工作,包括使用强化学习的元素。接下来,她介绍了单模态和多模态(vision+audio, visio+language)自监督学习的各种设置,在这些设置中,大规模学习是有益的。最后,Viorica讨论了视觉中的开放问题,以及计算机视觉研究在构建智能代理这一更广泛目标中的作用。

成为VIP会员查看完整内容
0
43

无监督学习是机器学习的三个主要分支之一(以及监督学习和强化学习)。它也可以说是最不发达的分支。它的目标是通过发现和利用其隐藏结构来找到对输入数据的简约描述。据推测,与监督学习相比,这更让人联想到大脑的学习方式。此外,假设通过无监督学习发现的表示形式可以缓解深度监督和强化学习中的许多已知问题。但是,由于缺乏明确的ground-truth目标来优化,无监督学习的发展进展缓慢。在本次演讲中,DeepMind研究科学家Irina Higgins和DeepMind研究工程师Mihaela Rosca概述了无监督表示学习的历史作用以及开发和评估此类算法的困难。然后,他们将采取多学科的方法来思考什么可以做一个好的表示方法,以及为什么要这样做,然后再对无监督的表示学习的当前最新方法进行广泛的概述。

成为VIP会员查看完整内容
0
26

在过去几年里,注意力和记忆已经成为深度学习的两个重要的新组成部分。本讲座由DeepMind研究科学家Alex Graves讲授现在广泛使用的注意力机制,包括任何深度网络中的内隐注意力,以及离散和可区分的变体的显性注意力。然后讨论了具有外部记忆的网络,并解释了注意力是如何为他们提供选择性回忆的。它简要地回顾了Transformer,一种特别成功的注意力网络类型,最后看可变计算时间,这可以被视为一种形式的“注意力集中”。

地址:

https://ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在爱丁堡大学(University of Edinburgh)完成了理论物理学的理学学士学位,在剑桥大学(University of Cambridge)完成了数学的第三部分,在IDSIA与尤尔根·施米德胡贝尔(Jurgen Schmidhuber)一起完成了人工智能博士学位,之后在慕尼黑工业大学(technology University of Munich)和杰夫·辛顿(Geoff Hinton)一起完成了博士后学位。他现在是DeepMind的一名研究科学家。他的贡献包括用于序列标签的连接主义时态分类算法,随机梯度变分推理,神经图灵机/可微分神经计算机架构,以及用于强化学习的A2C算法。

关于讲座系列:

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中,深度学习已发展成为领先的人工智能范例,使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别,语音识别,语音合成,预测,科学计算,控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究,人机交互,通信,运输,保护,制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响,深度学习的先驱获得了2019年图灵奖,这是计算机领域的最高荣誉。

在本系列讲座中,来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座,内容涵盖了通过围绕记忆,注意力和生成建模的先进思想来训练神经网络的基础知识,以及重要的 负责任的创新主题。

深度学习注意力与记忆机制

成为VIP会员查看完整内容
0
76

【导读】小样本学习是一类重要的机器学习方法,旨在解决数据缺少的情况下如何训练模型的问题。在CVPR2020的Tutorial,来自valeo.ai的学者给了Spyros Gidaris关于小样本学习的最新教程报告。

在过去的几年里,基于深度学习的方法在图像理解问题上取得了令人印象深刻的效果,如图像分类、目标检测或语义分割。然而,真实字计算机视觉应用程序通常需要模型能够(a)通过很少的注释例子学习,(b)不断适应新的数据而不忘记之前的知识。不幸的是,经典的监督深度学习方法在设计时并没有考虑到这些需求。因此,计算机视觉的下一个重大挑战是开发能够解决这方面现有方法的重要缺陷的学习方法。本教程将介绍实现这一目标的可能方法。小样本学习(FSL)利用先验知识,可以快速地泛化到只包含少量有监督信息的样本的新任务中。

https://annotation-efficient-learning.github.io/

目录内容:

  • 概述
  • 小样本学习种类
  • 度量学习
  • 带记忆模块的元学习
  • 基于优化的元学习
  • 学习预测模型参数
  • 无遗忘小样本学习
  • 结论

成为VIP会员查看完整内容
0
88

借助现代的高容量模型,大数据已经推动了机器学习的许多领域的革命,但标准方法——从标签中进行监督学习,或从奖励功能中进行强化学习——已经成为瓶颈。即使数据非常丰富,获得明确指定模型必须做什么的标签或奖励也常常是棘手的。收集简单的类别标签进行分类对于数百万计的示例来说是不可能的,结构化输出(场景解释、交互、演示)要糟糕得多,尤其是当数据分布是非平稳的时候。

自监督学习是一个很有前途的替代方法,其中开发的代理任务允许模型和代理在没有明确监督的情况下学习,这有助于对感兴趣的任务的下游性能。自监督学习的主要好处之一是提高数据效率:用较少的标记数据或较少的环境步骤(在强化学习/机器人技术中)实现可比较或更好的性能。

自监督学习(self-supervised learning, SSL)领域正在迅速发展,这些方法的性能逐渐接近完全监督方法。

成为VIP会员查看完整内容
0
56

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。迁移学习近年来受到了非常大的关注,今年AAAI也有很多相关论文,这场Tutorial全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,还讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示,是一个非常全面的迁移表示学习总结,讲者最后也介绍了其未来发展趋势,值得研究者关注和收藏。

迁移表示学习最新进展

Recent Advances in Transferable Representation Learning

Tutorial 目标

本教程针对有兴趣将深度学习技术应用于跨域决策任务的AI研究人员和从业人员。这些任务包括涉及多语言和跨语言自然语言处理,特定领域知识以及不同数据模式的任务。本教程将为听众提供以下方面的整体观点:(i)针对未标记的文本,多关系和多媒体数据的多种表示学习方法;(ii)在有限的监督下跨多种表示对齐和迁移知识的技术;以及(iii)在自然语言理解,知识库和计算生物学中使用这些技术的大量AI应用程序。我们将通过概述该领域未来的研究方向来结束本教程。观众不需要有特定的背景知识。

概述

许多人工智能任务需要跨域决策。例如,许多NLP任务涉及跨多种语言的预测,其中可以将不同的语言视为不同的域;在人工智能辅助的生物医学研究中,药物副作用的预测常常与蛋白质和有机体相互作用的建模并行进行。为了支持机器学习模型来解决这种跨域任务,必须提取不同域中数据组件的特征和关系,并在统一的表示方案中捕获它们之间的关联。为了满足这一需求,表示学习的最新进展往往涉及到将不同域的未标记数据映射到共享嵌入空间。这样,跨域的知识迁移可以通过向量搭配或变换来实现。这种可迁移的表现形式在涉及跨域决策的一系列人工智能应用中取得了成功。然而,这一领域的前沿研究面临两大挑战。一是在学习资源很少的情况下如何有效地从特定领域中提取特性。另一个是在最少的监督下精确地对齐和传递知识,因为连接不同域的对齐信息常常是不充分和有噪声的。

在本教程中,我们将全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,我们还将讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示。我们还将比较域内嵌入算法和跨域对齐算法的改进和联合学习过程。此外,我们将讨论如何利用获得的可迁移表征来解决低资源和无标签的学习任务。参会者将了解本主题的最新趋势和挑战,了解代表性工具和学习资源以获取即用型模型,以及相关的模型和技术如何有益于现实世界AI应用程序。

讲者介绍

Muhao Chen目前是美国宾夕法尼亚大学研究生院博士后。他于2019年在加州大学洛杉矶分校获得了计算机科学博士学位。Muhao从事过机器学习和NLP方面的各种课题。他最近的研究也将相关技术应用于计算生物学。更多信息请访问http://muhaochen.github.io。

Kai-Wei Chang是加州大学洛杉矶分校计算机科学系的助理教授。他的研究兴趣包括为大型复杂数据设计鲁棒的机器学习方法,以及为社会公益应用程序构建语言处理模型。其他信息请访问http://kwchang.net。

Dan Roth是宾夕法尼亚大学CIS的Eduardo D. Glandt Distinguished Professor,也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然语言理解建模、机器学习和推理方面的重大概念和理论进展而被认可。更多信息可以参考:http://www.cis.upenn.edu/˜danroth /.

成为VIP会员查看完整内容
0
57
小贴士
相关论文
Ling Yang,Liangliang Li,Zilun Zhang, Zhou,Erjin Zhou,Yu Liu
6+阅读 · 3月31日
Emmanuel Bengio,Joelle Pineau,Doina Precup
6+阅读 · 3月13日
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
Mandana Saebi,Steven Krieg,Chuxu Zhang,Meng Jiang,Nitesh Chawla
4+阅读 · 3月12日
Graph Analysis and Graph Pooling in the Spatial Domain
Mostafa Rahmani,Ping Li
3+阅读 · 2019年10月3日
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Fred Hohman,Haekyu Park,Caleb Robinson,Duen Horng Chau
3+阅读 · 2019年9月2日
Megha Khosla,Avishek Anand,Vinay Setty
5+阅读 · 2019年3月19日
Daokun Zhang,Jie Yin,Xingquan Zhu,Chengqi Zhang
3+阅读 · 2019年1月14日
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
Yeah-Hua Wu,Fan-Yun Sun,Yen-Yu Chang,Should-De Lin
3+阅读 · 2018年9月6日
Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizer
David Berthelot,Colin Raffel,Aurko Roy,Ian Goodfellow
3+阅读 · 2018年7月19日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
7+阅读 · 2018年7月8日
Top