【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。迁移学习近年来受到了非常大的关注,今年AAAI也有很多相关论文,这场Tutorial全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,还讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示,是一个非常全面的迁移表示学习总结,讲者最后也介绍了其未来发展趋势,值得研究者关注和收藏。

迁移表示学习最新进展

Recent Advances in Transferable Representation Learning

Tutorial 目标

本教程针对有兴趣将深度学习技术应用于跨域决策任务的AI研究人员和从业人员。这些任务包括涉及多语言和跨语言自然语言处理,特定领域知识以及不同数据模式的任务。本教程将为听众提供以下方面的整体观点:(i)针对未标记的文本,多关系和多媒体数据的多种表示学习方法;(ii)在有限的监督下跨多种表示对齐和迁移知识的技术;以及(iii)在自然语言理解,知识库和计算生物学中使用这些技术的大量AI应用程序。我们将通过概述该领域未来的研究方向来结束本教程。观众不需要有特定的背景知识。

概述

许多人工智能任务需要跨域决策。例如,许多NLP任务涉及跨多种语言的预测,其中可以将不同的语言视为不同的域;在人工智能辅助的生物医学研究中,药物副作用的预测常常与蛋白质和有机体相互作用的建模并行进行。为了支持机器学习模型来解决这种跨域任务,必须提取不同域中数据组件的特征和关系,并在统一的表示方案中捕获它们之间的关联。为了满足这一需求,表示学习的最新进展往往涉及到将不同域的未标记数据映射到共享嵌入空间。这样,跨域的知识迁移可以通过向量搭配或变换来实现。这种可迁移的表现形式在涉及跨域决策的一系列人工智能应用中取得了成功。然而,这一领域的前沿研究面临两大挑战。一是在学习资源很少的情况下如何有效地从特定领域中提取特性。另一个是在最少的监督下精确地对齐和传递知识,因为连接不同域的对齐信息常常是不充分和有噪声的。

在本教程中,我们将全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,我们还将讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示。我们还将比较域内嵌入算法和跨域对齐算法的改进和联合学习过程。此外,我们将讨论如何利用获得的可迁移表征来解决低资源和无标签的学习任务。参会者将了解本主题的最新趋势和挑战,了解代表性工具和学习资源以获取即用型模型,以及相关的模型和技术如何有益于现实世界AI应用程序。

讲者介绍

Muhao Chen目前是美国宾夕法尼亚大学研究生院博士后。他于2019年在加州大学洛杉矶分校获得了计算机科学博士学位。Muhao从事过机器学习和NLP方面的各种课题。他最近的研究也将相关技术应用于计算生物学。更多信息请访问http://muhaochen.github.io。

Kai-Wei Chang是加州大学洛杉矶分校计算机科学系的助理教授。他的研究兴趣包括为大型复杂数据设计鲁棒的机器学习方法,以及为社会公益应用程序构建语言处理模型。其他信息请访问http://kwchang.net。

Dan Roth是宾夕法尼亚大学CIS的Eduardo D. Glandt Distinguished Professor,也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然语言理解建模、机器学习和推理方面的重大概念和理论进展而被认可。更多信息可以参考:http://www.cis.upenn.edu/˜danroth /.

成为VIP会员查看完整内容
0
77

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】CVPR2020workshop的视觉与语言研究,邀请了业界学者讲述了视觉语言之间的研究进展。来自微软和facebook的Licheng Yu, Yen-Chun Chen, Linjie Li讲述了自监督学习在视觉语言建模中的技术进展,共115页ppt,不容错过!

https://rohit497.github.io/Recent-Advances-in-Vision-and-Language-Research/

视觉和语言(V+L)研究是计算机视觉和自然语言处理之间联系的一个有趣的领域,并迅速吸引了这两个领域的关注。各种各样的V+L任务,以大规模的人类注释数据集为基准,已经推动了联合多模态表示学习的巨大进步。本教程将重点介绍该领域中最近流行的一些任务,如视觉描述、视觉基准、视觉问题回答和推理、文本到图像的生成以及通用图像-文本表示的自监督学习。我们将涵盖这些领域的最新方法,并讨论集中体现多模态理解、推理和生成的核心挑战和机遇的关键原则。

成为VIP会员查看完整内容
0
34

【导读】在最新AAAI2020的邀请嘉宾报告上,Facebook人工智能总监、图灵奖得主Yann Lecun给了自监督学习的报告《Self-Supervised Learning 》,44页ppt,介绍了深度学习面临的挑战,自监督学习的光明前景,基于能量学习的因变量模型,介绍最新自监督学习的进展与问题,是非常值得看的报告。

自监督学习 Self-Supervised Learning

计算机感知、语音识别和自然语言处理的最新进展几乎都是建立在有监督的深度学习的基础上的,在这种学习中,机器预测需要人类提供的标注。如今,DL系统已经成为搜索引擎和社交网络内容过滤和检索、医学图像分析、驾驶辅助以及许多科学领域的核心。但是,最好的机器学习方法仍然需要比人类和动物学习多得多的数据或与环境的交互。我们如何让机器像动物和人类一样,通过独立于任务的观察来学习关于世界如何运作的大量背景知识?一种有前途的方法是自监督学习(SSL),即机器从输入的其他部分预测输入的一部分。SSL已经在离散领域带来了巨大的进步,例如语言理解。问题是如何在音频、图像和视频等高维连续域中使用SSL。

成为VIP会员查看完整内容
0
120

简介: 许多人工智能任务需要跨域决策。例如,许多NLP任务涉及跨多种语言的预测,其中不同语言可以被视为不同的领域;在人工智能辅助的生物医学研究中,药物副作用的预测通常与蛋白质和生物体相互作用的建模并行。为了支持机器学习模型来解决这类跨域任务,需要提取不同域中数据组件的特征和关系,并在统一的表示方案中捕获它们之间的关联。针对这一需求,表示学习的最新进展往往涉及到将不同域的未标记数据映射到共享嵌入空间。这样,就可以通过向量配置或变换来实现跨领域的知识转移。这种可转移的表示在涉及跨域决策的一系列人工智能应用中取得了成功。然而,这一领域的前沿研究面临着两大挑战。一是在学习资源很少的情况下,有效地从特定领域提取特征。另一种方法是在最少的监督下精确地对齐和传输知识,因为连接在不同域之间的对齐信息常常是不足的和有噪声的。在本教程中,我们将全面回顾可转移表示学习方法的最新发展,重点是针对文本、多关系和多媒体数据的方法。除了介绍域内嵌入学习方法外,我们还将讨论各种半监督、弱监督、多视图和自监督学习技术,以连接多个特定域的嵌入表示。我们还将比较域内嵌入学习和跨域对齐学习的改进和联合学习过程。此外,我们将讨论如何利用获得的可转移表示来解决低资源和无标签的学习任务。参与者将了解本主题的最新趋势和新挑战,获得现成模型的代表性工具和学习资源,以及相关模型和技术如何有利于现实世界的人工智能应用。

主讲人简介: Muhao Chen,博士后。他于2019年获得加州大学洛杉矶分校计算机科学博士学位。他的研究重点是结构化和非结构化数据的数据驱动机器学习方法,并将其应用扩展到自然语言理解、知识库构建、计算生物学和医学信息学。特别是,他感兴趣的是开发具有概括性且需要最少监督的知识感知学习系统。他的工作在主要会议和期刊上发表了30多篇文章。他的论文研究获得了加州大学洛杉矶分校的论文奖学金。个人主页:https://muhaochen.github.io/

成为VIP会员查看完整内容
0
40

简介: 计算机视觉研究大多都集中在不重叠的目标对象上,然而,目标对象却不足以描述丰富的视觉知识,于是,研究者就通过语言特征来获取更多的信息。通过图片与文字叙述相结合的多模态信息融合来获取一个场景图谱。

场景要旨的吸引人的想法的困难在于,关于“要旨”的内容尚无共识。 场景中某些对象应至少是要点的一部分。必须将对象之间的某些关系编码为要点。 即使将所有物体都相同,所要表达的含义却不同。

图表示学习无处不在:

对具有独立对象和关系的特征进行学习,将获得一个场景图谱:

成为VIP会员查看完整内容
0
32

题目: Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends

简介: 传统上,语音处理研究将设计人工工程声学特征(特征工程)的任务与设计有效的机器学习(ML)模型以做出预测和分类决策的任务分离为一个独立的问题。这种方法有两个主要缺点:首先,手工进行的特征工程很麻烦并且需要人类知识。其次,设计的功能可能不是最适合当前目标的。这引发了语音社区中采用表示表达学习技术的最新趋势,该趋势可以自动学习输入信号的中间表示,从而更好地适应手头的任务,从而提高性能。表示学习的重要性随着深度学习(DL)的发展而增加,在深度学习中,表示学习更有用,对人类知识的依赖性更低,这有助于分类,预测等任务。本文的主要贡献在于:通过将跨三个不同研究领域(包括自动语音识别(ASR),说话者识别(SR)和说话者情绪识别(SER))的分散研究汇总在一起,对语音表示学习的不同技术进行了最新和全面的调查。最近针对ASR,SR和SER进行了语音复习,但是,这些复习都没有集中于从语音中学习表示法,这是我们调查旨在弥补的差距。

成为VIP会员查看完整内容
0
17

【导读】越来越明显的是,广泛采用的机器学习模型可能导致歧视性结果,并可能加剧训练数据之间的差异。随着越来越多的机器学习用于现实世界中的决策任务,必须解决机器学习中的偏见和公平问题。我们的动机是,在各种新兴方法中,表示学习为评估和潜在地减轻不公平现象提供了独特的工具集。本教程介绍了现有的研究,并提出了在表示学习和公平的交集中存在的开放性问题。我们将研究学习公平任务不可知表示的可能性(不可能性),公平性和泛化性能之间的联系,以及利用来自表示形式学习的工具来实现算法上的个人和群体公平性的机会。本教程旨在为广大的机器学习实践者提供帮助,并且必要的背景知识是预测性机器学习的工作知识。

作者介绍

Sanmi Koyejo,伊利诺伊大学香槟分校计算机科学系助理教授。

研究综述: 我们的研究兴趣是开发自适应鲁棒机器学习的原理和实践。最近的一些亮点包括:1)可伸缩的、分布式的和容错的机器学习;2)度量引出;通过人机交互选择更有效的机器学习指标。我们的应用研究主要集中在认知神经成像和生物医学成像方面。最近的一些重点包括①生物图像的生成模型,②时变脑电图的估计和分析。

http://sanmi.cs.illinois.edu/

成为VIP会员查看完整内容
0
32
小贴士
相关资讯
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 2020年1月2日
A Comprehensive Survey on Transfer Learning
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
79+阅读 · 2019年11月7日
Quan Wang,Pingping Huang,Haifeng Wang,Songtai Dai,Wenbin Jiang,Jing Liu,Yajuan Lyu,Yong Zhu,Hua Wu
5+阅读 · 2019年11月6日
Geometric Graph Convolutional Neural Networks
Przemysław Spurek,Tomasz Danel,Jacek Tabor,Marek Śmieja,Łukasz Struski,Agnieszka Słowik,Łukasz Maziarka
7+阅读 · 2019年9月11日
Meta-Transfer Learning for Few-Shot Learning
Qianru Sun,Yaoyao Liu,Tat-Seng Chua,Bernt Schiele
4+阅读 · 2018年12月6日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Peter Shaw,Jakob Uszkoreit,Ashish Vaswani
20+阅读 · 2018年4月12日
Haque Ishfaq,Assaf Hoogi,Daniel Rubin
3+阅读 · 2018年4月3日
Ahmet Iscen,Giorgos Tolias,Yannis Avrithis,Ondrej Chum
6+阅读 · 2018年3月29日
Andrew K. Lampinen,James L. McClelland
5+阅读 · 2017年10月27日
Top