理想情况下,我们希望将两个几何对象插入到一个函数中,然后通过函数来说明它们之间的相似性。这将允许我们回答关于下游应用程序中几何数据的不同层次上的各种问题。然而,对于高级任务,如计算样式相似度或三维形状之间的顶点到顶点映射,直接在原始几何数据上进行这些操作是困难的,因为更抽象的任务需要更结构化的聚合信息。实现这种相似性函数的一种方法是首先计算这些数据到嵌入空间的映射,从而对不同几何元素之间的有意义的关系进行编码,例如在风格上,更相似的形状嵌入得更紧密。通过利用这个嵌入空间,我们可以计算并输出相似度度量。然而,手工构建保存这些属性的映射是很困难的,因为为越来越抽象的任务制定显式规则或模型变得越来越具有挑战性。因此,我们使用了由人类提供的与任务相关的元信息的几何数据集合。这允许我们通过使用神经网络灵活地制定地图计算,而不用对映射图本身的形式做太多假设。为了从广泛可用的机器学习技术中获益,我们必须首先考虑如何选择合适的几何数据表示作为各种学习模型的输入。具体来说,根据数据源的可用性和任务的特定需求,我们从图像、点云和三角形网格计算嵌入。一旦我们找到了对输入进行编码的合适方法,我们就会探索不同的方法来塑造学习到的中间域(嵌入),这超越了直接的基于分类分布的交叉熵最小化方法。

https://sites.google.com/view/geometry-learning-foundation/schedule#h.p_am99P6ELk_gL

成为VIP会员查看完整内容
0
22

相关内容

在观看视频时,视觉事件的发生往往伴随着声音事件,如唇动的声音,乐器演奏的音乐。视听事件之间存在着一种潜在的相关性,通过解决视听同步的代理任务,可以将其作为自监督信息来训练神经网络。在本文中,我们提出了一种新的带有共同注意力机制的自监督框架来学习无标记视频中的通用跨模态表示,并进一步使下游任务受益。具体而言,我们探讨了三个不同的共注意模块,以关注与声音相关的区分视觉区域,并介绍它们之间的相互作用。实验表明,与现有方法相比,我们的模型在参数较少的情况下,取得了较好的效果。为了进一步评估我们方法的可推广性和可迁移性,我们将预训练的模型应用于两个下游任务,即声源定位和动作识别。大量的实验表明,我们的模型可以提供与其他自监督方法竞争的结果,也表明我们的方法可以处理具有挑战性的场景包含多个声源。

https://arxiv.org/abs/2008.05789

成为VIP会员查看完整内容
0
18

生成式模型是以图模型和概率编程语言中的概率推理的重要范式。神经网络对这些模型的参数化和基于梯度的随机优化技术的进步使得高维数据的可扩展建模成为可能。

本教程的前半部分将全面回顾深度生成模型的主要家族,包括生成对抗网络、变分自编码器、标准化流和自回归模型。对于每一个模型,我们将讨论概率公式,学习算法,以及与其他模型的关系。本教程的后半部分将演示在科学发现中使用深度生成模型的方法,例如材料和药物发现、压缩感知等等。最后,我们将讨论该领域目前的挑战和未来研究的前景。

https://dl4sci-school.lbl.gov/agenda

成为VIP会员查看完整内容
0
22

印尼机器学习暑期学校(MLSS- indo)是MLSS系列(MLSS .cc)的一部分,该系列于2002年在德国图宾根的马普智能系统研究所启动。这是一个为期7天的活动,参与者有机会学习更多的基础知识和当前的艺术在机器学习和深度学习,包括相关应用的数据科学,计算机视觉,和自然语言处理。

https://mlss.telkomuniversity.ac.id/

内容目录:

  • 深度学习
  • 梯度消失问题
  • 学习理论
  • 神经架构
成为VIP会员查看完整内容
0
31

本文推荐来自Emanuele Rodolà博士讲述《几何深度学习》,100页ppt系统性讲述了几何深度学习基础知识和最新进展,非常干货。 http://lcsl.mit.edu/courses/regml/regml2020/

几何深度学习

过去十年在计算机视觉研究已经见证了“深度学习”的重新崛起,特别是卷积神经网络(CNN)技术, 它允许从大量的样例中学习强大的图像特征表示。CNNs在图像分类、分割、检测和标注等广泛的应用中取得了性能上的突破。然而,当试图将CNN范式应用于三维形状、点云和图形(基于特征的描述、相似度、对应、检索等)时,必须面对图像与几何对象之间的根本差异。形状分析、图形分析和几何处理带来了图像分析中不存在的新挑战,而深度学习方法直到最近才开始渗透到这些领域。本教程的目的是概述非欧几里得数据学习技术的基础和目前的技术现状。本教程将特别关注应用于欧氏和非欧氏流形的深度学习技术(CNN),以完成形状分类、检索和对应的任务。本教程将从新的角度介绍3D计算机视觉和几何数据处理的问题,强调与传统2D设置的类比和区别,并展示如何适应流行的学习方案,以处理非欧几里得结构。

成为VIP会员查看完整内容
0
40

多模态信息抽取,Multi-modal Information Extraction from Text, Semi-structured, and Tabular Data on the Web

Organizers: Xin Luna Dong, Hannaneh Hajishirzi, Colin Lockard and Prashant Shiralkar

万维网以多种形式包含大量的文本信息:非结构化文本、基于模板的半结构化网页(以键-值对和列表的形式呈现数据)和表格。从这些资源中提取信息并将其转换为结构化形式的方法一直是自然语言处理(NLP)、数据挖掘和数据库社区研究的目标。虽然这些研究人员已经很大程度上根据数据的模态将web数据的提取分离到不同的问题中,但他们也面临着类似的问题,比如使用有限的标记数据进行学习,定义(或避免定义)本体,利用先验知识,以及针对web规模的缩放解决方案。在本教程中,我们将从整体的角度来看待信息抽取,探索挑战中的共性,以及为解决这些不同形式的文本而开发的解决方案。

地址:

https://sites.google.com/view/acl-2020-multi-modal-ie

成为VIP会员查看完整内容
0
56

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
92

【导读】Yann Lecun在纽约大学开设的2020春季《深度学习》课程,干货满满。最新的一期是来自Facebook AI的研究科学家Ishan Misra讲述了计算机视觉中的自监督学习最新进展,108页ppt,很不错报告。

在过去的十年中,许多不同的计算机视觉问题的主要成功方法之一是通过对ImageNet分类进行监督学习来学习视觉表示。并且,使用这些学习的表示,或学习的模型权值作为其他计算机视觉任务的初始化,在这些任务中可能没有大量的标记数据。

但是,为ImageNet大小的数据集获取注释是非常耗时和昂贵的。例如:ImageNet标记1400万张图片需要大约22年的人类时间。

因此,社区开始寻找替代的标记过程,如社交媒体图像的hashtags、GPS定位或自我监督方法,其中标签是数据样本本身的属性。

什么是自监督学习?

定义自我监督学习的两种方式:

  • 基础监督学习的定义,即网络遵循监督学习,标签以半自动化的方式获得,不需要人工输入。

  • 预测问题,其中一部分数据是隐藏的,其余部分是可见的。因此,其目的要么是预测隐藏数据,要么是预测隐藏数据的某些性质。

自监督学习与监督学习和非监督学习的区别:

  • 监督学习任务有预先定义的(通常是人为提供的)标签,

  • 无监督学习只有数据样本,没有任何监督、标记或正确的输出。

  • 自监督学习从给定数据样本的共现形式或数据样本本身的共现部分派生出其标签。

自然语言处理中的自监督学习

Word2Vec

  • 给定一个输入句子,该任务涉及从该句子中预测一个缺失的单词,为了构建文本前的任务,该任务特意省略了该单词。

  • 因此,这组标签变成了词汇表中所有可能的单词,而正确的标签是句子中省略的单词。

  • 因此,可以使用常规的基于梯度的方法对网络进行训练,以学习单词级表示。

为什么自监督学习

自监督学习通过观察数据的不同部分如何交互来实现数据的学习表示。从而减少了对大量带注释数据的需求。此外,可以利用可能与单个数据样本相关联的多个模式。

计算机视觉中的自我监督学习

通常,使用自监督学习的计算机视觉管道涉及执行两个任务,一个前置任务和一个下游任务。

  • 下游任务可以是任何类似分类或检测任务的任务,但是没有足够的带注释的数据样本。

  • Pre-text task是为学习视觉表象而解决的自监督学习任务,其目的是利用所学习的表象,或下游任务在过程中获得的模型权值。

发展Pre-text任务

  • 针对计算机视觉问题的文本前任务可以使用图像、视频或视频和声音来开发。

  • 在每个pre-text任务中,都有部分可见和部分隐藏的数据,而任务则是预测隐藏的数据或隐藏数据的某些属性。

下载链接: 链接: https://pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取码: ek7i

成为VIP会员查看完整内容
0
97

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。迁移学习近年来受到了非常大的关注,今年AAAI也有很多相关论文,这场Tutorial全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,还讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示,是一个非常全面的迁移表示学习总结,讲者最后也介绍了其未来发展趋势,值得研究者关注和收藏。

迁移表示学习最新进展

Recent Advances in Transferable Representation Learning

Tutorial 目标

本教程针对有兴趣将深度学习技术应用于跨域决策任务的AI研究人员和从业人员。这些任务包括涉及多语言和跨语言自然语言处理,特定领域知识以及不同数据模式的任务。本教程将为听众提供以下方面的整体观点:(i)针对未标记的文本,多关系和多媒体数据的多种表示学习方法;(ii)在有限的监督下跨多种表示对齐和迁移知识的技术;以及(iii)在自然语言理解,知识库和计算生物学中使用这些技术的大量AI应用程序。我们将通过概述该领域未来的研究方向来结束本教程。观众不需要有特定的背景知识。

概述

许多人工智能任务需要跨域决策。例如,许多NLP任务涉及跨多种语言的预测,其中可以将不同的语言视为不同的域;在人工智能辅助的生物医学研究中,药物副作用的预测常常与蛋白质和有机体相互作用的建模并行进行。为了支持机器学习模型来解决这种跨域任务,必须提取不同域中数据组件的特征和关系,并在统一的表示方案中捕获它们之间的关联。为了满足这一需求,表示学习的最新进展往往涉及到将不同域的未标记数据映射到共享嵌入空间。这样,跨域的知识迁移可以通过向量搭配或变换来实现。这种可迁移的表现形式在涉及跨域决策的一系列人工智能应用中取得了成功。然而,这一领域的前沿研究面临两大挑战。一是在学习资源很少的情况下如何有效地从特定领域中提取特性。另一个是在最少的监督下精确地对齐和传递知识,因为连接不同域的对齐信息常常是不充分和有噪声的。

在本教程中,我们将全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,我们还将讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示。我们还将比较域内嵌入算法和跨域对齐算法的改进和联合学习过程。此外,我们将讨论如何利用获得的可迁移表征来解决低资源和无标签的学习任务。参会者将了解本主题的最新趋势和挑战,了解代表性工具和学习资源以获取即用型模型,以及相关的模型和技术如何有益于现实世界AI应用程序。

讲者介绍

Muhao Chen目前是美国宾夕法尼亚大学研究生院博士后。他于2019年在加州大学洛杉矶分校获得了计算机科学博士学位。Muhao从事过机器学习和NLP方面的各种课题。他最近的研究也将相关技术应用于计算生物学。更多信息请访问http://muhaochen.github.io。

Kai-Wei Chang是加州大学洛杉矶分校计算机科学系的助理教授。他的研究兴趣包括为大型复杂数据设计鲁棒的机器学习方法,以及为社会公益应用程序构建语言处理模型。其他信息请访问http://kwchang.net。

Dan Roth是宾夕法尼亚大学CIS的Eduardo D. Glandt Distinguished Professor,也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然语言理解建模、机器学习和推理方面的重大概念和理论进展而被认可。更多信息可以参考:http://www.cis.upenn.edu/˜danroth /.

成为VIP会员查看完整内容
0
74
小贴士
相关VIP内容
专知会员服务
31+阅读 · 2020年8月5日
专知会员服务
56+阅读 · 2020年7月6日
专知会员服务
92+阅读 · 2020年5月22日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
9+阅读 · 2019年11月19日
相关资讯
图数据表示学习综述论文
专知
29+阅读 · 2019年6月10日
图卷积网络介绍及进展【附PPT与视频资料】
人工智能前沿讲习班
19+阅读 · 2019年1月3日
通过视频着色进行自监督跟踪
谷歌开发者
3+阅读 · 2018年7月11日
基于二进制哈希编码快速学习的快速图像检索
炼数成金订阅号
6+阅读 · 2018年5月17日
相关论文
Jointly Modeling Aspect and Sentiment with Dynamic Heterogeneous Graph Neural Networks
Shu Liu,Wei Li,Yunfang Wu,Qi Su,Xu Sun
7+阅读 · 2020年4月14日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
33+阅读 · 2019年6月15日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
4+阅读 · 2019年5月17日
Confidence-based Graph Convolutional Networks for Semi-Supervised Learning
Shikhar Vashishth,Prateek Yadav,Manik Bhandari,Partha Talukdar
3+阅读 · 2019年2月12日
Aaron van den Oord,Yazhe Li,Oriol Vinyals
5+阅读 · 2019年1月22日
Graph Neural Networks: A Review of Methods and Applications
Jie Zhou,Ganqu Cui,Zhengyan Zhang,Cheng Yang,Zhiyuan Liu,Maosong Sun
61+阅读 · 2018年12月20日
Ayush Tewari,Florian Bernard,Pablo Garrido,Gaurav Bharaj,Mohamed Elgharib,Hans-Peter Seidel,Patrick Pérez,Michael Zollhöfer,Christian Theobalt
5+阅读 · 2018年12月18日
Semantics of Data Mining Services in Cloud Computing
Manuel Parra-Royon,Ghislain Atemezing,J. M. Benítez
3+阅读 · 2018年10月5日
Improving Information Extraction from Images with Learned Semantic Models
Stephan Baier,Yunpu Ma,Volker Tresp
5+阅读 · 2018年8月27日
Antoine Miech,Ivan Laptev,Josef Sivic
3+阅读 · 2018年3月5日
Top