NeurIPS 2019(Neural Information Processing Systems)将在12月8日-14日在加拿大温哥华举行。NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。今天小编整理了表示学习相关论文。

  1. Self-attention with Functional Time Representation Learning

作者: Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan

摘要:在自然语言处理中,具有self-attention的序列模型已经取得了很好的效果。self-attention具有模型灵活性、计算复杂性和可解释性等优点,正逐渐成为事件序列模型的重要组成部分。然而,像大多数其他的序列模型一样,自我注意并不能解释事件之间的时间跨度,因此它捕捉的是序列信号而不是时间模式。在不依赖递归网络结构的情况下,self-attention通过位置编码来识别事件的顺序。为了弥补时间无关和时间相关事件序列建模之间的差距,我们引入了一个嵌入时间跨度到高维空间的功能特征映射。通过构造相关的平移不变时间核函数,揭示了经典函数函数分析结果下特征图的函数形式,即Bochner定理和Mercer定理。我们提出了几个模型来学习函数性时间表示以及与事件表示的交互。这些方法是在各种连续时间事件序列预测任务下对真实数据集进行评估的。实验结果表明,所提出的方法与基线模型相比,具有更好的性能,同时也能捕获有用的时间-事件交互。
论文链接:
https://papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning

  1. Large Scale Adversarial Representation Learning

作者:Jeff Donahue, Karen Simonyan

摘要:对抗训练生成模型(GANs)最近取得了引人注目的图像合成结果。GANs在无监督的表现学习中尽管在早期取得了的成功,但是它们已经被基于自监督的方法所取代。在这项工作中,我们证明了图像生成质量的进步转化为极大地改进了表示学习性能。我们的方法BigBiGAN建立在最先进的BigGAN模型之上,通过添加编码器和修改鉴别器将其扩展到表示学习。我们广泛地评估了这些BigBiGAN模型的表示学习和生成能力,证明了这些基于生成的模型在ImageNet的无监督表示学习方面达到了最新的水平,并在无条件生成图像方面取得了令人信服的结果。

论文链接: https://papers.nips.cc/paper/9240-large-scale-adversarial-representation-learning

  1. Rethinking Kernel Methods for Node Representation Learning on Graphs

作者:Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas

摘要:图核是度量图相似性的核心方法,是图分类的标准工具。然而,作为与图表示学习相关的一个问题,使用核方法进行节点分类仍然是不适定的,目前最先进的方法大多基于启发式。在这里,我们提出了一个新的基于核的节点分类理论框架,它可以弥补这两个图上表示学习问题之间的差距。我们的方法是由图核方法驱动的,但是扩展到学习捕获图中结构信息的节点表示。我们从理论上证明了我们的公式与任何半正定核一样强大。为了有效地学习内核,我们提出了一种新的节点特征聚合机制和在训练阶段使用的数据驱动的相似度度量。更重要的是,我们的框架是灵活的,并补充了其他基于图形的深度学习模型,如图卷积网络(GCNs)。我们在一些标准节点分类基准上对我们的方法进行了经验评估,并证明我们的模型设置了最新的技术状态。
论文链接: https://papers.nips.cc/paper/9342-rethinking-kernel-methods-for-node-representation-learning-on-graphs

  1. Continual Unsupervised Representation Learning

作者:Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

摘要:持续学习旨在提高现代学习系统处理非平稳分布的能力,通常是通过尝试按顺序学习一系列任务。该领域的现有技术主要考虑监督或强化学习任务,并经常假设对任务标签和边界有充分的认识。在这项工作中,我们提出了一种方法(CURL)来处理一个更普遍的问题,我们称之为无监督连续学习。重点是在不了解任务身份的情况下学习表示,我们将探索任务之间的突然变化、从一个任务到另一个任务的平稳过渡,甚至是数据重组时的场景。提出的方法直接在模型中执行任务推断,能够在其生命周期内动态扩展以捕获新概念,并结合其他基于排练的技术来处理灾难性遗忘。我们用MNIST和Omniglot演示了CURL在无监督学习环境中的有效性,在这种环境中,没有标签可以确保没有关于任务的信息泄露。此外,与现有技术相比,我们在i.i.中表现出了较强的性能。在i.i.d的设置下,或将该技术应用于监督任务(如渐进式课堂学习)时。 论文链接: https://papers.nips.cc/paper/8981-continual-unsupervised-representation-learning

  1. Unsupervised Scalable Representation Learning for Multivariate Time Series

作者: Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi

摘要:由于时间序列在实际应用中具有高度可变的长度和稀疏标记,因此对机器学习算法而言,时间序列是一种具有挑战性的数据类型。在本文中,我们提出了一种学习时间序列通用嵌入的无监督方法来解决这一问题。与以前的工作不同,它的长度是可伸缩的,我们通过深入实验和比较来展示学习表示的质量、可移植性和实用性。为此,我们将基于因果扩张卷积的编码器与基于时间负采样的新三重态损耗相结合,获得了可变长度和多元时间序列的通用表示。
论文链接: https://papers.nips.cc/paper/8713-unsupervised-scalable-representation-learning-for-multivariate-time-series

  1. A Refined Margin Distribution Analysis for Forest Representation Learning

作者:Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou

摘要:在本文中,我们将森林表示学习方法casForest作为一个加法模型,并证明当与边际标准差相对于边际均值的边际比率足够小时,泛化误差可以以O(ln m/m)为界。这激励我们优化比例。为此,我们设计了一种边际分布的权重调整方法,使深林模型的边际比较小。实验验证了边缘分布与泛化性能之间的关系。我们注意到,本研究从边缘理论的角度对casForest提供了一个新的理解,并进一步指导了逐层的森林表示学习。

论文链接: https://papers.nips.cc/paper/8791-a-refined-margin-distribution-analysis-for-forest-representation-learning

  1. Adversarial Fisher Vectors for Unsupervised Representation Learning

作者:Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind

摘要:我们通过基于深度能量的模型(EBMs)来研究生成对抗网络(GANs),目的是利用从这个公式推导出的密度模型。与传统的鉴别器在达到收敛时学习一个常数函数的观点不同,这里我们证明了它可以为后续的任务提供有用的信息,例如分类的特征提取。具体来说,在EBM公式中,鉴别器学习一个非归一化密度函数(即,负能量项),它描述了数据流形。我们建议通过从EBM中获得相应的Fisher分数和Fisher信息来评估生成器和鉴别器。我们证明了通过假设生成的示例形成了对学习密度的估计,费雪信息和归一化费雪向量都很容易计算。我们还证明了我们能够推导出例子之间和例子集之间的距离度量。我们进行的实验表明,在分类和感知相似性任务中,甘氏神经网络诱导的费雪向量作为无监督特征提取器表现出了竞争力。代码地址:https://github.com/apple/ml-afv。
论文链接: https://papers.nips.cc/paper/9295-adversarial-fisher-vectors-for-unsupervised-representation-learning

  1. vGraph: A Generative Model for Joint Community Detection and Node Representation Learning

作者:Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang

摘要:本文重点研究了图数据分析的两个基本任务:社区检测和节点表示学习,它们分别捕获图数据的全局结构和局部结构。在现有的文献中,这两个任务通常是独立研究的,但实际上是高度相关的。提出了一种协作学习社区成员和节点表示的概率生成模型vGraph。具体地说,我们假设每个节点都可以表示为群落的混合,并且每个群落都定义为节点上的多项分布。混合系数和群落分布均由节点和群落的低维表示参数化。我们设计了一种有效的变分推理算法,通过反向传播进行优化,使相邻节点的社区成员关系在潜在空间中相似。在多个真实图上的实验结果表明,vGraph在社区检测和节点表示学习两方面都非常有效,在两方面都优于许多有竞争力的基线。结果表明,该vGraph框架具有良好的灵活性,可以方便地扩展到层次社区的检测。
论文链接: https://papers.nips.cc/paper/8342-vgraph-a-generative-model-for-joint-community-detection-and-node-representation-learning

成为VIP会员查看完整内容
0
46

相关内容

NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。NeurIPS 2019大会将在12月8日-14日在加拿大温哥华举行。据官方统计消息,NeurIPS今年共收到投稿6743篇,其中接收论文1428篇,接收率21.1%。官网地址:https://neurips.cc/

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

主题: Learning Colour Representations of Search Queries

摘要: 图像搜索引擎依赖于适当设计的排名功能,这些功能可以捕获内容语义的各个方面以及历史上的流行。在这项工作中,我们考虑了色彩在相关性匹配过程中的作用。观察到很大一部分用户查询具有与之相关的固有颜色,这促使我们开展工作。虽然某些查询包含明确的颜色提及(例如“黑色汽车”和“黄色雏菊”),但其他查询却包含隐式的颜色概念(例如“天空”和“草”)。此外,颜色的基础查询不是到单一颜色的映射,而是颜色空间中的分布。例如,对“树”的搜索往往会在绿色和棕色之间形成双峰分布。我们利用历史点击数据为搜索查询生成颜色表示,并提出一种递归神经网络架构,将看不见的查询编码到颜色空间中。我们还展示了如何从印象日志中的交叉模式相关性排序器中学习该嵌入,在印象日志中单击了结果图像的子集。我们证明了查询图像颜色距离功能的使用可改善排名性能,该性能通过用户对点击图像和跳过图像的偏好来衡量。

成为VIP会员查看完整内容
0
8

题目: Time2Vec: Learning a Vector Representation of Time

摘要:

在许多涉及同步或异步发生的事件的应用程序中,时间是一个重要的特性。为了有效地消耗时间信息,最近的研究集中于设计新的架构。在本文中,采用了一种正交但又互补的方法,提供了一种与模型无关的时间向量表示,称为Time2Vec,它可以很容易地导入到许多现有和未来的体系结构中并改进其性能。文中展示了一系列的模型和问题,用Time2Vec表示代替时间的概念可以提高最终模型的性能。

成为VIP会员查看完整内容
0
19

最近的研究表明,预训练文本表示能够显著提高许多自然语言处理任务的性能。训练的中心目标是学习对后续任务有用的文本表示形式。然而,现有的方法是通过最小化代理目标(如语言建模的负日志可能性)来优化的。在这项工作中,我们介绍了一个学习算法,它直接优化模型学习文本表示的能力,以有效地学习下游任务。我们证明了多任务预训练和模型不可知的元学习之间有着内在的联系。BERT中采用的标准多任务学习目标是元训练深度为零的学习算法的一个特例。我们在两种情况下研究了这个问题:无监督的预训练和有监督的预训练,不同的预训练对象验证了我们的方法的通用性。实验结果表明,我们的算法对各种下游任务进行了改进,获得了更好的初始化。

成为VIP会员查看完整内容
0
29

题目: CURL: Contrastive Unsupervised Representations for Reinforcement Learning

摘要:

我们提出了CURL:用于强化学习的对比无监督表示法。CURL使用对比学习从原始像素中提取高级特征,并在提取的特征之上执行off-policy控制。在DeepMind控制套件和Atari游戏中,在100K交互步骤基准测试中,CURL在复杂任务上的表现优于先前基于模型和非模型的基于像素的方法,分别提高了2.8倍和1.6倍的性能。在DeepMind控制套件中,CURL是第一个基于图像的算法,它的效率和性能几乎与使用基于状态的特性的方法不相上下。

成为VIP会员查看完整内容
0
13

机器学习应用在高风险领域(如刑事判决、医学测试、在线广告等)的流行,至关重要的是要确保这些决策支持系统不会传播历史数据中可能存在的现有偏见或歧视。一般来说,在算法公平文献中有两个关于公平的中心概念。第一个是个体公平,它要求公平的算法以相似的方式对待相似的个体。然而,在实践中,通常很难找到或设计一个社会可接受的距离度量来捕获个体之间关于特定任务的相似性。相反,在这篇博客文章中,我们关注的是公平的第二个概念,群体公平,更具体地说是统计上的平等,这本质上要求预测器的结果在不同的子群体中是平等的。

成为VIP会员查看完整内容
0
16

题目: Representation Learning on Graphs: Methods and Applications

摘要:

图机器学习是一项重要且普遍存在的任务,其应用范围从药物设计到社交网络中的友情推荐。这个领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型能够轻松地利用它。传统上,机器学习方法依赖于用户定义的启发法来提取对图的结构信息进行编码的特征(例如,度统计或内核函数)。然而,近年来,使用基于深度学习和非线性降维的技术,自动学习将图结构编码为低维嵌入的方法激增。在这里,我们提供了一个概念上的回顾,在这一领域的关键进展,图表示学习,包括基于矩阵分解的方法,随机漫步的算法和图神经网络。我们回顾了嵌入单个节点的方法以及嵌入整个(子)图的方法。在此过程中,我们开发了一个统一的框架来描述这些最近的方法,并强调了一些重要的应用程序和未来工作的方向。

作者简介:

William L. Hamilton是麦吉尔大学计算机科学的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton开发的机器学习模型可以对这个复杂的、相互联系的世界进行推理。研究兴趣集中在机器学习、网络科学和自然语言处理的交叉领域,目前的重点是快速发展的图表示学习和图神经网络。

Rex Ying是斯坦福大学计算机科学二年级的博士生,研究主要集中在开发应用于图形结构数据的机器学习算法。曾致力于开发可扩展到网络规模数据集的广义图卷积网络,应用于推荐系统、异常检测和生物学。

成为VIP会员查看完整内容
0
97

题目: Network Representation Learning: A Survey

摘要:

随着信息技术的广泛应用,信息网络越来越受到人们的欢迎,它可以捕获各种学科之间的复杂关系,如社交网络、引用网络、电信网络和生物网络。对这些网络的分析揭示了社会生活的不同方面,如社会结构、信息传播和交流模式。然而,在现实中,大规模的信息网络往往使网络分析任务计算昂贵或难以处理。网络表示学习是近年来提出的一种新的学习范式,通过保留网络拓扑结构、顶点内容和其它边信息,将网络顶点嵌入到低维向量空间中。这有助于在新的向量空间中方便地处理原始网络,以便进行进一步的分析。在这项调查中,我们全面回顾了目前在数据挖掘和机器学习领域的网络表示学习的文献。我们提出了新的分类法来分类和总结最先进的网络表示学习技术,根据潜在的学习机制、要保留的网络信息、以及算法设计和方法。我们总结了用于验证网络表示学习的评估协议,包括已发布的基准数据集、评估方法和开源算法。我们还进行了实证研究,以比较代表性的算法对常见数据集的性能,并分析其计算复杂性。最后,我们提出有希望的研究方向,以促进未来的研究。

作者简介:

Xingquan Zhu是佛罗里达大西洋大学计算机与电气工程和计算机科学系的教授,在中国上海复旦大学获得了计算机科学博士学位。曾在多家研究机构和大学工作过,包括微软亚洲研究院(实习)、普渡大学、佛蒙特大学和悉尼科技大学。主要研究方向:数据挖掘、机器学习、多媒体系统、生物信息学。

成为VIP会员查看完整内容
0
55

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
56
小贴士
相关VIP内容
相关资讯
图数据表示学习综述论文
专知
30+阅读 · 2019年6月10日
无监督元学习表示学习
CreateAMind
20+阅读 · 2019年1月4日
AAAI 2018 行为识别论文概览
极市平台
15+阅读 · 2018年3月20日
Representation Learning on Network 网络表示学习
全球人工智能
7+阅读 · 2017年10月19日
Representation Learning on Network 网络表示学习笔记
全球人工智能
3+阅读 · 2017年9月30日
相关论文
Aravind Srinivas,Michael Laskin,Pieter Abbeel
10+阅读 · 2020年4月28日
Financial Time Series Representation Learning
Philippe Chatigny,Jean-Marc Patenaude,Shengrui Wang
8+阅读 · 2020年3月27日
Ting Chen,Simon Kornblith,Mohammad Norouzi,Geoffrey Hinton
15+阅读 · 2020年2月13日
Guanglin Niu,Yongfei Zhang,Bo Li,Peng Cui,Si Liu,Jingyang Li,Xiaowei Zhang
7+阅读 · 2019年12月28日
Alexis Conneau,Kartikay Khandelwal,Naman Goyal,Vishrav Chaudhary,Guillaume Wenzek,Francisco Guzmán,Edouard Grave,Myle Ott,Luke Zettlemoyer,Veselin Stoyanov
4+阅读 · 2019年11月5日
Continual Unsupervised Representation Learning
Dushyant Rao,Francesco Visin,Andrei A. Rusu,Yee Whye Teh,Razvan Pascanu,Raia Hadsell
5+阅读 · 2019年10月31日
Domain Representation for Knowledge Graph Embedding
Cunxiang Wang,Feiliang Ren,Zhichao Lin,Chenxv Zhao,Tian Xie,Yue Zhang
9+阅读 · 2019年9月11日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
38+阅读 · 2019年6月15日
Aaron van den Oord,Yazhe Li,Oriol Vinyals
5+阅读 · 2019年1月22日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
5+阅读 · 2018年5月23日
Top