题目: Time2Vec: Learning a Vector Representation of Time

摘要:

在许多涉及同步或异步发生的事件的应用程序中,时间是一个重要的特性。为了有效地消耗时间信息,最近的研究集中于设计新的架构。在本文中,采用了一种正交但又互补的方法,提供了一种与模型无关的时间向量表示,称为Time2Vec,它可以很容易地导入到许多现有和未来的体系结构中并改进其性能。文中展示了一系列的模型和问题,用Time2Vec表示代替时间的概念可以提高最终模型的性能。

成为VIP会员查看完整内容
0
20

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Online Deep Clustering for Unsupervised Representation Learning

摘要:

联合聚类和特征学习方法在无监督表示学习中表现出了显著的效果。但是,特征聚类和网络参数更新训练计划的交替导致视觉表征学习的不稳定。为了克服这个挑战,我们提出在线深度集群(ODC),它可以同时执行集群和网络更新,而不是交替进行。关键见解是,聚类中心应该稳步发展,以保持分类器的稳定更新。具体来说,设计和维护了两个动态内存模块,即样本记忆用于存储样本标签和特征,中心记忆用于中心进化。我们将全局聚类分解为稳定的内存更新和成批的标签重新分配。该过程被集成到网络更新迭代中。通过这种方式,标签和网络齐头并进,而不是交替发展。大量的实验表明,ODC能够稳定训练过程,有效地提高训练性能。

成为VIP会员查看完整内容
0
44

主题: Learning Colour Representations of Search Queries

摘要: 图像搜索引擎依赖于适当设计的排名功能,这些功能可以捕获内容语义的各个方面以及历史上的流行。在这项工作中,我们考虑了色彩在相关性匹配过程中的作用。观察到很大一部分用户查询具有与之相关的固有颜色,这促使我们开展工作。虽然某些查询包含明确的颜色提及(例如“黑色汽车”和“黄色雏菊”),但其他查询却包含隐式的颜色概念(例如“天空”和“草”)。此外,颜色的基础查询不是到单一颜色的映射,而是颜色空间中的分布。例如,对“树”的搜索往往会在绿色和棕色之间形成双峰分布。我们利用历史点击数据为搜索查询生成颜色表示,并提出一种递归神经网络架构,将看不见的查询编码到颜色空间中。我们还展示了如何从印象日志中的交叉模式相关性排序器中学习该嵌入,在印象日志中单击了结果图像的子集。我们证明了查询图像颜色距离功能的使用可改善排名性能,该性能通过用户对点击图像和跳过图像的偏好来衡量。

成为VIP会员查看完整内容
0
8

主题: Learning Term Discrimination

摘要: 文档索引是有效信息检索(IR)的关键组件。经过诸如词干和停用词删除之类的预处理步骤之后,文档索引通常会存储term-frequencies(tf)。与tf(仅反映一个术语在文档中的重要性)一起,传统的IR模型使用诸如反文档频率(idf)之类的术语区分值(TDV)在检索过程中偏向于区分性术语。在这项工作中,我们建议使用浅层神经网络学习TDV,以进行文档索引,该浅层神经网络可以近似TF-IDF和BM25等传统的IR排名功能。我们的建议在nDCG和召回方面均优于传统方法,即使很少有带有正标签的查询文档对作为学习数据。我们学到的TDV用于过滤区分度为零的词汇,不仅可以显着降低倒排索引的内存占用量,而且可以加快检索过程(BM25的速度提高了3倍),而不会降低检索质量。

成为VIP会员查看完整内容
0
11

Human pose estimation - the process of recognizing human keypoints in a given image - is one of the most important tasks in computer vision and has a wide range of applications including movement diagnostics, surveillance, or self-driving vehicle. The accuracy of human keypoint prediction is increasingly improved thanks to the burgeoning development of deep learning. Most existing methods solved human pose estimation by generating heatmaps in which the ith heatmap indicates the location confidence of the ith keypoint. In this paper, we introduce novel network structures referred to as multiresolution representation learning for human keypoint prediction. At different resolutions in the learning process, our networks branch off and use extra layers to learn heatmap generation. We firstly consider the architectures for generating the multiresolution heatmaps after obtaining the lowest-resolution feature maps. Our second approach allows learning during the process of feature extraction in which the heatmaps are generated at each resolution of the feature extractor. The first and second approaches are referred to as multi-resolution heatmap learning and multi-resolution feature map learning respectively. Our architectures are simple yet effective, achieving good performance. We conducted experiments on two common benchmarks for human pose estimation: MS-COCO and MPII dataset.

0
4
下载
预览

我们常常希望将表征性知识从一个神经网络转移到另一个神经网络。例如,将一个大的网络提炼成一个较小的网络,将知识从一种感觉模态传递到另一种感觉模态,或者将一组模型集成到一个单独的估计器中。知识蒸馏是解决这些问题的标准方法,它最小化了教师和学生网络的概率输出之间的KL分歧。我们证明这一目标忽视了教师网络的重要结构知识。这激发了另一个目标,通过这个目标,我们训练学生从老师对数据的描述中获取更多的信息。我们把这个目标称为对比学习。实验表明,我们得到的新目标在各种知识转移任务(包括单模型压缩、集成蒸馏和跨模态转移)上的性能优于知识蒸馏和其他前沿蒸馏器。我们的方法在许多转移任务中设置了一个新的水平,有时甚至超过教师网络与知识蒸馏相结合。

成为VIP会员查看完整内容
0
34

机器学习应用在高风险领域(如刑事判决、医学测试、在线广告等)的流行,至关重要的是要确保这些决策支持系统不会传播历史数据中可能存在的现有偏见或歧视。一般来说,在算法公平文献中有两个关于公平的中心概念。第一个是个体公平,它要求公平的算法以相似的方式对待相似的个体。然而,在实践中,通常很难找到或设计一个社会可接受的距离度量来捕获个体之间关于特定任务的相似性。相反,在这篇博客文章中,我们关注的是公平的第二个概念,群体公平,更具体地说是统计上的平等,这本质上要求预测器的结果在不同的子群体中是平等的。

成为VIP会员查看完整内容
0
17

NeurIPS 2019(Neural Information Processing Systems)将在12月8日-14日在加拿大温哥华举行。NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。今天小编整理了表示学习相关论文。

  1. Self-attention with Functional Time Representation Learning

作者: Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan

摘要:在自然语言处理中,具有self-attention的序列模型已经取得了很好的效果。self-attention具有模型灵活性、计算复杂性和可解释性等优点,正逐渐成为事件序列模型的重要组成部分。然而,像大多数其他的序列模型一样,自我注意并不能解释事件之间的时间跨度,因此它捕捉的是序列信号而不是时间模式。在不依赖递归网络结构的情况下,self-attention通过位置编码来识别事件的顺序。为了弥补时间无关和时间相关事件序列建模之间的差距,我们引入了一个嵌入时间跨度到高维空间的功能特征映射。通过构造相关的平移不变时间核函数,揭示了经典函数函数分析结果下特征图的函数形式,即Bochner定理和Mercer定理。我们提出了几个模型来学习函数性时间表示以及与事件表示的交互。这些方法是在各种连续时间事件序列预测任务下对真实数据集进行评估的。实验结果表明,所提出的方法与基线模型相比,具有更好的性能,同时也能捕获有用的时间-事件交互。
论文链接:
https://papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning

  1. Large Scale Adversarial Representation Learning

作者:Jeff Donahue, Karen Simonyan

摘要:对抗训练生成模型(GANs)最近取得了引人注目的图像合成结果。GANs在无监督的表现学习中尽管在早期取得了的成功,但是它们已经被基于自监督的方法所取代。在这项工作中,我们证明了图像生成质量的进步转化为极大地改进了表示学习性能。我们的方法BigBiGAN建立在最先进的BigGAN模型之上,通过添加编码器和修改鉴别器将其扩展到表示学习。我们广泛地评估了这些BigBiGAN模型的表示学习和生成能力,证明了这些基于生成的模型在ImageNet的无监督表示学习方面达到了最新的水平,并在无条件生成图像方面取得了令人信服的结果。

论文链接: https://papers.nips.cc/paper/9240-large-scale-adversarial-representation-learning

  1. Rethinking Kernel Methods for Node Representation Learning on Graphs

作者:Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas

摘要:图核是度量图相似性的核心方法,是图分类的标准工具。然而,作为与图表示学习相关的一个问题,使用核方法进行节点分类仍然是不适定的,目前最先进的方法大多基于启发式。在这里,我们提出了一个新的基于核的节点分类理论框架,它可以弥补这两个图上表示学习问题之间的差距。我们的方法是由图核方法驱动的,但是扩展到学习捕获图中结构信息的节点表示。我们从理论上证明了我们的公式与任何半正定核一样强大。为了有效地学习内核,我们提出了一种新的节点特征聚合机制和在训练阶段使用的数据驱动的相似度度量。更重要的是,我们的框架是灵活的,并补充了其他基于图形的深度学习模型,如图卷积网络(GCNs)。我们在一些标准节点分类基准上对我们的方法进行了经验评估,并证明我们的模型设置了最新的技术状态。
论文链接: https://papers.nips.cc/paper/9342-rethinking-kernel-methods-for-node-representation-learning-on-graphs

  1. Continual Unsupervised Representation Learning

作者:Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

摘要:持续学习旨在提高现代学习系统处理非平稳分布的能力,通常是通过尝试按顺序学习一系列任务。该领域的现有技术主要考虑监督或强化学习任务,并经常假设对任务标签和边界有充分的认识。在这项工作中,我们提出了一种方法(CURL)来处理一个更普遍的问题,我们称之为无监督连续学习。重点是在不了解任务身份的情况下学习表示,我们将探索任务之间的突然变化、从一个任务到另一个任务的平稳过渡,甚至是数据重组时的场景。提出的方法直接在模型中执行任务推断,能够在其生命周期内动态扩展以捕获新概念,并结合其他基于排练的技术来处理灾难性遗忘。我们用MNIST和Omniglot演示了CURL在无监督学习环境中的有效性,在这种环境中,没有标签可以确保没有关于任务的信息泄露。此外,与现有技术相比,我们在i.i.中表现出了较强的性能。在i.i.d的设置下,或将该技术应用于监督任务(如渐进式课堂学习)时。 论文链接: https://papers.nips.cc/paper/8981-continual-unsupervised-representation-learning

  1. Unsupervised Scalable Representation Learning for Multivariate Time Series

作者: Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi

摘要:由于时间序列在实际应用中具有高度可变的长度和稀疏标记,因此对机器学习算法而言,时间序列是一种具有挑战性的数据类型。在本文中,我们提出了一种学习时间序列通用嵌入的无监督方法来解决这一问题。与以前的工作不同,它的长度是可伸缩的,我们通过深入实验和比较来展示学习表示的质量、可移植性和实用性。为此,我们将基于因果扩张卷积的编码器与基于时间负采样的新三重态损耗相结合,获得了可变长度和多元时间序列的通用表示。
论文链接: https://papers.nips.cc/paper/8713-unsupervised-scalable-representation-learning-for-multivariate-time-series

  1. A Refined Margin Distribution Analysis for Forest Representation Learning

作者:Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou

摘要:在本文中,我们将森林表示学习方法casForest作为一个加法模型,并证明当与边际标准差相对于边际均值的边际比率足够小时,泛化误差可以以O(ln m/m)为界。这激励我们优化比例。为此,我们设计了一种边际分布的权重调整方法,使深林模型的边际比较小。实验验证了边缘分布与泛化性能之间的关系。我们注意到,本研究从边缘理论的角度对casForest提供了一个新的理解,并进一步指导了逐层的森林表示学习。

论文链接: https://papers.nips.cc/paper/8791-a-refined-margin-distribution-analysis-for-forest-representation-learning

  1. Adversarial Fisher Vectors for Unsupervised Representation Learning

作者:Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind

摘要:我们通过基于深度能量的模型(EBMs)来研究生成对抗网络(GANs),目的是利用从这个公式推导出的密度模型。与传统的鉴别器在达到收敛时学习一个常数函数的观点不同,这里我们证明了它可以为后续的任务提供有用的信息,例如分类的特征提取。具体来说,在EBM公式中,鉴别器学习一个非归一化密度函数(即,负能量项),它描述了数据流形。我们建议通过从EBM中获得相应的Fisher分数和Fisher信息来评估生成器和鉴别器。我们证明了通过假设生成的示例形成了对学习密度的估计,费雪信息和归一化费雪向量都很容易计算。我们还证明了我们能够推导出例子之间和例子集之间的距离度量。我们进行的实验表明,在分类和感知相似性任务中,甘氏神经网络诱导的费雪向量作为无监督特征提取器表现出了竞争力。代码地址:https://github.com/apple/ml-afv。
论文链接: https://papers.nips.cc/paper/9295-adversarial-fisher-vectors-for-unsupervised-representation-learning

  1. vGraph: A Generative Model for Joint Community Detection and Node Representation Learning

作者:Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang

摘要:本文重点研究了图数据分析的两个基本任务:社区检测和节点表示学习,它们分别捕获图数据的全局结构和局部结构。在现有的文献中,这两个任务通常是独立研究的,但实际上是高度相关的。提出了一种协作学习社区成员和节点表示的概率生成模型vGraph。具体地说,我们假设每个节点都可以表示为群落的混合,并且每个群落都定义为节点上的多项分布。混合系数和群落分布均由节点和群落的低维表示参数化。我们设计了一种有效的变分推理算法,通过反向传播进行优化,使相邻节点的社区成员关系在潜在空间中相似。在多个真实图上的实验结果表明,vGraph在社区检测和节点表示学习两方面都非常有效,在两方面都优于许多有竞争力的基线。结果表明,该vGraph框架具有良好的灵活性,可以方便地扩展到层次社区的检测。
论文链接: https://papers.nips.cc/paper/8342-vgraph-a-generative-model-for-joint-community-detection-and-node-representation-learning

成为VIP会员查看完整内容
0
46

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
56
小贴士
相关资讯
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
26+阅读 · 2019年10月13日
学习 | word2vec的前世今生
菜鸟的机器学习
14+阅读 · 2018年3月21日
Representation Learning on Network 网络表示学习
全球人工智能
7+阅读 · 2017年10月19日
Representation Learning on Network 网络表示学习笔记
全球人工智能
3+阅读 · 2017年9月30日
Word2Vec还可以这样图解
人工智能头条
8+阅读 · 2017年8月23日
字词的向量表示
黑龙江大学自然语言处理实验室
3+阅读 · 2016年6月13日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
9+阅读 · 2015年8月3日
相关论文
Simple Multi-Resolution Representation Learning for Human Pose Estimation
Trung Q. Tran,Giang V. Nguyen,Daeyoung Kim
4+阅读 · 2020年4月14日
Learning by Abstraction: The Neural State Machine
Drew A. Hudson,Christopher D. Manning
5+阅读 · 2019年7月11日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
39+阅读 · 2019年6月15日
Aaron van den Oord,Yazhe Li,Oriol Vinyals
5+阅读 · 2019年1月22日
Bryan McCann,James Bradbury,Caiming Xiong,Richard Socher
5+阅读 · 2018年6月20日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
7+阅读 · 2018年5月15日
Ali Javidani,Ahmad Mahmoudi-Aznaveh
4+阅读 · 2018年3月14日
Yu Shi,Huan Gui,Qi Zhu,Lance Kaplan,Jiawei Han
4+阅读 · 2018年3月5日
Abdulaziz M. Alayba,Vasile Palade,Matthew England,Rahat Iqbal
3+阅读 · 2018年2月28日
Top