表示学习是通过利用训练数据来学习得到向量表示，这可以克服人工方法的局限性。 表示学习通常可分为两大类，无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器（如去噪自动编码器和稀疏自动编码器等）中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而，推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外，一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架，该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets，即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息，更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型，它们的目标是最大化类别之间的距离并最小化了类别内部的距离。
VIP内容
如何学习良好的潜在表示是现代机器学习时代的一个重要课题。对于强化学习，使用一个好的表示使决策过程更加有效。本次演讲，我将介绍我们的工作，构建基于任务的潜在操作空间，用于基于搜索的黑盒函数优化，寻找策略变更的表示，该表示支持在不完全信息协同博弈中联合策略搜索，以及不同的表示如何影响RL探索。
视频：
成为VIP会员查看完整内容
【视频】Yuandong Tian - Finding Good Representation for Search and Exploration in RL @ UCL DARK
热门内容
最新内容
最新论文
Recently, there has been great success in applying deep neural networks on graph structured data. Most work, however, focuses on either node- or graph-level supervised learning, such as node, link or graph classification or node-level unsupervised learning (e.g. node clustering). Despite its wide range of possible applications, graph-level unsupervised learning has not received much attention yet. This might be mainly attributed to the high representation complexity of graphs, which can be represented by n! equivalent adjacency matrices, where n is the number of nodes. In this work we address this issue by proposing a permutation-invariant variational autoencoder for graph structured data. Our proposed model indirectly learns to match the node ordering of input and output graph, without imposing a particular node ordering or performing expensive graph matching. We demonstrate the effectiveness of our proposed model on various graph reconstruction and generation tasks and evaluate the expressive power of extracted representations for downstream graph-level classification and regression.
