We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a black-box differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly trade numerical precision for speed. We demonstrate these properties in continuous-depth residual networks and continuous-time latent variable models. We also construct continuous normalizing flows, a generative model that can train by maximum likelihood, without partitioning or ordering the data dimensions. For training, we show how to scalably backpropagate through any ODE solver, without access to its internal operations. This allows end-to-end training of ODEs within larger models.


翻译:我们引入了一个由深神经网络模型组成的新组合。 我们不指定隐藏层的离散序列,而是使用神经网络对隐藏状态的衍生物进行参数化。 网络的输出使用黑盒差异方程式求解器计算。 这些连续深度模型具有恒定的内存成本, 根据每个输入量调整其评价策略, 并且可以明确用数字精确度来交换速度。 我们在连续深度的残余网络和连续时间潜伏变量模型中展示了这些特性。 我们还构建了连续的正常流, 这是一种基因化模型, 可以用最大的可能性来训练, 而不分割或命令数据尺寸 。 在培训中, 我们展示了如何通过任何 ODE 解算器, 而不使用内部操作 。 这样就可以在更大的模型中进行终端到终端的 ODE 培训 。

1
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
【Google论文】ALBERT:自我监督学习语言表达的精简BERT
专知会员服务
22+阅读 · 2019年11月4日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2018年8月17日
Neural Arithmetic Logic Units
Arxiv
5+阅读 · 2018年8月1日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
6+阅读 · 2018年2月28日
Arxiv
4+阅读 · 2018年1月15日
VIP会员
相关资讯
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
3+阅读 · 2018年8月17日
Neural Arithmetic Logic Units
Arxiv
5+阅读 · 2018年8月1日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
6+阅读 · 2018年2月28日
Arxiv
4+阅读 · 2018年1月15日
Top
微信扫码咨询专知VIP会员