【牛津大学|DeepMind】论深度学习中的统计思维，附49页ppt

导读

DeepMind曾在机器学习顶会ICML2018上提出深度学习的新方向：神经过程模型（Neural Processese, NPs）。神经过程模型结合了神经网络和随机过程的优点，在多任务上实现了很好的性能和高计算效率。之后陆续发布了神经过程模型的新工作，探讨了使用神经网络学习逼近随机过程的方法，以及结合神经网络与高斯过程解决监督学习问题的端到端方法等。本文总结了相关方面的工作，讨论了深度学习中的统计思维。

作者 | Yee Whye Teh

编译 | Xiaowen

完整PPT下载：

请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“DL统计思维” 即可获取牛津《On statistical thinking in Deep Learning》PPT下载链接

基于贝叶斯非参数动态主题模型的动态特征模型的泊松随机场分析:

统计与机器学习与人工智能的关系：

主要内容：

• 元学习随机过程 Meta-learning stochastic processes with neural processes
• 条件神经过程 Conditional neural processes. Garnelo et al. ICML 2018. arXiv:1807.01613
• 神经过程 Garnelo et al. ICML 2018 Workshop on Deep Generative Models. arXiv:1807.01622
• 细心的神经过程 Kim et al. ICLR 2019. arXiv:1901.05761
• 神经过程目标的经验评价 Empirical evaluation of neural process objectives. Le et al. NeurIPS 2018 Workshop on Bayesian Deep Learning.
• 序列决策的元学习代理模型 Meta-learning surrogate models for sequential decision making. Galashov et al. arXiv:1903.11907
• 概率对称与不变神经网络 Probabilistic symmetries and invariant neural networks. Bloem-Reddy and Teh. arXiv:1901.06082

Meta-Learning 的优化角度：

Meta-Learning 的概率角度：

神经过程：学习神经随机过程

用神经网络参数化和学习条件分布。

总结一下：

• 神经过程允许我们从数据中学习特定于领域的先验知识。
• 侧重于预测（条件）分布 Focussing on predictive (conditional) distributions with latent processes marginalised out works very well [Garnelo et al 2018b, Le et al 2018].
• 不保证学习的条件分布是一致的。
• 概率对称性、充分性和必要性的工具使我们能够回答关于对称性下的神经结构的问题。 
• 框架扩展到具有节点交换性的图形和数组结构化数据。
• 如何放宽有条件独立性的输出假设？

更多“ 统计 ”相关资料，请登录专知网站www.zhuanzhi.ai查看：

更多“ 深度学习 ”相关知识资料，请登录专知网站www.zhuanzhi.ai，搜索深度学习查看：

https://www.zhuanzhi.ai/topic/2001228999615594/awesome

-END-

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加），获取专知VIP会员码，加入专知人工智能主题群，咨询技术商务合作~

点击“阅读原文”，了解成为 专知会员 ，查看5000+AI主题知识资料