讲座题目

从生产规模神经网络中发现知识的统计学习方法:Statistical Mechanics Methods for Discovering Knowledge from Production-Scale Neural Networks

讲座简介

本教程将回顾使用统计力学技术来理解现代深层神经网络特性的最新发展。尽管统计力学和神经网络之间的联系由来已久,但近几十年来,这种联系已经消失了。针对传统统计学习理论和随机优化理论在定性描述生产质量深层神经网络模型的许多性质方面的不足,研究者重新审视了神经网络统计力学的思想。本教程将提供该领域的概述;它将详细介绍与重尾随机矩阵理论的联系如何导致大规模深层神经网络的实际现象学理论;它将描述未来的方向。

讲座嘉宾

Charles Martin持有芝加哥大学理论化学博士学位。他后来是NSF博士后研究员,并在UIUC的理论物理学小组工作,该小组研究了神经网络的统计机理。他目前拥有和操作计算咨询,在ML和AI的一家商店咨询专业,支持客户在AI进行应用研究。他拥有一个很好的博客,在实践的ML理论上,他有一段时间的支持和工作,在深度学习中的隐含和重量自律。

成为VIP会员查看完整内容
17

相关内容

【课程】纽约大学 DS-GA 1003 Machine Learning
专知会员服务
44+阅读 · 2019年10月29日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
注意力机制(Attention Mechanism)在自然语言处理中的应用
已删除
Arxiv
31+阅读 · 2020年3月23日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
8+阅读 · 2019年5月20日
VIP会员
相关VIP内容
【课程】纽约大学 DS-GA 1003 Machine Learning
专知会员服务
44+阅读 · 2019年10月29日
相关论文
已删除
Arxiv
31+阅读 · 2020年3月23日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
8+阅读 · 2019年5月20日
微信扫码咨询专知VIP会员