【导读】几何深度学习是当下的研究热点。如何进行深度理解?ICLR2021大会上,来自伦敦帝国理工学院教授,Twitter 图机器学习研究负责人Michael Bronstein进行了关于几何深度学习报告,并以视频讲解,生动形象,值得学习!

Michael Bronstein,伦敦帝国理工学院教授,Twitter 图机器学习研究负责人,CETI 项目机器学习领导、Twitter 图机器学习负责人、研究员、教师、企业家和投资者。

https://www.imperial.ac.uk/people/m.bronstein

ICLR2021《几何深度学习》报告

“对称,无论你如何定义它的意义,是一个概念,古今中外的人类试图通过它来理解和创造秩序、美和完美。”这个诗意的定义来自于伟大的数学家赫尔曼·韦尔,他被认为奠定了现代宇宙理论的基础。另一位伟大的物理学家菲利普·安德森(Philip Anderson)说:“把物理学说成是对对称性的研究只是稍微夸张了一点。”

在数学中,对称性在19世纪的几何基础中起着至关重要的作用。现在,它可能会对另一个新兴领域产生类似的影响。深度学习在最近几十年取得的成功意义重大——从革命性的数据科学,到计算机视觉、棋盘游戏和蛋白质折叠方面的里程碑式成就。与此同时,由于缺乏统一的原则,很难理解不同神经网络架构之间的关系,从而导致对相同概念的再创造和再品牌化。

迈克尔·布朗斯坦(Michael Bronstein)是伦敦帝国理工学院(Imperial College London)的教授,也是推特(Twitter)图ML研究的负责人,他致力于通过对称的视角实现深度学习的几何统一。在ICLR 2021年的主题演讲中,他提出了一个共同的数学框架来研究最成功的网络架构,给出了一个建设性的程序,以原则性的方式构建未来的机器学习,可以应用于新的领域,如社会科学,生物学和药物设计。

近两千年来,“几何”这个词一直是欧几里得几何的同义词,因为没有其他类型的几何存在。欧几里得的垄断在19世纪结束了,当时有多个非欧几里得几何的例子被构造出来。然而,这些研究迅速分化到不同的领域,数学家们争论不同几何之间的关系和什么定义一个。Felix Klein在他的Erlangen程序中提出了一种摆脱这种困境的方法,他提出将几何近似为使用群论语言研究不变量或对称性。在20世纪,这些思想是现代物理学发展的基础,并在标准模型(Standard Model)中达到顶峰。

深度学习的现状与19世纪的几何领域有些相似: 一方面,在过去的十年中,深度学习给数据科学带来了一场革命,使许多以前被认为是无法实现的任务成为可能,包括计算机视觉、下围棋或蛋白质折叠。与此同时,我们有各种各样的神经网络架构,但很少有统一的原则。在过去,很难理解不同的方法之间的关系,不可避免地导致相同概念的重新发明和重新命名。

几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构,如CNNs、RNNs、GNNs和transformer,并提供了一个建设性的过程来将先前的知识融入到神经网络中,并以一种原理性的方式构建未来的架构。在这次演讲中,我将概述关于网格、图和流形几何深度学习的数学原理,并展示这些方法在广泛的领域中令人兴奋和开创性的应用。

成为VIP会员查看完整内容
79

相关内容

【ICLR2021】常识人工智能,77页ppt
专知会员服务
71+阅读 · 2021年5月11日
重磅!几何深度学习 新书,160页pdf阐述
专知会员服务
254+阅读 · 2021年4月29日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
33+阅读 · 2020年12月30日
最新《几何深度学习》教程,100页ppt,Geometric Deep Learning
丘成桐:攻克物理难题的数学大师
科技导报
5+阅读 · 2018年7月23日
PLEX: Towards Practical Learned Indexing
Arxiv
0+阅读 · 2021年8月11日
Arxiv
0+阅读 · 2021年8月11日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Using Scene Graph Context to Improve Image Generation
VIP会员
微信扫码咨询专知VIP会员