神经网络中的对称性与同变性

对称可以以多种形式出现。对于三维的物理系统,我们可以自由选择任何坐标系,因此任何物理属性都必须在欧几里得对称的元素下(三维旋转、平移和反演)可预见地变换。对于涉及图的节点和边的算法,我们在计算机内存中节点和边的排列情况下具有对称性。除非另外编码,机器学习模型不会对一个问题的对称性做出任何假设,并且会对坐标系统的任意选择或数组中节点和边的排序非常敏感。在机器学习模型中明确处理对称的主要动机之一是消除对数据增强的需求。另一个动机是,通过将对称编码到方法中,我们可以保证即使模型没有对“对称等效”示例进行明确训练,但模型对一个示例和一个“对称等效”示例会给出“相同”的答案。在这节课中,我们将讨论几种使机器学习模型“对称感知”的方法(例如输入表示、丢失和模型架构)。我们将集中讨论如何在神经网络中处理三维欧几里得对称和置换对称,描述这些对称的非直观和有益的结果,并讨论如何建立与你的对称假设一致的训练任务。

https://dl4sci-school.lbl.gov/tess-smidt

成为VIP会员查看完整内容
24

相关内容

【普林斯顿】机器学习数学视角,63页ppt
专知会员服务
87+阅读 · 2020年11月6日
专知会员服务
27+阅读 · 2020年10月24日
少标签数据学习,61页ppt,宾夕法尼亚大学
专知会员服务
36+阅读 · 2020年8月27日
【普林斯顿】持续视角下的机器学习,31页ppt及视频
专知会员服务
23+阅读 · 2020年8月19日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
32+阅读 · 2020年7月24日
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
177+阅读 · 2020年5月29日
少标签数据学习,54页ppt
专知会员服务
192+阅读 · 2020年5月22日
卷积神经网络数学原理解析
算法与数学之美
19+阅读 · 2019年8月23日
SFFAI分享 | 常建龙:基于关系的深度学习【附PPT与视频资料】
人工智能前沿讲习班
6+阅读 · 2019年7月1日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
Arxiv
5+阅读 · 2018年12月18日
Arxiv
3+阅读 · 2018年2月7日
VIP会员
相关主题
相关VIP内容
【普林斯顿】机器学习数学视角,63页ppt
专知会员服务
87+阅读 · 2020年11月6日
专知会员服务
27+阅读 · 2020年10月24日
少标签数据学习,61页ppt,宾夕法尼亚大学
专知会员服务
36+阅读 · 2020年8月27日
【普林斯顿】持续视角下的机器学习,31页ppt及视频
专知会员服务
23+阅读 · 2020年8月19日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
32+阅读 · 2020年7月24日
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
177+阅读 · 2020年5月29日
少标签数据学习,54页ppt
专知会员服务
192+阅读 · 2020年5月22日
微信扫码咨询专知VIP会员