【ICML2020-哈佛】深度语言表示中可分流形

人工神经网络(ANNS)在解决各种认知模式下的感知任务方面显示出很大的经验成功。虽然它们只是受到生物大脑的松散启发，但最近的研究报告称，从任务优化的神经网络中提取的表征与大脑中的神经种群之间存在相当多的相似性。神经网络后来成为一个流行的模型类，用来推断复杂认知功能下的计算原理，反过来，它们也成为一个自然的实验平台，用来应用最初开发的方法来探测神经群体中的信息。在这项工作中，我们利用平均场理论流形分析，从计算神经科学的最新技术，从大规模语境嵌入模型分析语言表示的高维几何。我们从不同的模型族(BERT, RoBERTa, GPT-2等)中探索表征，并找到跨层深度的语言流形出现的证据(例如词性流形和组合范畴语法标签)。我们进一步观察到，不同的编码方案用于获取表示，导致这些语言流形出现在网络的早期或后期层的差异。此外，我们发现这些流形中线性可分性的出现是由流形半径、维数和流形间相关性的联合减少所驱动的。

https://arxiv.org/abs/2006.01095

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SMDL” 可以获取《ICML2020深度语言表示中可分流形》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源