【ICML2022】超立方Transformers：你需要什么样的密集图来集中自注意力?

Transformers 在多种任务上取得了进展，但却受到二次元计算和内存复杂性的困扰。最近的工作提出了稀疏Transformers，关注稀疏图，以降低复杂性和保持强大的性能。虽然很有效，但是对于图需要多密集才能很好地执行的关键部分，还没有进行充分的探讨。在本文中，我们提出了归一化信息有效载荷(NIP)，这是一种测量图上信息传递的图评分函数，它提供了一个在性能和复杂性之间进行权衡的分析工具。在理论分析的指导下，我们提出了超立方Transformers，一个稀疏的Transformer，它在超立方体中建模标记交互，并显示与普通Transformer相当甚至更好的结果，同时在序列长度为N的情况下产生O(N log N)复杂度。在需要不同序列长度的任务上的实验为我们的图函数提供了验证。

https://www.zhuanzhi.ai/paper/8318e8175a50804b8f5157bbd8679a00

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“STRN” 就可以获取《【ICML2022】超立方Transformers：你需要什么样的密集图来集中自注意力?》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料