最近的研究表明,自注意力可以作为图像识别模型的基本构件。我们探讨了自注意力的变化,并评估了它们在图像识别中的有效性。我们认为自注意力有两种形式。一种是成对的自注意力,它概括了标准的点积注意,本质上是一个集合算子。另一种是拼凑式的自注意力,严格来说,它比卷积更强大。我们的成对自注意力网络匹配或优于卷积网络,补丁式网络的性能大大优于卷积基线。我们还进行了实验,探讨了学习表征的鲁棒性,并得出结论,自注意力网络在鲁棒性和泛化方面可能具有显著的优势。

成为VIP会员查看完整内容
55

相关内容

从图像中提取出有意义、有实用价值的信息。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2020-CMU】无数据模型选择,一种深度框架潜力
专知会员服务
21+阅读 · 2020年4月12日
【CVPR2020】图神经网络中的几何原理连接
专知会员服务
55+阅读 · 2020年4月8日
[CVPR 2020-港中文-MIT] 神经架构搜索鲁棒性
专知会员服务
25+阅读 · 2020年4月7日
必读的7篇IJCAI 2019【图神经网络(GNN)】相关论文-Part2
专知会员服务
58+阅读 · 2020年1月10日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
【论文笔记】自注意力图池化
专知
78+阅读 · 2019年11月18日
注意力能提高模型可解释性?实验表明:并没有
黑龙江大学自然语言处理实验室
11+阅读 · 2019年4月16日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
深度剖析卷积神经网络
云栖社区
7+阅读 · 2018年5月27日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
3+阅读 · 2018年8月27日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关资讯
微信扫码咨询专知VIP会员