在Transformer模型[1,2,6,7,8]中,相对位置编码显式地对任意两个Token的位置关系进行建模,提高了模型的表征能力。它的有效性在自然语言处理领域得到了充分证明[14,15,16,17,18]。然而,在计算机视觉领域,讨论相对位置编码的工作比较少[9,10,11,12,13]且存在不同的观点。由于图像可视为二维的序列,如何将一维相对位置编码推广到二维相对位置编码,解决方案仍不清晰。本篇论文提出了四种二维相对位置编码的映射方式,同时分析了Vision Transformer中影响二维相对位置性能的关键因素,得到了以下有趣的发现:

  1. 不需要调整训练的超参数,相对位置编码能给图像分类和目标检测的Vision Transformers模型带来显著的精度提升;

  2. 相对位置的方向信息在图像分类、目标检测任务中有着重要作用;

  3. 输入相关的相对位置编码比输入无关的相对位置编码更有效;

  4. 组合不同嵌入特征上的相对位置编码,能够进一步提升模型的表征能力;

  5. 在图像分类任务中,相对位置编码可以完全替代绝对位置编码,因为图像分类不需要预测物体的位置,相对位置编码能够让模型更关注局部信息;在目标检测任务中,相对位置编码能提高模型精度,但绝对位置编码是必须的,因为相对位置编码不能提供物体定位所需的绝对位置信息。 https://houwenpeng.com/publications/iRPE.pdf

成为VIP会员查看完整内容
25

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICML2021】具有线性复杂度的Transformer的相对位置编码
专知会员服务
17+阅读 · 2021年5月20日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
19+阅读 · 2021年4月20日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
29+阅读 · 2021年4月16日
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
16+阅读 · 2021年2月12日
最新《Transformers模型》教程,64页ppt
专知会员服务
160+阅读 · 2020年11月26日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
85+阅读 · 2020年7月22日
Transformer中的相对位置编码
AINLP
4+阅读 · 2020年11月28日
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
轻量attention模块:Spatial Group-wise Enhance
极市平台
13+阅读 · 2019年7月3日
干货 | 万物皆可「计算机视觉」
AI科技评论
6+阅读 · 2019年2月10日
BERT大火却不懂Transformer?读这一篇就够了
大数据文摘
10+阅读 · 2019年1月8日
利用 Universal Transformer,翻译将无往不利!
谷歌开发者
5+阅读 · 2018年9月4日
论文浅尝 | Distant Supervision for Relation Extraction
开放知识图谱
4+阅读 · 2017年12月25日
Arxiv
14+阅读 · 2021年9月21日
Arxiv
14+阅读 · 2021年7月18日
Arxiv
15+阅读 · 2021年4月8日
Arxiv
15+阅读 · 2020年12月23日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
VIP会员
相关VIP内容
【ICML2021】具有线性复杂度的Transformer的相对位置编码
专知会员服务
17+阅读 · 2021年5月20日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
19+阅读 · 2021年4月20日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
29+阅读 · 2021年4月16日
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
16+阅读 · 2021年2月12日
最新《Transformers模型》教程,64页ppt
专知会员服务
160+阅读 · 2020年11月26日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
85+阅读 · 2020年7月22日
相关资讯
Transformer中的相对位置编码
AINLP
4+阅读 · 2020年11月28日
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
轻量attention模块:Spatial Group-wise Enhance
极市平台
13+阅读 · 2019年7月3日
干货 | 万物皆可「计算机视觉」
AI科技评论
6+阅读 · 2019年2月10日
BERT大火却不懂Transformer?读这一篇就够了
大数据文摘
10+阅读 · 2019年1月8日
利用 Universal Transformer,翻译将无往不利!
谷歌开发者
5+阅读 · 2018年9月4日
论文浅尝 | Distant Supervision for Relation Extraction
开放知识图谱
4+阅读 · 2017年12月25日
相关论文
微信扫码咨询专知VIP会员