基于Transformers 从序列到序列的角度重新思考语义分割

Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers

我们希望为语义分割方法提供另一种思路,将语义分割转变为序列到序列的预测任务。在本文中,我们使用transformer(不使用卷积和降低分辨率)将图像编码为一系列patch序列。transformer的每一层都进行了全局的上下文建模,结合常规的Decoder模块,我们得到了一个强大的语义分割模型,称之为Segmentation transformer(SETR)。大量实验表明,SETR在ADE20K(50.28%mIoU),Pascal Context(55.83%mIoU)上达到SOTA,并在Cityscapes上取得了较好结果。

成为VIP会员查看完整内容
43

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2021】重新思考BiSeNet让语义分割模型速度起飞
专知会员服务
32+阅读 · 2021年5月5日
专知会员服务
19+阅读 · 2021年5月1日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
35+阅读 · 2021年4月16日
专知会员服务
29+阅读 · 2021年4月5日
专知会员服务
10+阅读 · 2021年3月21日
专知会员服务
20+阅读 · 2021年3月9日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
【CVPR2021】用Transformers无监督预训练进行目标检测
专知会员服务
55+阅读 · 2021年3月3日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
15+阅读 · 2020年8月23日
【泡泡图灵智库】点云序列的语义分割数据集
泡泡机器人SLAM
9+阅读 · 2019年9月20日
深入探究深度卷积语义分割网络和 Deeplab_V3
AI研习社
6+阅读 · 2019年4月13日
【泡泡图灵智库】用于单目深度估计的深度有序回归网络
利用DeepLab在Tensorflow中进行语义图像分割
机器学习研究会
9+阅读 · 2018年3月22日
Arxiv
19+阅读 · 2020年12月23日
Kernel Graph Attention Network for Fact Verification
Arxiv
3+阅读 · 2019年10月23日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
VIP会员
相关VIP内容
【CVPR2021】重新思考BiSeNet让语义分割模型速度起飞
专知会员服务
32+阅读 · 2021年5月5日
专知会员服务
19+阅读 · 2021年5月1日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
35+阅读 · 2021年4月16日
专知会员服务
29+阅读 · 2021年4月5日
专知会员服务
10+阅读 · 2021年3月21日
专知会员服务
20+阅读 · 2021年3月9日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
【CVPR2021】用Transformers无监督预训练进行目标检测
专知会员服务
55+阅读 · 2021年3月3日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
15+阅读 · 2020年8月23日
微信扫码咨询专知VIP会员