通过一个transformer编码器-解码器架构的目标检测transformers (DETR)取得了与Faster R-CNN相匹配的性能。受预训练transformer在自然语言处理中取得的巨大成功的启发,我们提出了一种基于随机查询补丁检测的无监督预训练目标检测任务。具体地说,我们从给定的图像中随机裁剪小块,然后将它们作为查询输入解码器。该模型经过预训练,从原始图像中检测出这些查询补丁。在预训练,我们解决了两个关键问题:多任务学习和多查询定位。(1)为了权衡在前置任务中分类和定位的多任务学习,我们冻结CNN骨干,提出一个与patch检测联合优化的patch特征重构分支。(2)为实现多查询定位,我们引入了单查询补丁的UP-DETR ,并将其扩展为具有对象查询洗牌和注意掩码的多查询补丁。在我们的实验中,UP-DETR算法在PASCAL VOC和COCO数据集上具有更快的收敛速度和更高的精度,显著提高了DETR算法的性能。代码很快就会发布。

成为VIP会员查看完整内容
47

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2021】多实例主动学习目标检测
专知会员服务
38+阅读 · 2021年4月18日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
30+阅读 · 2021年4月9日
专知会员服务
28+阅读 · 2021年4月5日
专知会员服务
47+阅读 · 2021年3月12日
专知会员服务
16+阅读 · 2021年3月9日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
37+阅读 · 2021年2月7日
【AAAI2021】协同挖掘:用于稀疏注释目标检测的自监督学习
2019最全目标检测指南
计算机视觉life
11+阅读 · 2019年10月22日
做目标检测,这一篇就够了!2019最全目标检测指南
机器学习算法与Python学习
28+阅读 · 2019年9月11日
教程 | 单级式目标检测方法概述:YOLO与SSD
机器之心
4+阅读 · 2018年8月6日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
从零开始PyTorch项目:YOLO v3目标检测实现
机器之心
12+阅读 · 2018年4月23日
Arxiv
15+阅读 · 2020年12月23日
Heterogeneous Graph Transformer
Arxiv
23+阅读 · 2020年3月3日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Arxiv
7+阅读 · 2018年1月24日
VIP会员
相关VIP内容
【CVPR2021】多实例主动学习目标检测
专知会员服务
38+阅读 · 2021年4月18日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
30+阅读 · 2021年4月9日
专知会员服务
28+阅读 · 2021年4月5日
专知会员服务
47+阅读 · 2021年3月12日
专知会员服务
16+阅读 · 2021年3月9日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
37+阅读 · 2021年2月7日
【AAAI2021】协同挖掘:用于稀疏注释目标检测的自监督学习
相关论文
Arxiv
15+阅读 · 2020年12月23日
Heterogeneous Graph Transformer
Arxiv
23+阅读 · 2020年3月3日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Arxiv
7+阅读 · 2018年1月24日
微信扫码咨询专知VIP会员