Paper链接: https://www.zhuanzhi.ai/paper/1a015a77210f145df93ca7e92bcf63f8 Project Page: https://www.mmlab-ntu.com/project/knet/ 代码链接: https://github.com/ZwwWayne/K-Net

实例分割(instance segmentation)已经被以 Mask R-CNN 为代表的“先检测后分割”的框架主导了多年,之前涌现的单阶段实例分割算法也依然需要遍历图片中的每一个位置(feature grids)来预测实例分割掩码(instance masks),因此他们都需要一些额外的组件(如检测框或/和NMS)来区分不同实例或清理相同实例的掩码。

我们希望实例分割的推理过程可以像语义分割那样简单: 由一组卷积核(convolutional kernels) 生成一组 mask,每一个 mask 至多只分割图片中的一个物体,且不同的 kernel 负责不同物体的 mask 生成。这样就可以不借助任何额外的组件来完成实例分割任务(box-free and NMS-free),并且在提高推理效率的同时实现端到端的训练优化,同时也自然地统一了语义、实例乃至全景分割任务的解决范式。

我们提出 K-Net 来作为这个思路的一种探索,在全景分割(COCO-panoptic,test-dev set, 55.2 PQ)和语义分割(ADE20K val set,54.3 mIoU)上取得了新的 state-of-the-art 结果,在相同的实例分割精度下模型的推理速度比 Cascade Mask R-CNN 快 60-90% 。

成为VIP会员查看完整内容
13
0

相关内容

图像分割二十年,盘点影响力最大的10篇论文
专知会员服务
28+阅读 · 2月7日
NeurIPS 2021丨K-Net: 迈向统一的图像分割
专知会员服务
13+阅读 · 2021年11月25日
专知会员服务
17+阅读 · 2021年7月28日
专知会员服务
27+阅读 · 2021年4月5日
【CVPR2021】用于目标检测的通用实例蒸馏
专知会员服务
19+阅读 · 2021年3月22日
专知会员服务
26+阅读 · 2020年12月25日
【NeurIPS 2020】依图推出预训练语言理解模型ConvBERT
专知会员服务
10+阅读 · 2020年11月13日
深度学习目标检测方法综述
专知会员服务
177+阅读 · 2020年8月1日
一文看尽物体检测中的各种FPN
极市平台
3+阅读 · 2020年6月21日
病理图像的全景分割
人工智能前沿讲习班
14+阅读 · 2019年6月1日
【泡泡点云时空】联合分割点云中的实例和语义
泡泡机器人SLAM
5+阅读 · 2019年4月27日
漫谈全景分割
PaperWeekly
11+阅读 · 2019年3月14日
全景分割这一年,端到端之路
机器之心
13+阅读 · 2018年12月24日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
Arxiv
10+阅读 · 2021年11月1日
Arxiv
6+阅读 · 2021年6月1日
Panoptic Feature Pyramid Networks
Arxiv
3+阅读 · 2019年1月8日
Arxiv
7+阅读 · 2018年5月15日
小贴士
相关VIP内容
图像分割二十年,盘点影响力最大的10篇论文
专知会员服务
28+阅读 · 2月7日
NeurIPS 2021丨K-Net: 迈向统一的图像分割
专知会员服务
13+阅读 · 2021年11月25日
专知会员服务
17+阅读 · 2021年7月28日
专知会员服务
27+阅读 · 2021年4月5日
【CVPR2021】用于目标检测的通用实例蒸馏
专知会员服务
19+阅读 · 2021年3月22日
专知会员服务
26+阅读 · 2020年12月25日
【NeurIPS 2020】依图推出预训练语言理解模型ConvBERT
专知会员服务
10+阅读 · 2020年11月13日
深度学习目标检测方法综述
专知会员服务
177+阅读 · 2020年8月1日
相关资讯
一文看尽物体检测中的各种FPN
极市平台
3+阅读 · 2020年6月21日
病理图像的全景分割
人工智能前沿讲习班
14+阅读 · 2019年6月1日
【泡泡点云时空】联合分割点云中的实例和语义
泡泡机器人SLAM
5+阅读 · 2019年4月27日
漫谈全景分割
PaperWeekly
11+阅读 · 2019年3月14日
全景分割这一年,端到端之路
机器之心
13+阅读 · 2018年12月24日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
微信扫码咨询专知VIP会员