NeurIPS 2021丨K-Net: 迈向统一的图像分割

实例分割（instance segmentation）已经被以 Mask R-CNN 为代表的“先检测后分割”的框架主导了多年，之前涌现的单阶段实例分割算法也依然需要遍历图片中的每一个位置（feature grids）来预测实例分割掩码（instance masks），因此它们都需要一些额外的组件（如检测框或/和NMS）来区分不同实例或清理相同实例的掩码。

我们希望实例分割的推理过程可以像语义分割那样简单：由一组卷积核（convolutional kernels） 生成一组 mask，每一个 mask 至多只分割图片中的一个物体，且不同的 kernel 负责不同物体的 mask 生成。这样就可以不借助任何额外的组件来完成实例分割任务（box-free and NMS-free)，并且在提高推理效率的同时实现端到端的训练优化，同时也自然地统一了语义、实例乃至全景分割任务的解决范式。

我们提出 K-Net 来作为这个思路的一种探索，在全景分割（COCO-panoptic，test-dev set， 55.2 PQ）和语义分割（ADE20K val set，54.3 mIoU）上取得了新的 state-of-the-art 结果，在相同的实例分割精度下模型的推理速度比 Cascade Mask R-CNN 快 60-90% 。

Paper: 

https://www.zhuanzhi.ai/paper/1a015a77210f145df93ca7e92bcf63f8

Code:

https://github.com/ZwwWayne/K-Net

Project Page: 

https://www.mmlab-ntu.com/project/knet/

Video：

https://recorder-v3.slideslive.com/#/share?share=51360&s=244d89a2-1418-4fd5-89fe-dc9616fc6efd

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“KNET” 就可以获取《NeurIPS 2021丨K-Net: 迈向统一的图像分割》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源