会员服务
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。 所谓图像分割指的是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。

知识荟萃

图像分割 （Image Segmentation) 专知荟萃

入门学习

  1. A 2017 Guide to Semantic Segmentation with Deep Learning 概述——用深度学习做语义分割
  2. 从全卷积网络到大型卷积核：深度学习的语义分割全指南
  3. Fully Convolutional Networks
  4. 语义分割中的深度学习方法全解：从FCN、SegNet到各代DeepLab
  5. 图像语义分割之FCN和CRF
  6. 从特斯拉到计算机视觉之「图像语义分割」
  7. 计算机视觉之语义分割
  8. Segmentation Results: VOC2012 PASCAL语义分割比赛排名

综述

  1. A Review on Deep Learning Techniques Applied to Semantic Segmentation Alberto Garcia-Garcia, Sergio Orts-Escolano, Sergiu Oprea, Victor Villena-Martinez, Jose Garcia-Rodriguez 2017
  2. Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art
  3. 基于内容的图像分割方法综述 姜 枫 顾 庆 郝慧珍 李 娜 郭延文 陈道蓄 2017

进阶论文

  1. U-Net [https://arxiv.org/pdf/1505.04597.pdf]
  2. SegNet [https://arxiv.org/pdf/1511.00561.pdf]
  3. DeepLab [https://arxiv.org/pdf/1606.00915.pdf]
  4. FCN [https://arxiv.org/pdf/1605.06211.pdf]
  5. ENet [https://arxiv.org/pdf/1606.02147.pdf]
  6. LinkNet [https://arxiv.org/pdf/1707.03718.pdf]
  7. DenseNet [https://arxiv.org/pdf/1608.06993.pdf]
  8. Tiramisu [https://arxiv.org/pdf/1611.09326.pdf]
  9. DilatedNet [https://arxiv.org/pdf/1511.07122.pdf]
  10. PixelNet [https://arxiv.org/pdf/1609.06694.pdf]
  11. ICNet [https://arxiv.org/pdf/1704.08545.pdf]
  12. ERFNet [http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera17iv.pdf]
  13. RefineNet [https://arxiv.org/pdf/1611.06612.pdf]
  14. PSPNet [https://arxiv.org/pdf/1612.01105.pdf]
  15. CRFasRNN [http://www.robots.ox.ac.uk/%7Eszheng/papers/CRFasRNN.pdf]
  16. Dilated convolution [https://arxiv.org/pdf/1511.07122.pdf]
  17. DeconvNet [https://arxiv.org/pdf/1505.04366.pdf]
  18. FRRN [https://arxiv.org/pdf/1611.08323.pdf]
  19. GCN [https://arxiv.org/pdf/1703.02719.pdf]
  20. DUC, HDC [https://arxiv.org/pdf/1702.08502.pdf]
  21. Segaware [https://arxiv.org/pdf/1708.04607.pdf]
  22. Semantic Segmentation using Adversarial Networks [https://arxiv.org/pdf/1611.08408.pdf]

综述

  1. A Review on Deep Learning Techniques Applied to Semantic Segmentation Alberto Garcia-Garcia, Sergio Orts-Escolano, Sergiu Oprea, Victor Villena-Martinez, Jose Garcia-Rodriguez 2017
  2. Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art
  3. 基于内容的图像分割方法综述 姜 枫 顾 庆 郝慧珍 李 娜 郭延文 陈道蓄 2017

Tutorial

  1. Semantic Image Segmentation with Deep Learning
  2. A 2017 Guide to Semantic Segmentation with Deep Learning
  3. Image Segmentation with Tensorflow using CNNs and Conditional Random Fields

视频教程

  1. CS231n: Convolutional Neural Networks for Visual Recognition Lecture 11 Detection and Segmentation 
  2. Machine Learning for Semantic Segmentation - Basics of Modern Image Analysis

代码

Semantic segmentation

  1. U-Net (https://arxiv.org/pdf/1505.04597.pdf)
  2. SegNet (https://arxiv.org/pdf/1511.00561.pdf)
  3. DeepLab (https://arxiv.org/pdf/1606.00915.pdf)
  4. FCN (https://arxiv.org/pdf/1605.06211.pdf)
  5. ENet (https://arxiv.org/pdf/1606.02147.pdf)
  6. LinkNet (https://arxiv.org/pdf/1707.03718.pdf)
  7. DenseNet (https://arxiv.org/pdf/1608.06993.pdf)
  8. Tiramisu (https://arxiv.org/pdf/1611.09326.pdf)
  9. DilatedNet (https://arxiv.org/pdf/1511.07122.pdf)
  10. PixelNet (https://arxiv.org/pdf/1609.06694.pdf)
  11. ICNet (https://arxiv.org/pdf/1704.08545.pdf)
  12. ERFNet (http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera17iv.pdf)
  13. RefineNet (https://arxiv.org/pdf/1611.06612.pdf)
  14. PSPNet (https://arxiv.org/pdf/1612.01105.pdf)
  15. CRFasRNN (http://www.robots.ox.ac.uk/%7Eszheng/papers/CRFasRNN.pdf)
  16. Dilated convolution (https://arxiv.org/pdf/1511.07122.pdf)
  17. DeconvNet (https://arxiv.org/pdf/1505.04366.pdf)
  18. FRRN (https://arxiv.org/pdf/1611.08323.pdf)
  19. GCN (https://arxiv.org/pdf/1703.02719.pdf)
  20. DUC, HDC (https://arxiv.org/pdf/1702.08502.pdf)
  21. Segaware (https://arxiv.org/pdf/1708.04607.pdf)
  22. Semantic Segmentation using Adversarial Networks (https://arxiv.org/pdf/1611.08408.pdf)

Instance aware segmentation

  1. FCIS [https://arxiv.org/pdf/1611.07709.pdf]
  2. MNC [https://arxiv.org/pdf/1512.04412.pdf]
  3. DeepMask [https://arxiv.org/pdf/1506.06204.pdf]
  4. SharpMask [https://arxiv.org/pdf/1603.08695.pdf]
  5. Mask-RCNN [https://arxiv.org/pdf/1703.06870.pdf]
  6. https://github.com/jasjeetIM/Mask-RCNN [Caffe]
  7. RIS [https://arxiv.org/pdf/1511.08250.pdf]
  8. FastMask [https://arxiv.org/pdf/1612.08843.pdf]

Satellite images segmentation

Video segmentation

Autonomous driving

Annotation Tools:

Datasets

  1. Stanford Background Dataset[http://dags.stanford.edu/projects/scenedataset.html]
  2. Sift Flow Dataset[http://people.csail.mit.edu/celiu/SIFTflow/]
  3. Barcelona Dataset[http://www.cs.unc.edu/~jtighe/Papers/ECCV10/]
  4. Microsoft COCO dataset[http://mscoco.org/]
  5. MSRC Dataset[http://research.microsoft.com/en-us/projects/objectclassrecognition/]
  6. LITS Liver Tumor Segmentation Dataset[https://competitions.codalab.org/competitions/15595]
  7. KITTI[http://www.cvlibs.net/datasets/kitti/eval_road.php]
  8. Stanford background dataset[http://dags.stanford.edu/projects/scenedataset.html]
  9. Data from Games dataset[https://download.visinf.tu-darmstadt.de/data/from_games/]
  10. Human parsing dataset[https://github.com/lemondan/HumanParsing-Dataset]
  11. Silenko person database[https://github.com/Maxfashko/CamVid]
  12. Mapillary Vistas Dataset[https://www.mapillary.com/dataset/vistas]
  13. Microsoft AirSim[https://github.com/Microsoft/AirSim]
  14. MIT Scene Parsing Benchmark[http://sceneparsing.csail.mit.edu/]
  15. COCO 2017 Stuff Segmentation Challenge[http://cocodataset.org/#stuff-challenge2017]
  16. ADE20K Dataset[http://groups.csail.mit.edu/vision/datasets/ADE20K/]
  17. INRIA Annotations for Graz-02[http://lear.inrialpes.fr/people/marszalek/data/ig02/]

比赛

  1. MSRC-21 [http://rodrigob.github.io/are_we_there_yet/build/semantic_labeling_datasets_results.html]
  2. Cityscapes [https://www.cityscapes-dataset.com/benchmarks/]
  3. VOC2012 [http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=6]

领域专家

  1. Jonathan Long
  2. Liang-Chieh Chen
  3. Hyeonwoo Noh
  4. Bharath Hariharan
  5. Fisher Yu
  6. Vijay Badrinarayanan
  7. Guosheng Lin

初步版本，水平有限，有错误或者不完善的地方，欢迎大家提建议和补充，会一直保持更新，本文为专知内容组原创内容，未经允许不得转载，如需转载请发送邮件至fangquanyi@gmail.com 或 联系微信专知小助手（Rancho_Fang）

敬请关注http://www.zhuanzhi.ai 和关注专知公众号，获取第一手AI相关知识

VIP内容

实例分割 · 图像分割 ·
11 月 25 日
NeurIPS 2021丨K-Net: 迈向统一的图像分割
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

实例分割（instance segmentation）已经被以 Mask R-CNN 为代表的“先检测后分割”的框架主导了多年，之前涌现的单阶段实例分割算法也依然需要遍历图片中的每一个位置（feature grids）来预测实例分割掩码（instance masks），因此它们都需要一些额外的组件（如检测框或/和NMS）来区分不同实例或清理相同实例的掩码。

我们希望实例分割的推理过程可以像语义分割那样简单：由一组卷积核（convolutional kernels） 生成一组 mask，每一个 mask 至多只分割图片中的一个物体，且不同的 kernel 负责不同物体的 mask 生成。这样就可以不借助任何额外的组件来完成实例分割任务（box-free and NMS-free)，并且在提高推理效率的同时实现端到端的训练优化，同时也自然地统一了语义、实例乃至全景分割任务的解决范式。

我们提出 K-Net 来作为这个思路的一种探索，在全景分割（COCO-panoptic，test-dev set， 55.2 PQ）和语义分割（ADE20K val set，54.3 mIoU）上取得了新的 state-of-the-art 结果，在相同的实例分割精度下模型的推理速度比 Cascade Mask R-CNN 快 60-90% 。

成为VIP会员查看完整内容
https://www.zhuanzhi.ai/paper/1a015a77210f145df93ca7e92bcf63f8
K-Net: Towards Unified Image Segmentation
0
8

热门内容

医学图像 · 图像分割 · 对抗攻击 · CVPR · 多模态 ·
2019 年 4 月 30 日
近期必读的7篇【医学图像分割】相关论文和代码（CVPR、AAAI）
0
70

最新内容

图像生成 · 深度学习基础 · 模型优化 · 深度学习 · 图像分割 ·
12 月 6 日
Ptorch模型如何可视化?
0
0

最新论文

图像分割 · Transformer · GROUP · 注意力机制 · 大学 ·
12 月 2 日
Masked-attention Mask Transformer for Universal Image Segmentation
Bowen Cheng,Ishan Misra,Alexander G. Schwing,Alexander Kirillov,Rohit Girdhar
Bowen Cheng,Ishan Misra,Alexander G. Schwing,Alexander Kirillov,Rohit Girdhar
from arxiv, Project page/code/models: https://bowenc0221.github.io/mask2former

Image segmentation is about grouping pixels with different semantics, e.g., category or instance membership, where each choice of semantics defines a task. While only the semantics of each task differ, current research focuses on designing specialized architectures for each task. We present Masked-attention Mask Transformer (Mask2Former), a new architecture capable of addressing any image segmentation task (panoptic, instance or semantic). Its key components include masked attention, which extracts localized features by constraining cross-attention within predicted mask regions. In addition to reducing the research effort by at least three times, it outperforms the best specialized architectures by a significant margin on four popular datasets. Most notably, Mask2Former sets a new state-of-the-art for panoptic segmentation (57.8 PQ on COCO), instance segmentation (50.1 AP on COCO) and semantic segmentation (57.7 mIoU on ADE20K).

#百搭的注意力机制
0
0
下载
预览
参考链接
父主题
计算机视觉
子主题
语义分割
荟萃目录
Top