目标检测 - 专知

目标检测，也叫目标提取，是一种与计算机视觉和图像处理有关的计算机技术，用于检测数字图像和视频中特定类别的语义对象（例如人，建筑物或汽车）的实例。深入研究的对象检测领域包括面部检测和行人检测。对象检测在计算机视觉的许多领域都有应用，包括图像检索和视频监视。

知识荟萃

目标检测（物体检测, Object Detection) 专知荟萃

入门学习

图像目标检测（Object Detection）原理与实现（1-6）
目标检测从入门到精通(1-3)
深度学习500问之目标检测
- [https://github.com/scutan90/DeepLearning-500-questions/blob/master/ch08_%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B/%E7%AC%AC%E5%85%AB%E7%AB%A0_%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B.md]
目标检测（Object Detection）入门
- [https://blog.csdn.net/f290131665/article/details/81012556]
- [https://zhuanlan.zhihu.com/p/34142321]

综述

地平线黄李超开讲：深度学习和物体检测！
- [https://www.sohu.com/a/163460329_642762]
对话CVPR2016：目标检测新进展：
- [https://zhuanlan.zhihu.com/p/21533724]
基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN：
- [http://www.cnblogs.com/skyfsm/p/6806246.html]
基于深度学习的目标检测研究进展
- [https://mp.weixin.qq.com/s/RxogMJ86FkQHrzaF4SxFNQ]
讲堂干货No.1｜山世光－基于深度学习的目标检测技术进展与展望
- [https://mp.weixin.qq.com/s/NV2hWofOCractLt45-wI1A]
基于特征共享的高效物体检测 Faster R-CNN和ResNet的作者任少卿博士毕业论文中文
- [https://pan.baidu.com/s/1gfxTbNl]
R-CNN：论文笔记
- [http://www.cnblogs.com/kingstrong/p/4969472.html], [http://blog.gater.vip/articles/2015/11/02/1478607351098.html]
Fast-RCNN:
- 深度学习物体检测（三）——FAST-RCNN：
- [https://www.cnblogs.com/yanshw/p/10767212.html]
- Fast-RCNN:[https://zhuanlan.zhihu.com/p/24780395]
Faster-RCNN:
- [https://www.cnblogs.com/chaofn/p/9310912.html]
FPN:
- Feature Pyramid Networks for Object Detection 论文笔记：
- [http://blog.csdn.net/jesse_mx/article/details/54588085]
- CVPR 2017论文解读：特征金字塔网络FPN：
- [http://www.sohu.com/a/159780794_465975]
- FPN（feature pyramid networks）算法讲解：
- [http://blog.csdn.net/u014380165/article/details/72890275]
R-FCN:
- 基于区域的全卷积网络来检测物体:
- [http://blog.csdn.net/shadow_guo/article/details/51767036]
- [译] 基于R-FCN的物体检测:
- [http://www.jianshu.com/p/db1b74770e52]
SSD:
- Single Shot MultiBox Detector论文阅读：
- [http://blog.csdn.net/u010167269/article/details/52563573]
- 【深度学习：目标检测】RCNN学习笔记(10)：SSD:Single Shot MultiBox Detector：
- [http://blog.csdn.net/smf0504/article/details/52745070]
- 翻译SSD论文(Single Shot MultiBox Detector)，仅作交流：
- [http://blog.csdn.net/Ai_Smith/article/details/52997456?locationNum=2&fps=1]
- CNN目标检测与分割（三）：SSD详解：
- [https://blog.csdn.net/a8039974/article/details/77592395]
- SSD关键源码解析：
- [https://zhuanlan.zhihu.com/p/25100992]
YOLO:
- YOLO：实时快速目标检测：
- [https://zhuanlan.zhihu.com/p/25045711]
- YOLO详解: [https://zhuanlan.zhihu.com/p/25236464]
- YOLO升级版：YOLOv2和YOLO9000解析:
- [https://zhuanlan.zhihu.com/p/29816334]
- YOLO升级版：YOLOv2和YOLO9000解析：
- [https://zhuanlan.zhihu.com/p/29816334]
- YOLO v2之总结篇（linux+windows）：
- [http://blog.csdn.net/qq_14845119/article/details/53589282]
- YOLOv2 论文笔记：
- [http://blog.csdn.net/jesse_mx/article/details/53925356]
- 目标检测网络之 YOLOv3
- [https://www.cnblogs.com/makefile/p/YOLOv3.html]
DenseBox:余凯特邀报告：基于密集预测图的物体检测技术造就全球领先的ADAS系统
- [http://mp.weixin.qq.com/s/9Z9mO3DJ7uPuirMAbPkDcw]
PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection - [http://www.cnblogs.com/xueyuxiaolang/p/5959442.html]
深度学习论文笔记：DSSD - [https://jacobkong.github.io/blog/2938514597/]
DSOD
- 复旦大学Ph.D沈志强：用于目标检测的DSOD模型（ICCV 2017） | 分享总结:
- [http://www.sohu.com/a/198226907_114877]
- 目标检测--DSOD: Learning Deeply Supervised Object Detectors from Scratch：
- [http://blog.csdn.net/zhangjunhit/article/details/77247695]
Focal Loss:
- Focal Loss:
- [http://blog.csdn.net/u014380165/article/details/77019084]
- 读Focal Loss:
- [https://zhuanlan.zhihu.com/p/28873248]
Soft-NMS:
- 一行代码改进NMS:
- [http://blog.csdn.net/shuzfan/article/details/71036040]
OHEM:
- 论文笔记 OHEM: Training Region-based Object Detectors with Online Hard Example Mining:
- [http://blog.csdn.net/u012905422/article/details/52760669]
Mask-RCNN 2017:
- Mask-RCNN 2017:
- [http://blog.csdn.net/inuchiyo_china/article/details/70860939]
- 目标检测分割--Mask R-CNN:
- [http://blog.csdn.net/zhangjunhit/article/details/64920075?locationNum=6&fps=1]
- 解读|Facebook 何凯明发大招：Mask R-CNN 狙击目标实例分割:
- [http://www.sohu.com/a/130676187_642762]
目标检测之比较
- 目标检测之RCNN，SPP-NET，Fast-RCNN，Faster-RCNN：
- [http://lanbing510.info/2017/08/24/RCNN-FastRCNN-FasterRCNN.html]
- RCNN, Fast-RCNN, Faster-RCNN的一些事：
- [http://closure11.com/rcnn-fast-rcnn-faster-rcnn%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BA%8B/]
- 机器视觉目标检测补习贴之R-CNN系列 — R-CNN, Fast R-CNN, Faster R-CNN ，目标检测补习贴之YOLO实时检测, You only look once ：
- [http://nooverfit.com/wp/]
- 目标检测算法：RCNN、YOLO vs DPM：
- [https://juejin.im/entry/59564e1f6fb9a06b9c7408f9]
- 如何评价rcnn、fast-rcnn和faster-rcnn这一系列方法？:
- [https://www.zhihu.com/question/35887527]
视觉目标检测和识别之过去，现在及可能
- [https://zhuanlan.zhihu.com/p/27546796]
CVPR2019目标检测方法进展综述
- [https://zhuanlan.zhihu.com/p/59398728]
基于深度学习的「目标检测」算法综述
- [https://zhuanlan.zhihu.com/p/33981103]
目标检测综述
- [https://www.cnblogs.com/fydeblog/p/10447875.html]
- [https://blog.csdn.net/electech6/article/details/95240278]
- [https://www.jianshu.com/p/8c0e0d19399b]
深度学习目标检测网络汇总对比
- [https://shartoo.github.io/obj_detect_summary/]
从锚点到关键点，最新的目标检测方法发展到哪了
- [http://blog.itpub.net/29829936/viewspace-2654215/]
从RCNN到SSD，这应该是最全的一份目标检测算法盘点
- [http://baijiahao.baidu.com/s?id=1598999301741831102&wfr=spider&for=pc]
目标检测中的不平衡问题：综述
- [https://arxiv.org/abs/1909.00169]
深度学习中用于对象检测的最新进展
- [https://arxiv.org/abs/1908.03673]
基于深度学习的对象检测概述
- [https://arxiv.org/abs/1907.09408]
目标检测20年：综述

[https://arxiv.org/abs/1905.05055]

深度卷积神经网络时代目标检测的最新进展
- [https://arxiv.org/abs/1809.03193]
用于通用对象检测的深度学习：综述
- [https://arxiv.org/abs/1809.02165]

进阶文章

Deep Neural Networks for Object Detection （基于DNN的对象检测）NIPS2013:
- [http://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection.pdf]
R-CNN Rich feature hierarchies for accurate object detection and semantic segmentation:
- [https://arxiv.org/abs/1311.2524]
Fast R-CNN :
- [http://arxiv.org/abs/1504.08083]
Faster R-CNN Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks:
- [http://arxiv.org/abs/1506.01497]
Mask R-CNN
- [http://arxiv.org/abs/1703.06870]
Light-Head R-CNN
- [https://arxiv.org/abs/1711.07264]
Cascade R-CNN
- [https://arxiv.org/abs/1712.00726]
Scalable Object Detection using Deep Neural Networks
- [http://arxiv.org/abs/1312.2249]
Scalable, High-Quality Object Detection
- [http://arxiv.org/abs/1412.1441]
SPP-Net Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- [http://arxiv.org/abs/1406.4729]
DeepID-Net DeepID-Net: Deformable Deep Convolutional Neural Networks for Object Detection
- [https://arxiv.org/abs/1412.5661]
Object Detectors Emerge in Deep Scene CNNs
- [http://arxiv.org/abs/1412.6856]
segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection
- [https://arxiv.org/abs/1502.04275]
Object Detection Networks on Convolutional Feature Maps
- [http://arxiv.org/abs/1504.06066]
Improving Object Detection with Deep Convolutional Networks via Bayesian Optimization and Structured Prediction
- [http://arxiv.org/abs/1504.03293]
DeepBox: Learning Objectness with Convolutional Networks
- [http://arxiv.org/abs/1504.03293]
Object detection via a multi-region & semantic segmentation-aware CNN model
- [http://arxiv.org/abs/1505.01749]
You Only Look Once: Unified, Real-Time Object Detection
- [http://arxiv.org/abs/1506.02640]
YOLOv2 YOLO9000: Better, Faster, Stronger
- [https://arxiv.org/abs/1612.08242]
YOLOv3
- [https://arxiv.org/abs/1804.02767]
YOLT
- [https://arxiv.org/abs/1805.09512]
AttentionNet: Aggregating Weak Directions for Accurate Object Detection
- [http://arxiv.org/abs/1506.07704]
DenseBox: Unifying Landmark Localization with End to End Object Detection
- [http://arxiv.org/abs/1509.04874]
SSD: Single Shot MultiBox Detector
- [http://arxiv.org/abs/1512.02325]
DSSD : Deconvolutional Single Shot Detector
- [https://arxiv.org/abs/1701.06659]
FSSD
- [https://arxiv.org/abs/1712.00960]
ESSD
- [https://arxiv.org/abs/1801.05918]
MDSSD
- [https://arxiv.org/abs/1805.07009]
Pelee
- [https://arxiv.org/abs/1804.06882]
Fire SSD
- https://arxiv.org/abs/1806.05363
G-CNN: an Iterative Grid Based Object Detector
- [http://arxiv.org/abs/1512.07729]
HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection
- [http://arxiv.org/abs/1604.00600]
A MultiPath Network for Object Detection
- [http://arxiv.org/abs/1604.02135]
R-FCN: Object Detection via Region-based Fully Convolutional Networks
- [http://arxiv.org/abs/1605.06409]
A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
- [http://arxiv.org/abs/1607.07155]
PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection
- [http://arxiv.org/abs/1608.08021]
Feature Pyramid Networks for Object Detection
- [https://arxiv.org/abs/1612.03144]
Learning Chained Deep Features and Classifiers for Cascade in Object Detection
- [https://arxiv.org/abs/1702.07054]
DSOD: Learning Deeply Supervised Object Detectors from Scratch
- [https://arxiv.org/abs/1708.01241]
Focal Loss for Dense Object Detection ICCV 2017 Best student paper award. Facebook AI Research
- [https://arxiv.org/abs/1708.02002]
MegDet
- [https://arxiv.org/abs/1711.07240]
Mask-RCNN 2017 ICCV 2017 Best paper award. Facebook AI Research
- [http://arxiv.org/abs/1703.06870]
RefineNet
- [https://arxiv.org/abs/1711.06897]
DetNet
- [https://arxiv.org/abs/1804.06215]
SSOD
- [https://arxiv.org/abs/1806.03370]
CornerNet
- [https://arxiv.org/abs/1808.01244]
M2Det
- [https://arxiv.org/abs/1811.04533]
3D Object Detection
- [https://arxiv.org/abs/1901.08373]
- [https://arxiv.org/abs/1805.04902]
ZSD（Zero-Shot Object Detection）
- [https://arxiv.org/abs/1803.07113]
OSD（One-Shot object Detection）
- [https://arxiv.org/abs/1904.02317]
Weakly Supervised Object Detection
- [https://arxiv.org/abs/1810.02569]
Softer-NMS
- [https://arxiv.org/abs/1809.08545]
NAS-FPN，可实现比Mask-RCNN、FPN、SSD更快更好的目标检测
- [https://arxiv.org/abs/1904.07392]
- [https://www.shangyexinzhi.com/article/details/id-112816/]
多方向目标检测：水平边界框上的滑动顶点
- [https://arxiv.org/abs/1911.09358]
SM-NAS：结构到模块的神经体系结构搜索以进行目标检测
- [https://arxiv.org/abs/1911.09929]
基于PSNet和边框回归的弱监督目标检测(WSOD)
- [https://arxiv.org/abs/1911.11512]
带有可见IoU和Box Sign预测器的遮挡性行人检测
- [https://arxiv.org/abs/1911.11449]
CSPNet：可以增强CNN学习能力的新型Backbone
- [https://arxiv.org/abs/1911.11929]
ReBiF：残差双融合特征金字塔网络，用于较精确的Single-shot目标检测
- [https://arxiv.org/abs/1911.12051]
目标检测的性能上界讨论
- [https://arxiv.org/abs/1911.12451]
DIoU Loss：更快更好地学习边界框回归
- [https://arxiv.org/abs/1911.08287]
CoAE：用于One-Shot目标检测的共同注意和共同激励
- [https://arxiv.org/abs/1911.12529]
SAPD：Soft Anchor-Point目标检测
- [https://arxiv.org/abs/1911.12448]
MMOD：基于混合模型的目标检测边界框密度估计
- [https://arxiv.org/abs/1911.12721]
IENet：方向性航空目标检测的One Stage Anchor Free检测器
- [https://arxiv.org/abs/1912.00969]
MnasFPN：用于移动设备上目标检测的延迟感知的金字塔体系结构
- [https://arxiv.org/abs/1912.01106]
IPG-Net：用于目标检测的图像金字塔引导网络
- [https://arxiv.org/abs/1912.00632]
MAL：用于目标检测的多Anchor学习
- [https://arxiv.org/abs/1912.02252]
ATSS：缩小Anchor-free和Anchor-based的性能差距：通过自适应训练样本选择
- [https://arxiv.org/abs/1912.02424]
Strong-Weak Distribution Alignment for Adaptive Object Detection
- [https://arxiv.org/abs/1812.04798]
PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation
- [https://arxiv.org/abs/1903.00709]
Deep HoughVoting for 3D Object Detection in Point Clouds
- [https://arxiv.org/abs/1904.09664]
Simultaneous multi-view instance detection with learned geometric soft-constraints
- [https://arxiv.org/abs/1907.10892]
Cap2Det: Learning to Amplify Weak Caption Supervision for Object Detection
- [https://arxiv.org/abs/1907.10164]
Towards Adversarially Robust Object Detection
- [https://arxiv.org/abs/1907.10310]
Multi-adversarial Faster-RCNN for Unrestricted Object Detection
- [https://arxiv.org/abs/1907.10343]
Selectivity or Invariance: Boundary-aware Salient Object Detection
- [https://arxiv.org/pdf/1812.10066.pdf]
Joint Monocular 3D Detection and Tracking
- [https://arxiv.org/abs/1811.10742]
GA-DAN: Geometry-Aware Domain Adaptation Network for Scene Text Detection and Recognition
- [https://arxiv.org/abs/1907.09653]
ThunderNet: Towards Real-time Generic Object Detection
- [https://arxiv.org/abs/1903.11752]
MemorizingNormality to Detect Anomaly: Memory-augmented Deep Autoencoder (MemAE) forUnsupervised Anomaly Detection
- [https://arxiv.org/abs/1904.02639]

Tutorial

CVPR'17 Tutorial Deep Learning for Objects and Scenes by Kaiming He Ross Girshick
- [http://deeplearning.csail.mit.edu/]
ICCV 2015 Tools for Efficient Object Detection
- [http://mp7.watson.ibm.com/ICCV2015/ObjectDetectionICCV2015.html]
Object Detection
- [http://class.inrialpes.fr/tutorials/triggs-icvss1.pdf]
Image Recognition and Object Detection : Part 1
- [https://www.learnopencv.com/image-recognition-and-object-detection-part1/]
R-CNN for Object Detection
- [https://courses.cs.washington.edu/courses/cse590v/14au/cse590v_wk1_rcnn.pdf]
史上最详尽的yolo教程
- https://github.com/AlexeyAB/darknet#how-to-train-to-detect-your-custom-objects
- https://www.e-learn.cn/content/qita/2332027
Keras-RetinaNet训练自己的数据详细教程
- https://blog.csdn.net/sinat_35512245/article/details/88188365

视频教程

cs231 第11讲 Detection and Segmentation
- PPT ：[http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf] 视频：[https://www.youtube.com/watch?v=nDPWywWRIRo&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv]
Deep Learning for Instance-level Object Understanding by Ross Girshick.
- PPT：[http://deeplearning.csail.mit.edu/instance_ross.pdf]
- 视频：[https://youtu.be/jHv37mKAhV4?t=2349]
(全)深度学习之目标检测常用算法原理+实践精讲
- [https://www.bilibili.com/video/av68991919?p=1]
最全的目标检测原理讲解
- [https://www.bilibili.com/video/av70977633?p=1]
深度学习之分类与目标检测
- [https://www.bilibili.com/video/av55200663?p=1]
2019最新基于深度学习的目标检测原理及实践教程
- [https://www.bilibili.com/video/av74399668?p=1]
Tensorflow Object Detection Tutorial

代码

R-CNN
- [https://github.com/rbgirshick/rcnn]
Fast R-CNN:
- [https://github.com/rbgirshick/fast-rcnn]
- github("Fast R-CNN in MXNet"): https://github.com/precedenceguo/mx-rcnn
- github: https://github.com/mahyarnajibi/fast-rcnn-torch
- github: https://github.com/apple2373/chainer-simple-fast-rnn
- github: https://github.com/zplizzi/tensorflow-fast-rcnn
Faster R-CNN
- github(official, Matlab): https://github.com/ShaoqingRen/faster_rcnn
- github: https://github.com/rbgirshick/py-faster-rcnn
- github: https://github.com/mitmul/chainer-faster-rcnn
- github: https://github.com/andreaskoepf/faster-rcnn.torch
- github: https://github.com/ruotianluo/Faster-RCNN-Densecap-torch
- github: https://github.com/smallcorgi/Faster-RCNN_TF
- github: https://github.com/CharlesShang/TFFRCNN
- github(C++ demo): https://github.com/YihangLou/FasterRCNN-Encapsulation-Cplusplus
- github: https://github.com/yhenon/keras-frcnn
SPP-Net
- [https://github.com/ShaoqingRen/SPP_net]
YOLO
- github: https://github.com/gliese581gg/YOLO_tensorflow
- github: https://github.com/xingwangsfu/caffe-yolo
- github: https://github.com/frankzhangrui/Darknet-Yolo
- github: https://github.com/BriSkyHekun/py-darknet-yolo
- github: https://github.com/tommy-qichang/yolo.torch
- github: https://github.com/frischzenger/yolo-windows
- github: https://github.com/AlexeyAB/yolo-windows
- github: https://github.com/nilboy/tensorflow-yolo
YOLOv2
- github(Chainer): https://github.com/leetenki/YOLOv2
- github(Keras): https://github.com/allanzelener/YAD2K
- github(PyTorch): https://github.com/longcw/yolo2-pytorch
- github(Tensorflow): https://github.com/hizhangp/yolo_tensorflow
- github(Windows): https://github.com/AlexeyAB/darknet
- github: https://github.com/choasUp/caffe-yolo9000
- github: https://github.com/philipperemy/yolo-9000
YOLOv3
- https://github.com/qqwweee/keras-yolo3
- https://github.com/marvis/pytorch-yolo3
- https://github.com/experiencor/keras-yolo3
- https://github.com/ultralytics/yolov3
- https://github.com/eriklindernoren/PyTorch-YOLOv3
- https://github.com/YunYang1994/tensorflow-yolov3
- https://github.com/SpikeKing/keras-yolo3-detection
SSD
- github: https://github.com/zhreshold/mxnet-ssd
- github: https://github.com/zhreshold/mxnet-ssd.cpp
- github: https://github.com/rykov8/ssd_keras
- github: https://github.com/balancap/SSD-Tensorflow
- github: https://github.com/amdegroot/ssd.pytorch
- github(Caffe): https://github.com/chuanqi305/MobileNet-SSD
Recurrent Scale Approximation for Object Detection in CNN
- [https://github.com/sciencefans/RSA-for-object-detection]
Mask-RCNN 2017
- Keras [https://github.com/matterport/Mask_RCNN]
- TensorFlow [https://github.com/CharlesShang/FastMaskRCNN]
- Pytorch [https://github.com/felixgwu/mask_rcnn_pytorch]
- caffe [https://github.com/jasjeetIM/Mask-RCNN]
- MXNet [https://github.com/TuSimple/mx-maskrcnn]
Light-Head R-CNN
- https://github.com/zengarden/light_head_rcnn
- https://github.com/terrychenism/Deformable-ConvNets/blob/master/rfcn/symbols/resnet_v1_101_rfcn_light.py#L784
Cascade R-CNN
- https://github.com/zhaoweicai/cascade-rcnn
YOLT
- https://github.com/avanetten/yolt
DSSD
- https://github.com/chengyangfu/caffe/tree/dssd
- https://github.com/MTCloudVision/mxnet-dssd
Pelee
- https://github.com/Robert-JunWang/Pelee
R-FCN
- https://github.com/daijifeng001/R-FCN
- https://github.com/msracver/Deformable-ConvNets/tree/master/rfcn
- https://github.com/Orpine/py-R-FCN
- https://github.com/PureDiors/pytorch_RFCN
- https://github.com/bharatsingh430/py-R-FCN-multiGPU
- https://github.com/xdever/RFCN-tensorflow
FPN
- https://github.com/xiaohaoChen/rrc_detection
- https://github.com/taokong/RON
- https://github.com/sciencefans/RSA-for-object-detection
DSOD
- https://github.com/szq0214/DSOD
- https://github.com/Windaway/DSOD-Tensorflow
- https://github.com/chenyuntc/dsod.pytorch
- https://github.com/szq0214/GRP-DSOD
RetinaNet
- https://github.com/fizyr/keras-retinanet
- https://github.com/yhenon/pytorch-retinanet
- https://github.com/CasiaFan/tensorflow_retinanet
MegDet
- https://github.com//ruinmessi/RFBNet
- https://github.com/bharatsingh430/snip
- https://github.com/liulei01/DRBox
- https://github.com/szq0214/GRP-DSOD
- https://github.com/Hwang64/MLKP
RefineNet
- https://github.com/sfzhang15/RefineDet
- https://github.com/lzx1413/PytorchSSD
- https://github.com/ddlee96/RefineDet_mxnet
- https://github.com/MTCloudVision/RefineDet-Mxnet
DetNet
- https://github.com/guoruoqian/DetNet_pytorch
- https://github.com/tsing-cv/DetNet
- https://github.com/becauseofAI/DetNet-Keras
CornerNet
- https://github.com/umich-vl/CornerNet
M2Det
- https://github.com/qijiezhao/M2Det
3D Object Detection
- https://github.com/CPFL/Autoware/tree/feature/cnn_lidar_detection
Softer-NMS
- https://github.com/yihui-he/softer-NMS

领域专家

Ross Girshick (rbg 大神)
- [http://www.rossgirshick.info/]
- Ross Girshick是Facebook AI Research（FAIR）的研究科学家，致力于计算机视觉和机器学习。于2012年在Pedro Felzenszwalb的指导下获得了芝加哥大学的计算机科学博士学位。在加入FAIR之前，Ross是Redmond的Microsoft Research研究员和加利福尼亚大学伯克利分校的博士后。兴趣包括将自然语言处理与计算机视觉相结合的实例级对象理解和视觉推理挑战。获得2017年PAMI青年研究奖，并且以开发基于R-CNN（基于区域的卷积神经网络）方法进行物体检测而闻名。2017年，还获得了ICCV的马尔奖。
Kaiming He, Facebook人工智能实验室科学家Kaiming He
- [http://kaiminghe.com/]
- Facebook AI Research（FAIR）的研究科学家。曾在Microsoft Research Asia（MSRA）工作，在获得博士学位后于2011年加入FAIR。研究兴趣是计算机视觉和深度学习。获得2018年PAMI青年研究员奖，CVPR 2009最佳论文奖，CVPR 2016，ICCV 2017，ICCV 2017最佳学生论文奖以及ECCV 2018最佳论文荣誉奖的获得者。残差网络（ResNets）是Google Scholar Metrics 2019 中所有领域引用最多的论文.ResNets的应用还包括语言，语音和AlphaGo。
Shaoqing Ren
- [http://shaoqingren.com/]
- 2016年9月与他人共同创立了自动驾驶软件初创公司Momenta。目前，团队正在研究创新的计算机视觉解决方案，以使自动驾驶汽车成为现实。获得中国科学技术大学和Microsoft Research Asia的联合博士学位的博士学位。我的上司是孙健博士。于2011年从同一部门获得了工学学士学位。
Jian Sun
- [http://www.jiansun.org/]
- 首席科学家， MEGVII Technology研究部常务董事。在Microsoft Research工作了十三年后，加入MEGVII Technology（也称为Face ++，于2016年7月）担任首席科学家和研究总经理。生于中国西安，秦始皇兵马俑所在地。他获得了理学学士，硕士学位和博士学位。分别于1997年，2000年和2003年获得西安交通大学的博士学位。紧随其后，他加入了Microsoft Research Asia，一直从事计算机视觉和计算机图形学领域的工作，尤其对解决基础研究问题和构建实际的工作系统感兴趣。他的主要研究兴趣是计算摄影和基于图像的深度学习。
Tsung-Yi Lin
- [https://vision.cornell.edu/se3/people/tsung-yi-lin/]
- 于2017年在Serge Belongie的指导下在康奈尔纽约技术学院获得博士学位。研究兴趣是计算机视觉，尤其是学习用于交叉视图图像匹配和对象检测的视觉表示。目前是Google Brain的研究科学家。
Ali Farhadi
- [https://homes.cs.washington.edu/~ali/]
- 华盛顿大学计算机科学与工程系的副教授。领导着艾伦人工智能研究所的PRIOR团队。主要对计算机视觉，机器学习，自然语言和视觉的交集，语义在视觉理解中的作用分析以及视觉推理感兴趣。

初步版本，水平有限，有错误或者不完善的地方，欢迎大家提建议和补充，会一直保持更新，本文为专知内容组原创内容，未经允许不得转载，如需转载请发送邮件至fangquanyi@gmail.com 或联系微信专知小助手（Rancho_Fang）

敬请关注http://www.zhuanzhi.ai 和关注专知公众号，获取第一手AI相关知识

最近更新：2019-12-10

VIP内容

场景图 · 视觉关系检测 · 目标检测 · 场景理解 ·

1 月 4 日

场景图生成:一个全面综述

专知会员服务

专知，提供专业可信的知识分发服务，让认知协作更快更好！

近年来，深度学习技术在通用目标检测领域取得了显著的突破，并催生了许多场景理解任务。场景图因其强大的语义表达能力和在场景理解中的应用而成为研究的热点。场景图生成(Scene Graph Generation, SGG)是指将图像自动映射为语义结构的场景图，需要正确标注被检测对象及其关系。虽然这是一个具有挑战性的任务，但社区已经提出了许多SGG方法，并取得了良好的效果。在本文中，我们提供了一个全面的综述，在这一领域的最新成就带来了深度学习技术。本文综述了138个具有代表性的研究成果，并从特征提取和融合的角度系统总结了现有的基于图像的SGG方法。我们试图将现有的视觉关系检测方法进行连接和系统化，以全面的方式总结和解释SGG的机制和策略。最后，我们对目前存在的问题和未来的研究方向进行了深入的讨论，完成了本次综述。这一综述将有助于读者更好地了解目前的研究现状和思路。

计算机视觉(CV)的最终目标是构建智能系统，能够像人类一样从数字图像、视频或其他形式中提取有价值的信息。在过去的几十年里，机器学习(ML)为CV的发展做出了巨大的贡献。受人类能够轻松解读和理解视觉场景能力的启发，视觉场景理解一直被推崇为CV的圣杯，并已经引起了研究界的广泛关注。

视觉场景理解包括许多子任务，一般可分为识别和应用两部分。这些识别任务可以在几个语义级别上进行描述。早期的大部分作品主要集中在图像分类上，只给图像分配了一个标签，例如一只猫或一辆车的图像，并进一步分配了多个标注，而没有定位每个标注在图像中的位置，即[38]。大量的神经网络模型已经出现，甚至在图像分类任务[27]，[29]，[33]，[34]中达到了接近人类的性能。此外，其他一些复杂的任务，如像素级的语义分割，对象检测和实例级的实例分割，都建议将图像分解为前景对象和背景杂波。像素级任务的目标是将图像(或多个)的每个像素分类到一个实例中，其中每个实例(或类别)对应于一个类[37]。实例级任务的重点是在给定的场景中检测和识别单个的对象，以及分别用包围框或分割蒙版勾画一个对象。最近提出的一种名为Panoptic Segmentation (PS)的方法同时考虑了逐像素类和实例标签[32]。随着深度神经网络(DNN)的发展，以对象为中心的任务和基于[17]、[19]、[21]、[22]、[23]模型的各种商业化应用取得了重要突破。然而，场景理解超出了对象的定位。更高层次的任务侧重于探索对象之间丰富的语义关系，以及对象与周围环境的交互，如视觉关系检测[15]、[24]、[26]、[41]和人-物交互(HOI)[14]、[16]、[20]。这些任务同样重要，也更具挑战性。在一定程度上，它们的发展取决于个体实例识别技术的性能。同时，对图像内容进行更深层次的语义理解也有助于完成视觉识别任务[2]，[6]，[36]，[39]，[120]。Divvala等人[40]研究了各种形式的上下文模型，它们可以提高以物体为中心的识别任务的准确性。近年来，研究者们将计算机视觉与自然语言处理(NLP)相结合，提出了一些先进的研究方向，如图像描述、视觉问答(VQA)、视觉对话等。这些视觉和语言主题需要对我们的视觉世界有丰富的理解，并提供智能系统的各种应用场景。

图1 一个场景图结构的可视化说明和一些应用。场景图生成模型以图像为输入，生成视觉基准的场景图。图像描述可以直接从场景图生成。与此相反，图像生成模型通过从给定的句子或场景图生成逼真的图像来逆过程。引用表达式(REF)标记输入图像中与给定表达式对应的区域，该区域与表达式映射场景图的同一子图。基于场景图的图像检索以查询为输入，将检索视为场景图匹配问题。对于Visual Question answer (VQA)任务，答案有时可以直接在场景图中找到，即使对于更复杂的视觉推理，场景图也很有帮助。

尽管在各个层次的场景理解方面已经取得了长足的进步，但还有很长的路要走。信息的整体感知和有效表达仍然是瓶颈。正如之前的一系列作品[1]，[44]，[191]所指出的，构建一种高效的、能够捕获全面语义知识的结构化表示是深入理解视觉场景的关键一步。这种表征不仅可以为基本的识别挑战提供上下文线索，也为高级智力视觉任务提供了一个有前途的替代方案。场景图由Johnson et al.[1]提出，是一种基于特定场景中对象实例的可视化图形，其中节点对应于对象边界框及其对象类别，边表示其成对关系。

由于与图像特征相比，场景图具有结构化的抽象和更大的语义表达能力，因此场景图具有处理和提高其他视觉任务的本能潜力。如图1所示，场景图将图像解析为一个简单而有意义的结构，是视觉场景与文本描述之间的桥梁。许多结合视觉和语言的任务都可以通过场景图来处理，包括图像描述[3]、[12]、[18]、视觉问题回答[4]、[5]、基于内容的图像检索CBIR、[7]、图像生成[8]、[9]和参考表达理解[35]。有些任务将图像作为输入，并将其解析为场景图，然后生成合理的文本作为输出。其他任务则从文本描述中提取场景图，然后生成逼真的图像或检索相应的视觉场景。