目标检测 - 专知

目标检测，也叫目标提取，是一种与计算机视觉和图像处理有关的计算机技术，用于检测数字图像和视频中特定类别的语义对象（例如人，建筑物或汽车）的实例。深入研究的对象检测领域包括面部检测和行人检测。对象检测在计算机视觉的许多领域都有应用，包括图像检索和视频监视。

知识荟萃

目标检测（物体检测, Object Detection) 专知荟萃

入门学习

图像目标检测（Object Detection）原理与实现（1-6）
目标检测从入门到精通(1-3)
深度学习500问之目标检测
- [https://github.com/scutan90/DeepLearning-500-questions/blob/master/ch08_%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B/%E7%AC%AC%E5%85%AB%E7%AB%A0_%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B.md]
目标检测（Object Detection）入门
- [https://blog.csdn.net/f290131665/article/details/81012556]
- [https://zhuanlan.zhihu.com/p/34142321]

综述

地平线黄李超开讲：深度学习和物体检测！
- [https://www.sohu.com/a/163460329_642762]
对话CVPR2016：目标检测新进展：
- [https://zhuanlan.zhihu.com/p/21533724]
基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN：
- [http://www.cnblogs.com/skyfsm/p/6806246.html]
基于深度学习的目标检测研究进展
- [https://mp.weixin.qq.com/s/RxogMJ86FkQHrzaF4SxFNQ]
讲堂干货No.1｜山世光－基于深度学习的目标检测技术进展与展望
- [https://mp.weixin.qq.com/s/NV2hWofOCractLt45-wI1A]
基于特征共享的高效物体检测 Faster R-CNN和ResNet的作者任少卿博士毕业论文中文
- [https://pan.baidu.com/s/1gfxTbNl]
R-CNN：论文笔记
- [http://www.cnblogs.com/kingstrong/p/4969472.html], [http://blog.gater.vip/articles/2015/11/02/1478607351098.html]
Fast-RCNN:
- 深度学习物体检测（三）——FAST-RCNN：
- [https://www.cnblogs.com/yanshw/p/10767212.html]
- Fast-RCNN:[https://zhuanlan.zhihu.com/p/24780395]
Faster-RCNN:
- [https://www.cnblogs.com/chaofn/p/9310912.html]
FPN:
- Feature Pyramid Networks for Object Detection 论文笔记：
- [http://blog.csdn.net/jesse_mx/article/details/54588085]
- CVPR 2017论文解读：特征金字塔网络FPN：
- [http://www.sohu.com/a/159780794_465975]
- FPN（feature pyramid networks）算法讲解：
- [http://blog.csdn.net/u014380165/article/details/72890275]
R-FCN:
- 基于区域的全卷积网络来检测物体:
- [http://blog.csdn.net/shadow_guo/article/details/51767036]
- [译] 基于R-FCN的物体检测:
- [http://www.jianshu.com/p/db1b74770e52]
SSD:
- Single Shot MultiBox Detector论文阅读：
- [http://blog.csdn.net/u010167269/article/details/52563573]
- 【深度学习：目标检测】RCNN学习笔记(10)：SSD:Single Shot MultiBox Detector：
- [http://blog.csdn.net/smf0504/article/details/52745070]
- 翻译SSD论文(Single Shot MultiBox Detector)，仅作交流：
- [http://blog.csdn.net/Ai_Smith/article/details/52997456?locationNum=2&fps=1]
- CNN目标检测与分割（三）：SSD详解：
- [https://blog.csdn.net/a8039974/article/details/77592395]
- SSD关键源码解析：
- [https://zhuanlan.zhihu.com/p/25100992]
YOLO:
- YOLO：实时快速目标检测：
- [https://zhuanlan.zhihu.com/p/25045711]
- YOLO详解: [https://zhuanlan.zhihu.com/p/25236464]
- YOLO升级版：YOLOv2和YOLO9000解析:
- [https://zhuanlan.zhihu.com/p/29816334]
- YOLO升级版：YOLOv2和YOLO9000解析：
- [https://zhuanlan.zhihu.com/p/29816334]
- YOLO v2之总结篇（linux+windows）：
- [http://blog.csdn.net/qq_14845119/article/details/53589282]
- YOLOv2 论文笔记：
- [http://blog.csdn.net/jesse_mx/article/details/53925356]
- 目标检测网络之 YOLOv3
- [https://www.cnblogs.com/makefile/p/YOLOv3.html]
DenseBox:余凯特邀报告：基于密集预测图的物体检测技术造就全球领先的ADAS系统
- [http://mp.weixin.qq.com/s/9Z9mO3DJ7uPuirMAbPkDcw]
PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection - [http://www.cnblogs.com/xueyuxiaolang/p/5959442.html]
深度学习论文笔记：DSSD - [https://jacobkong.github.io/blog/2938514597/]
DSOD
- 复旦大学Ph.D沈志强：用于目标检测的DSOD模型（ICCV 2017） | 分享总结:
- [http://www.sohu.com/a/198226907_114877]
- 目标检测--DSOD: Learning Deeply Supervised Object Detectors from Scratch：
- [http://blog.csdn.net/zhangjunhit/article/details/77247695]
Focal Loss:
- Focal Loss:
- [http://blog.csdn.net/u014380165/article/details/77019084]
- 读Focal Loss:
- [https://zhuanlan.zhihu.com/p/28873248]
Soft-NMS:
- 一行代码改进NMS:
- [http://blog.csdn.net/shuzfan/article/details/71036040]
OHEM:
- 论文笔记 OHEM: Training Region-based Object Detectors with Online Hard Example Mining:
- [http://blog.csdn.net/u012905422/article/details/52760669]
Mask-RCNN 2017:
- Mask-RCNN 2017:
- [http://blog.csdn.net/inuchiyo_china/article/details/70860939]
- 目标检测分割--Mask R-CNN:
- [http://blog.csdn.net/zhangjunhit/article/details/64920075?locationNum=6&fps=1]
- 解读|Facebook 何凯明发大招：Mask R-CNN 狙击目标实例分割:
- [http://www.sohu.com/a/130676187_642762]
目标检测之比较
- 目标检测之RCNN，SPP-NET，Fast-RCNN，Faster-RCNN：
- [http://lanbing510.info/2017/08/24/RCNN-FastRCNN-FasterRCNN.html]
- RCNN, Fast-RCNN, Faster-RCNN的一些事：
- [http://closure11.com/rcnn-fast-rcnn-faster-rcnn%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BA%8B/]
- 机器视觉目标检测补习贴之R-CNN系列 — R-CNN, Fast R-CNN, Faster R-CNN ，目标检测补习贴之YOLO实时检测, You only look once ：
- [http://nooverfit.com/wp/]
- 目标检测算法：RCNN、YOLO vs DPM：
- [https://juejin.im/entry/59564e1f6fb9a06b9c7408f9]
- 如何评价rcnn、fast-rcnn和faster-rcnn这一系列方法？:
- [https://www.zhihu.com/question/35887527]
视觉目标检测和识别之过去，现在及可能
- [https://zhuanlan.zhihu.com/p/27546796]
CVPR2019目标检测方法进展综述
- [https://zhuanlan.zhihu.com/p/59398728]
基于深度学习的「目标检测」算法综述
- [https://zhuanlan.zhihu.com/p/33981103]
目标检测综述
- [https://www.cnblogs.com/fydeblog/p/10447875.html]
- [https://blog.csdn.net/electech6/article/details/95240278]
- [https://www.jianshu.com/p/8c0e0d19399b]
深度学习目标检测网络汇总对比
- [https://shartoo.github.io/obj_detect_summary/]
从锚点到关键点，最新的目标检测方法发展到哪了
- [http://blog.itpub.net/29829936/viewspace-2654215/]
从RCNN到SSD，这应该是最全的一份目标检测算法盘点
- [http://baijiahao.baidu.com/s?id=1598999301741831102&wfr=spider&for=pc]
目标检测中的不平衡问题：综述
- [https://arxiv.org/abs/1909.00169]
深度学习中用于对象检测的最新进展
- [https://arxiv.org/abs/1908.03673]
基于深度学习的对象检测概述
- [https://arxiv.org/abs/1907.09408]
目标检测20年：综述

[https://arxiv.org/abs/1905.05055]

深度卷积神经网络时代目标检测的最新进展
- [https://arxiv.org/abs/1809.03193]
用于通用对象检测的深度学习：综述
- [https://arxiv.org/abs/1809.02165]

进阶文章

Deep Neural Networks for Object Detection （基于DNN的对象检测）NIPS2013:
- [http://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection.pdf]
R-CNN Rich feature hierarchies for accurate object detection and semantic segmentation:
- [https://arxiv.org/abs/1311.2524]
Fast R-CNN :
- [http://arxiv.org/abs/1504.08083]
Faster R-CNN Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks:
- [http://arxiv.org/abs/1506.01497]
Mask R-CNN
- [http://arxiv.org/abs/1703.06870]
Light-Head R-CNN
- [https://arxiv.org/abs/1711.07264]
Cascade R-CNN
- [https://arxiv.org/abs/1712.00726]
Scalable Object Detection using Deep Neural Networks
- [http://arxiv.org/abs/1312.2249]
Scalable, High-Quality Object Detection
- [http://arxiv.org/abs/1412.1441]
SPP-Net Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- [http://arxiv.org/abs/1406.4729]
DeepID-Net DeepID-Net: Deformable Deep Convolutional Neural Networks for Object Detection
- [https://arxiv.org/abs/1412.5661]
Object Detectors Emerge in Deep Scene CNNs
- [http://arxiv.org/abs/1412.6856]
segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection
- [https://arxiv.org/abs/1502.04275]
Object Detection Networks on Convolutional Feature Maps
- [http://arxiv.org/abs/1504.06066]
Improving Object Detection with Deep Convolutional Networks via Bayesian Optimization and Structured Prediction
- [http://arxiv.org/abs/1504.03293]
DeepBox: Learning Objectness with Convolutional Networks
- [http://arxiv.org/abs/1504.03293]
Object detection via a multi-region & semantic segmentation-aware CNN model
- [http://arxiv.org/abs/1505.01749]
You Only Look Once: Unified, Real-Time Object Detection
- [http://arxiv.org/abs/1506.02640]
YOLOv2 YOLO9000: Better, Faster, Stronger
- [https://arxiv.org/abs/1612.08242]
YOLOv3
- [https://arxiv.org/abs/1804.02767]
YOLT
- [https://arxiv.org/abs/1805.09512]
AttentionNet: Aggregating Weak Directions for Accurate Object Detection
- [http://arxiv.org/abs/1506.07704]
DenseBox: Unifying Landmark Localization with End to End Object Detection
- [http://arxiv.org/abs/1509.04874]
SSD: Single Shot MultiBox Detector
- [http://arxiv.org/abs/1512.02325]
DSSD : Deconvolutional Single Shot Detector
- [https://arxiv.org/abs/1701.06659]
FSSD
- [https://arxiv.org/abs/1712.00960]
ESSD
- [https://arxiv.org/abs/1801.05918]
MDSSD
- [https://arxiv.org/abs/1805.07009]
Pelee
- [https://arxiv.org/abs/1804.06882]
Fire SSD
- https://arxiv.org/abs/1806.05363
G-CNN: an Iterative Grid Based Object Detector
- [http://arxiv.org/abs/1512.07729]
HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection
- [http://arxiv.org/abs/1604.00600]
A MultiPath Network for Object Detection
- [http://arxiv.org/abs/1604.02135]
R-FCN: Object Detection via Region-based Fully Convolutional Networks
- [http://arxiv.org/abs/1605.06409]
A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
- [http://arxiv.org/abs/1607.07155]
PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection
- [http://arxiv.org/abs/1608.08021]
Feature Pyramid Networks for Object Detection
- [https://arxiv.org/abs/1612.03144]
Learning Chained Deep Features and Classifiers for Cascade in Object Detection
- [https://arxiv.org/abs/1702.07054]
DSOD: Learning Deeply Supervised Object Detectors from Scratch
- [https://arxiv.org/abs/1708.01241]
Focal Loss for Dense Object Detection ICCV 2017 Best student paper award. Facebook AI Research
- [https://arxiv.org/abs/1708.02002]
MegDet
- [https://arxiv.org/abs/1711.07240]
Mask-RCNN 2017 ICCV 2017 Best paper award. Facebook AI Research
- [http://arxiv.org/abs/1703.06870]
RefineNet
- [https://arxiv.org/abs/1711.06897]
DetNet
- [https://arxiv.org/abs/1804.06215]
SSOD
- [https://arxiv.org/abs/1806.03370]
CornerNet
- [https://arxiv.org/abs/1808.01244]
M2Det
- [https://arxiv.org/abs/1811.04533]
3D Object Detection
- [https://arxiv.org/abs/1901.08373]
- [https://arxiv.org/abs/1805.04902]
ZSD（Zero-Shot Object Detection）
- [https://arxiv.org/abs/1803.07113]
OSD（One-Shot object Detection）
- [https://arxiv.org/abs/1904.02317]
Weakly Supervised Object Detection
- [https://arxiv.org/abs/1810.02569]
Softer-NMS
- [https://arxiv.org/abs/1809.08545]
NAS-FPN，可实现比Mask-RCNN、FPN、SSD更快更好的目标检测
- [https://arxiv.org/abs/1904.07392]
- [https://www.shangyexinzhi.com/article/details/id-112816/]
多方向目标检测：水平边界框上的滑动顶点
- [https://arxiv.org/abs/1911.09358]
SM-NAS：结构到模块的神经体系结构搜索以进行目标检测
- [https://arxiv.org/abs/1911.09929]
基于PSNet和边框回归的弱监督目标检测(WSOD)
- [https://arxiv.org/abs/1911.11512]
带有可见IoU和Box Sign预测器的遮挡性行人检测
- [https://arxiv.org/abs/1911.11449]
CSPNet：可以增强CNN学习能力的新型Backbone
- [https://arxiv.org/abs/1911.11929]
ReBiF：残差双融合特征金字塔网络，用于较精确的Single-shot目标检测
- [https://arxiv.org/abs/1911.12051]
目标检测的性能上界讨论
- [https://arxiv.org/abs/1911.12451]
DIoU Loss：更快更好地学习边界框回归
- [https://arxiv.org/abs/1911.08287]
CoAE：用于One-Shot目标检测的共同注意和共同激励
- [https://arxiv.org/abs/1911.12529]
SAPD：Soft Anchor-Point目标检测
- [https://arxiv.org/abs/1911.12448]
MMOD：基于混合模型的目标检测边界框密度估计
- [https://arxiv.org/abs/1911.12721]
IENet：方向性航空目标检测的One Stage Anchor Free检测器
- [https://arxiv.org/abs/1912.00969]
MnasFPN：用于移动设备上目标检测的延迟感知的金字塔体系结构
- [https://arxiv.org/abs/1912.01106]
IPG-Net：用于目标检测的图像金字塔引导网络
- [https://arxiv.org/abs/1912.00632]
MAL：用于目标检测的多Anchor学习
- [https://arxiv.org/abs/1912.02252]
ATSS：缩小Anchor-free和Anchor-based的性能差距：通过自适应训练样本选择
- [https://arxiv.org/abs/1912.02424]
Strong-Weak Distribution Alignment for Adaptive Object Detection
- [https://arxiv.org/abs/1812.04798]
PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation
- [https://arxiv.org/abs/1903.00709]
Deep HoughVoting for 3D Object Detection in Point Clouds
- [https://arxiv.org/abs/1904.09664]
Simultaneous multi-view instance detection with learned geometric soft-constraints
- [https://arxiv.org/abs/1907.10892]
Cap2Det: Learning to Amplify Weak Caption Supervision for Object Detection
- [https://arxiv.org/abs/1907.10164]
Towards Adversarially Robust Object Detection
- [https://arxiv.org/abs/1907.10310]
Multi-adversarial Faster-RCNN for Unrestricted Object Detection
- [https://arxiv.org/abs/1907.10343]
Selectivity or Invariance: Boundary-aware Salient Object Detection
- [https://arxiv.org/pdf/1812.10066.pdf]
Joint Monocular 3D Detection and Tracking
- [https://arxiv.org/abs/1811.10742]
GA-DAN: Geometry-Aware Domain Adaptation Network for Scene Text Detection and Recognition
- [https://arxiv.org/abs/1907.09653]
ThunderNet: Towards Real-time Generic Object Detection
- [https://arxiv.org/abs/1903.11752]
MemorizingNormality to Detect Anomaly: Memory-augmented Deep Autoencoder (MemAE) forUnsupervised Anomaly Detection
- [https://arxiv.org/abs/1904.02639]

Tutorial

CVPR'17 Tutorial Deep Learning for Objects and Scenes by Kaiming He Ross Girshick
- [http://deeplearning.csail.mit.edu/]
ICCV 2015 Tools for Efficient Object Detection
- [http://mp7.watson.ibm.com/ICCV2015/ObjectDetectionICCV2015.html]
Object Detection
- [http://class.inrialpes.fr/tutorials/triggs-icvss1.pdf]
Image Recognition and Object Detection : Part 1
- [https://www.learnopencv.com/image-recognition-and-object-detection-part1/]
R-CNN for Object Detection
- [https://courses.cs.washington.edu/courses/cse590v/14au/cse590v_wk1_rcnn.pdf]
史上最详尽的yolo教程
- https://github.com/AlexeyAB/darknet#how-to-train-to-detect-your-custom-objects
- https://www.e-learn.cn/content/qita/2332027
Keras-RetinaNet训练自己的数据详细教程
- https://blog.csdn.net/sinat_35512245/article/details/88188365

视频教程

cs231 第11讲 Detection and Segmentation
- PPT ：[http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf] 视频：[https://www.youtube.com/watch?v=nDPWywWRIRo&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv]
Deep Learning for Instance-level Object Understanding by Ross Girshick.
- PPT：[http://deeplearning.csail.mit.edu/instance_ross.pdf]
- 视频：[https://youtu.be/jHv37mKAhV4?t=2349]
(全)深度学习之目标检测常用算法原理+实践精讲
- [https://www.bilibili.com/video/av68991919?p=1]
最全的目标检测原理讲解
- [https://www.bilibili.com/video/av70977633?p=1]
深度学习之分类与目标检测
- [https://www.bilibili.com/video/av55200663?p=1]
2019最新基于深度学习的目标检测原理及实践教程
- [https://www.bilibili.com/video/av74399668?p=1]
Tensorflow Object Detection Tutorial

代码

R-CNN
- [https://github.com/rbgirshick/rcnn]
Fast R-CNN:
- [https://github.com/rbgirshick/fast-rcnn]
- github("Fast R-CNN in MXNet"): https://github.com/precedenceguo/mx-rcnn
- github: https://github.com/mahyarnajibi/fast-rcnn-torch
- github: https://github.com/apple2373/chainer-simple-fast-rnn
- github: https://github.com/zplizzi/tensorflow-fast-rcnn
Faster R-CNN
- github(official, Matlab): https://github.com/ShaoqingRen/faster_rcnn
- github: https://github.com/rbgirshick/py-faster-rcnn
- github: https://github.com/mitmul/chainer-faster-rcnn
- github: https://github.com/andreaskoepf/faster-rcnn.torch
- github: https://github.com/ruotianluo/Faster-RCNN-Densecap-torch
- github: https://github.com/smallcorgi/Faster-RCNN_TF
- github: https://github.com/CharlesShang/TFFRCNN
- github(C++ demo): https://github.com/YihangLou/FasterRCNN-Encapsulation-Cplusplus
- github: https://github.com/yhenon/keras-frcnn
SPP-Net
- [https://github.com/ShaoqingRen/SPP_net]
YOLO
- github: https://github.com/gliese581gg/YOLO_tensorflow
- github: https://github.com/xingwangsfu/caffe-yolo
- github: https://github.com/frankzhangrui/Darknet-Yolo
- github: https://github.com/BriSkyHekun/py-darknet-yolo
- github: https://github.com/tommy-qichang/yolo.torch
- github: https://github.com/frischzenger/yolo-windows
- github: https://github.com/AlexeyAB/yolo-windows
- github: https://github.com/nilboy/tensorflow-yolo
YOLOv2
- github(Chainer): https://github.com/leetenki/YOLOv2
- github(Keras): https://github.com/allanzelener/YAD2K
- github(PyTorch): https://github.com/longcw/yolo2-pytorch
- github(Tensorflow): https://github.com/hizhangp/yolo_tensorflow
- github(Windows): https://github.com/AlexeyAB/darknet
- github: https://github.com/choasUp/caffe-yolo9000
- github: https://github.com/philipperemy/yolo-9000
YOLOv3
- https://github.com/qqwweee/keras-yolo3
- https://github.com/marvis/pytorch-yolo3
- https://github.com/experiencor/keras-yolo3
- https://github.com/ultralytics/yolov3
- https://github.com/eriklindernoren/PyTorch-YOLOv3
- https://github.com/YunYang1994/tensorflow-yolov3
- https://github.com/SpikeKing/keras-yolo3-detection
SSD
- github: https://github.com/zhreshold/mxnet-ssd
- github: https://github.com/zhreshold/mxnet-ssd.cpp
- github: https://github.com/rykov8/ssd_keras
- github: https://github.com/balancap/SSD-Tensorflow
- github: https://github.com/amdegroot/ssd.pytorch
- github(Caffe): https://github.com/chuanqi305/MobileNet-SSD
Recurrent Scale Approximation for Object Detection in CNN
- [https://github.com/sciencefans/RSA-for-object-detection]
Mask-RCNN 2017
- Keras [https://github.com/matterport/Mask_RCNN]
- TensorFlow [https://github.com/CharlesShang/FastMaskRCNN]
- Pytorch [https://github.com/felixgwu/mask_rcnn_pytorch]
- caffe [https://github.com/jasjeetIM/Mask-RCNN]
- MXNet [https://github.com/TuSimple/mx-maskrcnn]
Light-Head R-CNN
- https://github.com/zengarden/light_head_rcnn
- https://github.com/terrychenism/Deformable-ConvNets/blob/master/rfcn/symbols/resnet_v1_101_rfcn_light.py#L784
Cascade R-CNN
- https://github.com/zhaoweicai/cascade-rcnn
YOLT
- https://github.com/avanetten/yolt
DSSD
- https://github.com/chengyangfu/caffe/tree/dssd
- https://github.com/MTCloudVision/mxnet-dssd
Pelee
- https://github.com/Robert-JunWang/Pelee
R-FCN
- https://github.com/daijifeng001/R-FCN
- https://github.com/msracver/Deformable-ConvNets/tree/master/rfcn
- https://github.com/Orpine/py-R-FCN
- https://github.com/PureDiors/pytorch_RFCN
- https://github.com/bharatsingh430/py-R-FCN-multiGPU
- https://github.com/xdever/RFCN-tensorflow
FPN
- https://github.com/xiaohaoChen/rrc_detection
- https://github.com/taokong/RON
- https://github.com/sciencefans/RSA-for-object-detection
DSOD
- https://github.com/szq0214/DSOD
- https://github.com/Windaway/DSOD-Tensorflow
- https://github.com/chenyuntc/dsod.pytorch
- https://github.com/szq0214/GRP-DSOD
RetinaNet
- https://github.com/fizyr/keras-retinanet
- https://github.com/yhenon/pytorch-retinanet
- https://github.com/CasiaFan/tensorflow_retinanet
MegDet
- https://github.com//ruinmessi/RFBNet
- https://github.com/bharatsingh430/snip
- https://github.com/liulei01/DRBox
- https://github.com/szq0214/GRP-DSOD
- https://github.com/Hwang64/MLKP
RefineNet
- https://github.com/sfzhang15/RefineDet
- https://github.com/lzx1413/PytorchSSD
- https://github.com/ddlee96/RefineDet_mxnet
- https://github.com/MTCloudVision/RefineDet-Mxnet
DetNet
- https://github.com/guoruoqian/DetNet_pytorch
- https://github.com/tsing-cv/DetNet
- https://github.com/becauseofAI/DetNet-Keras
CornerNet
- https://github.com/umich-vl/CornerNet
M2Det
- https://github.com/qijiezhao/M2Det
3D Object Detection
- https://github.com/CPFL/Autoware/tree/feature/cnn_lidar_detection
Softer-NMS
- https://github.com/yihui-he/softer-NMS

领域专家

Ross Girshick (rbg 大神)
- [http://www.rossgirshick.info/]
- Ross Girshick是Facebook AI Research（FAIR）的研究科学家，致力于计算机视觉和机器学习。于2012年在Pedro Felzenszwalb的指导下获得了芝加哥大学的计算机科学博士学位。在加入FAIR之前，Ross是Redmond的Microsoft Research研究员和加利福尼亚大学伯克利分校的博士后。兴趣包括将自然语言处理与计算机视觉相结合的实例级对象理解和视觉推理挑战。获得2017年PAMI青年研究奖，并且以开发基于R-CNN（基于区域的卷积神经网络）方法进行物体检测而闻名。2017年，还获得了ICCV的马尔奖。
Kaiming He, Facebook人工智能实验室科学家Kaiming He
- [http://kaiminghe.com/]
- Facebook AI Research（FAIR）的研究科学家。曾在Microsoft Research Asia（MSRA）工作，在获得博士学位后于2011年加入FAIR。研究兴趣是计算机视觉和深度学习。获得2018年PAMI青年研究员奖，CVPR 2009最佳论文奖，CVPR 2016，ICCV 2017，ICCV 2017最佳学生论文奖以及ECCV 2018最佳论文荣誉奖的获得者。残差网络（ResNets）是Google Scholar Metrics 2019 中所有领域引用最多的论文.ResNets的应用还包括语言，语音和AlphaGo。
Shaoqing Ren
- [http://shaoqingren.com/]
- 2016年9月与他人共同创立了自动驾驶软件初创公司Momenta。目前，团队正在研究创新的计算机视觉解决方案，以使自动驾驶汽车成为现实。获得中国科学技术大学和Microsoft Research Asia的联合博士学位的博士学位。我的上司是孙健博士。于2011年从同一部门获得了工学学士学位。
Jian Sun
- [http://www.jiansun.org/]
- 首席科学家， MEGVII Technology研究部常务董事。在Microsoft Research工作了十三年后，加入MEGVII Technology（也称为Face ++，于2016年7月）担任首席科学家和研究总经理。生于中国西安，秦始皇兵马俑所在地。他获得了理学学士，硕士学位和博士学位。分别于1997年，2000年和2003年获得西安交通大学的博士学位。紧随其后，他加入了Microsoft Research Asia，一直从事计算机视觉和计算机图形学领域的工作，尤其对解决基础研究问题和构建实际的工作系统感兴趣。他的主要研究兴趣是计算摄影和基于图像的深度学习。
Tsung-Yi Lin
- [https://vision.cornell.edu/se3/people/tsung-yi-lin/]
- 于2017年在Serge Belongie的指导下在康奈尔纽约技术学院获得博士学位。研究兴趣是计算机视觉，尤其是学习用于交叉视图图像匹配和对象检测的视觉表示。目前是Google Brain的研究科学家。
Ali Farhadi
- [https://homes.cs.washington.edu/~ali/]
- 华盛顿大学计算机科学与工程系的副教授。领导着艾伦人工智能研究所的PRIOR团队。主要对计算机视觉，机器学习，自然语言和视觉的交集，语义在视觉理解中的作用分析以及视觉推理感兴趣。

初步版本，水平有限，有错误或者不完善的地方，欢迎大家提建议和补充，会一直保持更新，本文为专知内容组原创内容，未经允许不得转载，如需转载请发送邮件至fangquanyi@gmail.com 或联系微信专知小助手（Rancho_Fang）

敬请关注http://www.zhuanzhi.ai 和关注专知公众号，获取第一手AI相关知识

最近更新：2019-12-10

VIP内容

目标检测 · 语言建模 ·

9 月 23 日

【Hinton新论文】语言建模目标检测Pix2seq

专知会员服务

专知，提供专业可信的知识分发服务，让认知协作更快更好！

摘要：

本文提出了一个简单而通用的目标检测框架Pix2Seq。不像现有的方法，明确地集成关于任务的先验知识，我们简单地将目标检测作为一个语言建模任务，条件是观察像素输入。目标描述(如包围盒和类标签)被表示为离散符号序列，我们训练神经网络来感知图像并生成所需的序列。我们的方法主要基于直觉，即如果神经网络知道目标在哪里和是什么，我们只需要教它如何读出它们。除了使用特定于任务的数据增强外，我们的方法对任务进行了最小的假设，但与高度专业化和良好优化的检测算法相比，它在具有挑战性的COCO数据集上取得了具有非常好的结果。

引言

视觉目标检测系统的目标是识别和定位图像中所有预定义类别的目标。检测到的对象通常由一组包围框和相关的类标签描述。考虑到任务的难度，大多数现有的方法，如(Girshick, 2015; Ren et al., 2015; He et al., 2017; Lin et al., 2017b; Carion et al., 2020)，经过精心设计和高度定制，在结构和损失功能的选择方面具有大量的先验知识。例如，许多架构都使用了边界框(例如，区域方案(Girshick, 2015;Ren et al.， 2015)和RoI池化(Girshick et al., 2014; He et al., 2017))。损失函数也经常被裁剪为使用边界盒，如盒回归(Szegedy et al.， 2013;Lin et al.， 2017b)，集匹配(Erhan et al.， 2014;Carion et al.， 2020)，或合并特定的性能指标，如边界框上的交叉-联合(Rezatofighi et al.， 2019)。尽管现有系统在无数领域都有应用，从自动驾驶汽车(Sun et al.， 2020)，到医学图像分析(Jaeger et al.， 2020)，再到农业(Sa et al.， 2016)，但其专业化和复杂性使其难以整合到一个更大的系统中。或者泛化到与通用智能相关的更广泛的任务。

本文提出一种新的方法，如果神经网络知道目标在哪里和什么，我们只需要教它把它们读出来。通过学习“描述”对象目标，模型可以学习以像素观察为基础的“语言”，从而得到有用的目标表示。这是通过我们的Pix2Seq框架实现的。给定一个图像，我们的模型产生一个离散的标记序列，对应于目标描述，让人想起图像字幕系统(Vinyals et al., 2015b; Karpathy & Fei-Fei, 2015; Xu et al., 2015)。本质上，我们将目标检测视为一个以像素输入为条件的语言建模任务，其模型结构和损失函数是通用的、相对简单的，没有针对检测任务进行专门设计。因此，可以很容易地将框架扩展到不同的领域或应用，或将其合并到支持一般智能的感知系统中，为广泛的视觉任务提供语言接口。

为了处理Pix2Seq的检测任务，我们首先提出了一个量化和序列化方案，将包围盒和类标签转换成一个离散令牌序列。然后我们利用编码器-解码器体系结构来感知像素输入并生成目标序列。目标函数是基于像素输入和之前的标记的最大可能性。虽然体系结构和损失函数都是任务无关的(无需假设关于目标检测的先验知识，例如包围框)，但我们仍然可以将特定于任务的先验知识与序列增强技术结合起来，该技术在训练过程中改变输入和目标序列，如下所示。通过广泛的实验，与高度定制的、建立良好的方法相比，包括Faster R-CNN (Ren et al.， 2015)和DETR (Carion et al.， 2020)。，我们证明了这个简单的Pix2Seq框架可以在COCO数据集上取得有竞争力的结果。

PIX2SEQ框架

在提出的Pix2Seq框架中，我们将目标检测视为一项语言建模任务，条件是像素输入。如图1所示，Pix2Seq的架构和学习过程有四个主要组件(图2):

图像增强:在训练计算机视觉模型中很常见，我们使用图像增强来丰富一组固定的训练样例

序列构造和增强:由于图像的目标标注通常表示为一组包围盒和类标签，我们将它们转换为一组离散标记。

架构:我们使用编码器-解码器模型，编码器感知像素输入，解码器生成目标序列(每次一个标记)。

目标/损失函数:对模型进行训练，使以图像和之前的令牌为条件的令牌的对数可能性最大化(具有softmax交叉熵损失)。

实验结果

我们在MS-COCO 2017检测数据集(Lin et al.， 2014)上评估了提出的方法，该数据集包含118k训练图像和5k验证图像。为了与DETR和Faster R-CNN进行比较，我们报告了平均精度(AP)。

结果如表1所示，其中每一节比较相同ResNet“骨干网”的不同方法。总体而言，Pix2Seq在这两个Baseline上都取得了有相匹配的结果。我们的模型在小型和中型目标对象上的表现与Faster R-CNN相当，但在大型目标对象上表现更好。与DETR相比，我们的模型在大型和中型目标对象上的性能相当或略差，但在小型目标上性能明显更好。

结论

本文介绍了一个简单而通用的目标检测框架Pix2Seq。通过将目标检测转换为语言建模任务，我们的方法在很大程度上简化了检测pipeline，消除了现代检测算法中的大部分专业化。虽然在具有挑战性的COCO数据集上，它与建立良好的基线相比取得了有竞争力的结果，但架构和训练过程仍然可以进行优化，以提高其性能。我们认为，所提出的Pix2Seq框架不仅适用于目标检测，还可以应用于其他产生低带宽输出的视觉任务，其中输出可以表示为一个相对简洁的离散token序列(如关键点检测、图像字幕、视觉问答)。为此，我们希望将Pix2Seq扩展为一个通用和统一的接口，以解决各种各样的视觉任务。此外，目前训练Pix2Seq的方法完全是基于人类注释的，我们希望减少这种依赖，让模型也能从更多的未标记数据中受益。

成为VIP会员查看完整内容