EfficientNet，SOTA，RegNet笔记

1.RegNet

时间：2020CVPR，作者：何凯明（facebook AI团队）

论文：Designing Network Design Spaces

github：https://github.com/facebookresearch/pycls

论文翻译：https://blog.csdn.net/qq_41185868/article/details/105278487

亮点：

超越 EfficientNet，GPU 上提速 5 倍！

延伸：

2.SOTA

时间：2020CVPR,北航、商汤

论文：Forward and Backward Information Retention for Accurate Binary Neural Networks

github：https://github.com/htqin/IR-Net

论文解析：CVPR 2020 | 多任务图像分类新 SOTA，北航、商汤等提出网络二值化新算法 IR-Net

亮点：提出了一种旨在优化前后向传播中信息流的实用、高效的网络二值化新算法 IR-Net。

3.EfficientNet

时间:2019ICML,作者:Mingxing Tan(GoogleBrain)

论文:EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

github:https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet

论文解析：令人拍案叫绝的EfficientNet和EfficientDet

亮点：

图像识别效率提升 10 倍，参数减少 88%

提出了compound model scaling算法，通过综合优化网络宽度、网络深度和分辨率达到指标提升的目的，能够达到准确率指标和现有分类网络相似的情况下，大大减少模型参数量和计算量。

延伸：

4.EfficientNet-Lite

时间：3.17日谷歌在 GitHub 与 TFHub 上同步发布了 EfficientNet-lite

github:efficientnet-lite

官方的blog:2020/03/higher-accuracy-on-vision-models-with-efficientnet-lite.html

亮点：当前最强移动端轻量神经网络

• 量化，借助 TensorFlow Lite 中提供的训练后量化流程来对模型进行量化处理，尽可能地降低了对准确率的影响。通过量化，模型大小减少为1/4，推理速度提升近2倍。
• 结构和算子优化，去除 squeeze-and-excitation 结构。
• 使用 Relu6替代swish 激活函数
• 放缩模型尺寸时固定 stem 与 head 模块，减少放缩后模型的大小与计算量。

更多：

1.

2.