Papers With Code:一文看尽深度学习这半年

2018 年 12 月 3 日 极市平台

极市平台是专业的视觉算法开发和分发平台,加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动!

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流点击文末“阅读原文”立刻申请入群~

编译:岳排槐
来源:
量子位


追踪深度学习这样一个大热领域的进展并不容易。


为了解决这个问题,年初我和Robert Stojnic搞了Papers With Code,这个网站把深度学习的研究论文和代码结合在一起。


这也能让我们有机会鸟瞰这个领域,包括研究趋势、热门框架以及哪些技术正受到青睐。这篇博文就用来分享这些。


以下的趋势总结,都来自于网站的数据。我们一起来总结下2018下半年的关键突破,以及深度学习社群的未来之路。

最热模型:BERT、vid2vid和graph_nets

Google AI十月发布的BERT论文,引发了深度学习界的强烈关注。这篇论文提出了一种深度双向Transformer模型。BERT刷新了11种NLP任务的最佳表现,包括斯坦福问答数据集(SQuAD)。

Google AI随后开源了这篇论文的代码,一个月的时间,BERT在GitHub上已经获得8000多次的标星,而且还在快速增加。


论文:
https://arxiv.org/abs/1810.04805

GitHub地址:
https://github.com/google-research/bert




英伟达的Video-to-Video(vid2vid)合成论文,介绍了一个效果惊人的生成模型,过去几年里这也是最受欢迎的深度学习领域之一。


这篇论文利用新颖的顺序生成器架构,以及一些诸如前景和背景先验(foreground-and-background priors)等设计特征,来修复时间不连贯的问题,进而提高性能。

英伟达也开源了代码,成为今年下半年第二大最受欢迎的实现。


论文:
https://arxiv.org/abs/1808.06601

GitHub地址:
https://github.com/NVIDIA/vid2vid




Google DeepMind关于图网络(graph_nets)的论文,在年中的时候获得了大量的关注。这个研究,为深度学习提供了一种数据结构化的新方向。这是今年下半年第三大最后欢迎的实现。


论文:
https://arxiv.org/abs/1806.01261v3

GitHub地址:
https://github.com/deepmind/graph_nets


最流行的项目:DeOldify、BERT和Fast R-CNN


DeOldify是一个使用GAN修复黑白老照片以及重新上色的项目。


这个项目在深度学习社群引发极大的兴趣,作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前,这个项目在GitHub上超过4000标星。


GitHub地址:
https://github.com/jantic/DeOldify




BERT的PyTorch实现,也获得了广泛关注。


这个实现是韩国小哥Junseong Kim完成的,他表示代码很简单,而且也易于理解,其中一些代码基于The Annotated Transformer。目前这个项目在GitHub上获得1500多标星。


GitHub地址:
https://github.com/codertimo/BERT-pytorch




最后要介绍的,是Mask R-CNN的Keras/TensorFlow实现


这个项目的架构,基于一个Feature Pyramid Network和一个ResNet101 backbone。这个库可用于多种场景,例如3D场景重建、自动驾驶的目标检测等。目前这个项目在GitHub上标星超过8000。


GitHub地址:
https://github.com/matterport/Mask_RCNN



数说现状

NLP和GAN最热

查看Top50的实现,最热门的字段是生成模型和自然语言处理。


在生成模型中,GitHub上流行的实现包括:vid2vid,DeOldify,CycleGAN以及faceswaps。


在NLP领域,GitHub上流行的仓库包括:BERT,HanLP,jieba,AllenNLP以及fastText。


7篇新论文中,只有1篇附代码


每隔20分钟,就会出现一片新机器学习论文


自从7月以来,机器学习论文的月增长率一直在3.5%左右,年增长率约50%。这意味着每个月2200篇机器学习论文被发布,明年约有3万篇新机器学习论文会被发布。


这个速度比摩尔定律还快。


框架双寡头:TensorFlow和PyTorch



最后,如果你还没听说过Papers With Code,下面是传送门:

https://paperswithcode.com/





*推荐文章*


每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流点击左下角“阅读原文”立刻申请入群~


登录查看更多
61

相关内容

BERT全称Bidirectional Encoder Representations from Transformers,是预训练语言表示的方法,可以在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于下游NLP任务,比如机器翻译、问答。
2019必读的十大深度强化学习论文
专知会员服务
57+阅读 · 2020年1月16日
一网打尽!100+深度学习模型TensorFlow与Pytorch代码实现集合
BERT进展2019四篇必读论文
专知会员服务
64+阅读 · 2020年1月2日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
224+阅读 · 2019年10月12日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
21秒看尽ImageNet屠榜模型,60+模型架构同台献艺
极市平台
4+阅读 · 2019年9月16日
【重磅】61篇NIPS2019深度强化学习论文及部分解读
AI科技评论
15+阅读 · 2019年9月9日
如何在2019年变成NLP专家
专知
7+阅读 · 2019年5月18日
CVPR2019无人驾驶相关论文
极市平台
21+阅读 · 2019年3月20日
CVPR 2019 无人驾驶相关论文合集(附链接)
智能交通技术
17+阅读 · 2019年3月19日
旷视COCO2018 Keypoint冠军算法详解
极市平台
5+阅读 · 2019年1月10日
学界 | 2018年下半年,别错过这些深度学习项目!
大数据文摘
6+阅读 · 2018年12月13日
(免费精品课程分享)-PyTorch深度学习实战
深度学习与NLP
18+阅读 · 2018年10月28日
推荐|斯坦福大学面向Tensorflow深度学习研究课程(2018)
全球人工智能
4+阅读 · 2018年1月14日
深度学习2017成果展
论智
4+阅读 · 2017年12月26日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
6+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年7月11日
SlowFast Networks for Video Recognition
Arxiv
4+阅读 · 2019年4月18日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
6+阅读 · 2018年6月21日
VIP会员
相关VIP内容
2019必读的十大深度强化学习论文
专知会员服务
57+阅读 · 2020年1月16日
一网打尽!100+深度学习模型TensorFlow与Pytorch代码实现集合
BERT进展2019四篇必读论文
专知会员服务
64+阅读 · 2020年1月2日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
224+阅读 · 2019年10月12日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
21秒看尽ImageNet屠榜模型,60+模型架构同台献艺
极市平台
4+阅读 · 2019年9月16日
【重磅】61篇NIPS2019深度强化学习论文及部分解读
AI科技评论
15+阅读 · 2019年9月9日
如何在2019年变成NLP专家
专知
7+阅读 · 2019年5月18日
CVPR2019无人驾驶相关论文
极市平台
21+阅读 · 2019年3月20日
CVPR 2019 无人驾驶相关论文合集(附链接)
智能交通技术
17+阅读 · 2019年3月19日
旷视COCO2018 Keypoint冠军算法详解
极市平台
5+阅读 · 2019年1月10日
学界 | 2018年下半年,别错过这些深度学习项目!
大数据文摘
6+阅读 · 2018年12月13日
(免费精品课程分享)-PyTorch深度学习实战
深度学习与NLP
18+阅读 · 2018年10月28日
推荐|斯坦福大学面向Tensorflow深度学习研究课程(2018)
全球人工智能
4+阅读 · 2018年1月14日
深度学习2017成果展
论智
4+阅读 · 2017年12月26日
相关论文
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
6+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年7月11日
SlowFast Networks for Video Recognition
Arxiv
4+阅读 · 2019年4月18日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
6+阅读 · 2018年6月21日
Top
微信扫码咨询专知VIP会员