学界 | 2018年下半年,别错过这些深度学习项目!

2018 年 12 月 13 日 大数据文摘

大数据文摘出品

编译:fuma、倪倪、蒋宝尚


深度学习现在是一个非常火爆的领域,很难对其快速的发展一一记录。


今年早些时候,作为尝试记录深度学习领域进展的第一步,本文作者Ross Taylor创建了网站Papers With Code。该网站是一个将深度学习研究论文与其实现代码相连接的社区。


Papers With Code:

www.paperswithcode.com


这个网站也使得作者对深度学习领域有了一个全面的了解。基于此,通过本文我们可以看到AI的研究趋势是什么,社区正在采用哪些框架,以及哪些技术正在受到青睐。


最受欢迎的发布:BERT,vid2vid和graph_nets



Google AI的BERT论文在10月份引起了深度学习界的关注。本文提出了一种深度双向编码器模型,该模型可实现11种NLP任务的最先进性能,包括斯坦福问答(SQUAD)数据集。 Google AI开源了他们论文的代码,这是深度学习库类别中,获得最多的“星星”的开源代码。


论文下载地址:

https://arxiv.org/abs/1810.04805

论文代码:

https://github.com/google-research/bert



NVIDIA的一篇关于视频到视频合成的论文,是生成建模的又一个惊人结果,生成模型是过去几年中最受欢迎的深度学习领域之一。该文利用新颖的顺序生成器体系结构,以及诸如前景和背景先验等许多其他设计特征,修复了时间不连贯的问题、提高性能。 NVIDIA开源了他们的代码,欢迎程度位居第二。


论文下载地址:

https://arxiv.org/abs/1808.06601/

代码地址:

https://github.com/NVIDIA/vid2vid/



谷歌DeepMind关于图形网络的论文在今年年中受到了很多关注。图形网络是深度学习开始尝试的新型结构化数据(大多数深度学习应用都是基于向量和序列)。此开源库的受欢迎程度排列第三。


论文下载地址:

https://arxiv.org/abs/1806.01261v3

代码:

https://github.com/deepmind/graph_nets/


最受欢迎的社区:DeOldify,BERT和Fast R-CNN



DeOldify


DeOldify使用SA-GAN,这是一个从PG-GAN获得灵感的架构,应用两个时间尺度的更新规则。


DeOldify项目非常迷人。作者Jason Antic复现了许多生成建模领域的论文,包括自注意力GAN,逐步增长的GAN和两个时间尺度的更新规则。在撰写本文时,该项目的代码在GitHub上有超过4,000颗星。


DeOldify:

https://github.com/jantic/DeOldify


BERT


基于PyTorch框架而实现的BERT也非常受欢迎。深度学习社区不断涌现的代码往往不是基于Tensorflow就是基于PyTorch,同时用两个框架实现的需求越来越大,这样可以方便整个深度学习社区使用它们。 作者Junseong Kim的工作清楚地说明了这一点。目前,这个项目的代码在github上享有超过1,500个星星。


BERT:

https://github.com/codertimo/bert-pytorch



Mask R-CNN


最后,Waleed Abdulla的基于Keras / TensorFlow实现Mask R-CNN是GitHub第三个获得星数最多的代码。在架构上,该实现使用特征金字塔网络和ResNet101基础网络,并且该库可用于许多应用,例如3D建筑物重建,自动驾驶汽车的物体检测,地图中的建筑物类型探测等。该库在GitHub上有超过8,000颗星。


论文下载地址:

https://arxiv.org/abs/1703.06870

代码:

https://github.com/matterport/Mask_RCNN


最热门应用:NLP和GAN

在前50个流行的实现应用中,生成模型和自然语言处理(NLP)是两大最热门领域。对生成模型而言,GitHub上的流行实现包括:vid2vid,DeOldify,CycleGAN和faceswaps。而在NLP中,流行的GitHub库包括BERT,HanLP,jieba,AllenNLP和fastText。


7篇新论文中1篇有代码


你的研究没有代码,你在社区上就不会备受关注,规则就是这样简单。以下是作者分析他自己平台上的论文代码复现情况:


分析基数是过去5年中60,000多份机器学习论文,在6万篇论文中,将近12%有代码实现。在过去的6个月中,约15%的新发表论文(即七分之一的论文)都发布了实现代码。


每隔20分钟,就有一篇新的机器学习论文

自7月以来,机器学习论文的增长率一直在每月3.5%左右,以此计算,每年的增长率约为50%。这意味着每月大约2,200篇机器学习论文,预计明年将有大约30,000篇新的机器学习论文。


在过去3年中,作者网站上的机器学习论文的数量似乎比摩尔定律的增长速度更快,这让你感觉人们相信这将是未来计算技术价值的出处。


框架双头垄断:TensorFlow和PyTorch


虽然PyTorch并不落后,但网站上的大多数实现似乎都是基于TensorFlow的。其他的框架(MXNet,Torch和Caffe2)在生态系统中的存在要小得多。鉴于两个框架中都发生了变化:TensorFlow正朝着即刻执行和由Keras激发灵感的新API方向发展;PyTorch则希望能够更轻松地把模型产品化。


相关报道:

https://medium.com/atlas-ml/state-of-deep-learning-h2-2018-review-cc3e490f1679


【今日机器学习概念】

Have a Great Definition

志愿者介绍

后台回复志愿者”加入我们

登录查看更多
6

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
109+阅读 · 2020年3月12日
49篇ICLR2020高分「图机器学习GML」接受论文及代码
专知会员服务
60+阅读 · 2020年1月18日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
31+阅读 · 2020年1月10日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
2018年最实用机器学习项目Top 6(附开源链接)
新智元
20+阅读 · 2019年1月4日
机器之心年度盘点:2018年重大研究与开源项目
机器之心
20+阅读 · 2018年12月30日
从想法到实干,2018年13项NLP绝美新研究
专知
75+阅读 · 2018年12月26日
不只有BERT!盘点2018年NLP令人激动的10大想法
量子位
3+阅读 · 2018年12月22日
年度大盘点:机器学习开源项目及框架
云栖社区
3+阅读 · 2018年12月17日
Papers With Code:一文看尽深度学习这半年
极市平台
61+阅读 · 2018年12月3日
3月份Github上最热门的数据科学和机器学习项目
大数据技术
7+阅读 · 2018年4月23日
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
Arxiv
6+阅读 · 2019年7月11日
Mesh R-CNN
Arxiv
4+阅读 · 2019年6月6日
Arxiv
7+阅读 · 2018年1月24日
VIP会员
相关资讯
2018年最实用机器学习项目Top 6(附开源链接)
新智元
20+阅读 · 2019年1月4日
机器之心年度盘点:2018年重大研究与开源项目
机器之心
20+阅读 · 2018年12月30日
从想法到实干,2018年13项NLP绝美新研究
专知
75+阅读 · 2018年12月26日
不只有BERT!盘点2018年NLP令人激动的10大想法
量子位
3+阅读 · 2018年12月22日
年度大盘点:机器学习开源项目及框架
云栖社区
3+阅读 · 2018年12月17日
Papers With Code:一文看尽深度学习这半年
极市平台
61+阅读 · 2018年12月3日
3月份Github上最热门的数据科学和机器学习项目
大数据技术
7+阅读 · 2018年4月23日
相关论文
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
Arxiv
6+阅读 · 2019年7月11日
Mesh R-CNN
Arxiv
4+阅读 · 2019年6月6日
Arxiv
7+阅读 · 2018年1月24日
Top
微信扫码咨询专知VIP会员