从 Word Embedding 到 Bert:一起肢解 Bert!

2018 年 12 月 11 日 人工智能头条
从 Word Embedding 到 Bert:一起肢解 Bert!

从 Word Embedding 到 Bert

一起肢解 Bert!

Chat 简介:

在 NLP 中,Bert 最近很火,是 NLP 重大进展的集大成者,是最近最火爆的 AI 进展之一。最新的 Google Bert 模型中我们有这样的疑问:

1. 什么是 Bert,这个模型是怎么来的;

2. 刷新了很多 NLP 的任务的最好性能,有些任务还被刷爆了,Bert 值得这么高的评价吗;

3. 它有重大的理论或者模型创新吗。

这篇 Chat 中除了得到以上疑问的答案,您可以得到:

1. 从图像预训练为例,解释预训练的过程和意义;

2. Word Embedding 的发展历程;

3. “Embedding from Language Models”ELMO 模型讲解;

4. “Generative Pre-Training”GPT 模型讲解;

5. Bert 的诞生和“肢解”(ELMO 和 GPT 的优势集成)。

作者简介:

武博士,人工智能方向博士,中国移动集团IT架构师。 科研方向:自然语言处理、计算机视觉、强化学习。 已经发表SCI文章3篇。 CSDN专栏文章60篇。(机器学习专栏、深度学习专栏、强化学习专栏)

长按扫码报名

 

登录查看更多
15

相关内容

BERT全称Bidirectional Encoder Representations from Transformers,是预训练语言表示的方法,可以在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于下游NLP任务,比如机器翻译、问答。
小贴士
相关资讯
绝对干货!NLP预训练模型:从transformer到albert
新智元
12+阅读 · 2019年11月10日
BERT系列文章汇总导读
AINLP
11+阅读 · 2019年8月19日
干货 | 谷歌2019最火NLP模型Bert应用详解
全球人工智能
7+阅读 · 2019年4月3日
3分钟看懂史上最强NLP模型BERT
机器学习算法与Python学习
6+阅读 · 2019年2月27日
详解谷歌最强NLP模型BERT(理论+实战)
AI100
10+阅读 · 2019年1月18日
BERT相关论文、文章和代码资源汇总
AINLP
19+阅读 · 2018年11月17日
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
人工智能前沿讲习班
3+阅读 · 2018年11月15日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
9+阅读 · 2015年8月3日
相关论文
Saurabh Verma,Zhi-Li Zhang
4+阅读 · 2019年9月25日
Liang Yao,Chengsheng Mao,Yuan Luo
8+阅读 · 2019年9月11日
Zhuosheng Zhang,Yuwei Wu,Hai Zhao,Zuchao Li,Shuailiang Zhang,Xi Zhou,Xiang Zhou
3+阅读 · 2019年9月5日
Tianyi Zhang,Varsha Kishore,Felix Wu,Kilian Q. Weinberger,Yoav Artzi
5+阅读 · 2019年4月21日
Qian Chen,Zhu Zhuo,Wen Wang
9+阅读 · 2019年2月28日
Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova
9+阅读 · 2018年10月11日
Jeremy Howard,Sebastian Ruder
3+阅读 · 2018年5月23日
Matthew E. Peters,Mark Neumann,Mohit Iyyer,Matt Gardner,Christopher Clark,Kenton Lee,Luke Zettlemoyer
9+阅读 · 2018年3月22日
Armand Joulin,Edouard Grave,Piotr Bojanowski,Maximilian Nickel,Tomas Mikolov
3+阅读 · 2017年10月30日
Top