预训练在自然语言处理的发展: 从Word Embedding到BERT模型

2018 年 11 月 9 日 AINLP

以下是新浪微博机器学习部AI Lab的资深算法专家张俊林博士11月7日关于BERT的PPT分享,已取得授权转载到这里。节选微博上两段相关的信息:


@张俊林say: BERT这种具备NLP里程碑意义的模型你要是不搞明白就别说自己是搞自然语言处理的了


@微博机器学习

大家期待的PPT来啦《 预训练在自然语言处理的发展:  从Word Embedding到BERT模型 》。在这次分享中,@张俊林say 博士循序渐进,分别介绍了Word Embedding, Facebook的ELMO模型,OpenAI的GPT模型,和NLP领域最新的重大突破:刷新11项纪录的 Google的BERT模型。 
整个PPT全是干货,感兴趣的同学点击链接即可下载。


百度网盘链接:https://pan.baidu.com/s/1o4SBdsx6dY4W4bnuBmU38Q 或 点击文末 “阅读原文”直达。




登录查看更多
15

相关内容

分散式表示即将语言表示为稠密、低维、连续的向量。 研究者最早发现学习得到词嵌入之间存在类比关系。比如apple−apples ≈ car−cars, man−woman ≈ king – queen 等。这些方法都可以直接在大规模无标注语料上进行训练。词嵌入的质量也非常依赖于上下文窗口大小的选择。通常大的上下文窗口学到的词嵌入更反映主题信息,而小的上下文窗口学到的词嵌入更反映词的功能和上下文语义信息。
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
43+阅读 · 2020年6月18日
斯坦福大学经典《自然语言处理cs224n》2020课件合集
专知会员服务
94+阅读 · 2020年5月25日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
209+阅读 · 2020年4月26日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
111+阅读 · 2020年4月23日
3分钟看懂史上最强NLP模型BERT
机器学习算法与Python学习
7+阅读 · 2019年2月27日
详解谷歌最强NLP模型BERT(理论+实战)
AI100
11+阅读 · 2019年1月18日
从 Word Embedding 到 Bert:一起肢解 Bert!
人工智能头条
17+阅读 · 2018年12月11日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
19+阅读 · 2015年8月3日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
11+阅读 · 2019年6月19日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
10+阅读 · 2018年3月22日
Arxiv
5+阅读 · 2018年1月18日
VIP会员
相关资讯
3分钟看懂史上最强NLP模型BERT
机器学习算法与Python学习
7+阅读 · 2019年2月27日
详解谷歌最强NLP模型BERT(理论+实战)
AI100
11+阅读 · 2019年1月18日
从 Word Embedding 到 Bert:一起肢解 Bert!
人工智能头条
17+阅读 · 2018年12月11日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
19+阅读 · 2015年8月3日
Top
微信扫码咨询专知VIP会员