哈工大讯飞联合实验室(HFL)资深级研究员、研究主管崔一鸣受邀在NLPCC 2020会议做题为《Revisiting Pre-trained Models for Natural Language Processing》的讲习班报告(Tutorial),介绍了预训练语言模型的发展历程以及近期的研究热点。本期推送文末提供了报告的下载方式。

NLPCC 2020 Tutorials:

http://tcci.ccf.org.cn/conference/2020/tutorials.php

预训练语言模型(PLM)已经成为最近自然语言处理研究的基本元素。在本教程中,我们将回顾文本表示的技术进展,即从一个热点嵌入到最近的PLMs。我们将介绍几种流行的PLMs(如BERT、XLNet、RoBERTa、ALBERT、ELECTRA等)及其技术细节和应用。另一方面,我们也将介绍中国plm的各种努力。在演讲的最后,我们将分析目前PLMs的不足之处,并展望未来的研究方向。

成为VIP会员查看完整内容
47

相关内容

专知会员服务
33+阅读 · 2020年11月25日
【EMNLP2020】序列知识蒸馏进展,44页ppt
专知会员服务
38+阅读 · 2020年11月21日
【NLPCC教程】图神经网络与网络嵌入前沿进展,142页ppt
专知会员服务
70+阅读 · 2020年10月19日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
111+阅读 · 2020年4月23日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
93+阅读 · 2020年2月8日
哈工大讯飞联合实验室发布中文XLNet预训练模型
哈工大SCIR
13+阅读 · 2019年8月20日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
基于深度学习的文本生成【附217页PPT下载】
专知
34+阅读 · 2018年11月24日
CCF发布2017-2018中国计算机科学技术发展报告
中国计算机学会
17+阅读 · 2018年11月7日
自然语言处理(NLP)前沿进展报告(PPT下载)
246 页《统计机器学习与凸优化》教程 PPT 下载
新智元
24+阅读 · 2018年9月21日
Arxiv
0+阅读 · 2020年11月22日
Arxiv
8+阅读 · 2020年10月9日
Revealing the Dark Secrets of BERT
Arxiv
4+阅读 · 2019年9月11日
Arxiv
11+阅读 · 2019年6月19日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
VIP会员
相关VIP内容
专知会员服务
33+阅读 · 2020年11月25日
【EMNLP2020】序列知识蒸馏进展,44页ppt
专知会员服务
38+阅读 · 2020年11月21日
【NLPCC教程】图神经网络与网络嵌入前沿进展,142页ppt
专知会员服务
70+阅读 · 2020年10月19日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
111+阅读 · 2020年4月23日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
93+阅读 · 2020年2月8日
相关论文
微信扫码咨询专知VIP会员