题目

Pre-trained Models for Natural Language Processing: A Survey

关键词

预训练语言模型,深度学习,自然语言处理,BERT,Transfomer,人工智能

简介

最近,预训练模型(PTM)的出现将自然语言处理(NLP)带入了一个新时代。 在此调查中,我们提供了针对NLP的PTM的全面概述。 我们首先简要介绍语言表示学习及其研究进展。 然后,我们基于分类从四个角度对现有PTM进行系统分类。 接下来,我们描述如何使PTM的知识适应下游任务。 最后,我们概述了PTM未来研究的一些潜在方向。该调查旨在作为实践指南,帮助您理解,使用和开发适用于各种NLP任务的PTM。

作者

Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai ,Xuanjing Huang

译者

专知成员,范志广

成为VIP会员查看完整内容
Pre-trained Models for Natural Language Processing A Survey.pdf
92

相关内容

近年来,预训练模型(例如ELMo、GPT、BERT和XLNet等)的快速发展大幅提升了诸多NLP任务的整体水平,同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型,它的特点包括:第一,可以使用大规模无标注纯文本语料进行训练;第二,可以用于各类下游NLP任务,不是针对某项定制的,但以后可用在下游NIP任务上,你不需要为下游任务专门设计一种神经网络,或者提供一种结构,直接在几种给定的固定框架中选择一种进行 fine-tune,就可以从而得到很好的结果。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
一文了解自然语言生成演变史!
AI前线
5+阅读 · 2019年5月2日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
赛尔译文 | 对话系统综述:新进展新前沿
哈工大SCIR
9+阅读 · 2017年11月17日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
5+阅读 · 2018年1月18日
VIP会员
相关VIP内容
微信扫码咨询专知VIP会员