导读:本文将参考上述综述论文,从预训练语言模型应用于文本生成任务的三个挑战出发:

如何对输入数据进行编码并保持语义,使其与预训练语言模型进行融合; 如何设计通用且合适的预训练语言模型架构,使其作为生成函数; 如何优化生成函数,并保证生成文本满足特殊属性。 并详细列举目前每个挑战下的研究进展。

文本生成是目前自然语言处理领域一项非常重要但具有挑战性的任务,它的目的是希望生成可读的自然语言文本,比较有代表性的应用,例如对话系统、文本摘要和机器翻译等。

目前,深度神经模型在文本生成研究中已取得重大进展,其优势在于深度神经网络可以端到端地学习输入数据到输出文本的语义映射,而不需要人工参与进行特征工程。但是,深度神经模型往往具有大量的参数,而大部分文本生成任务数据集都非常小,因此深度神经网络非常容易在这些数据集上过拟合,导致其无法在实际应用中进行泛化。

随着预训练语言模型(Pretrained Language Models, PLMs)范式的蓬勃发展,越来越多的研究将其运用到各种自然语言处理任务中以取得SOTA效果,例如BERT解决语言理解和GPT解决语言生成。通过在大规模语料集上进行预训练,预训练语言模型可以准确地理解自然语言并以自然语言的形式流畅表达,这两项都是完成文本生成任务的重要能力。

成为VIP会员查看完整内容
80

相关内容

近年来,预训练模型(例如ELMo、GPT、BERT和XLNet等)的快速发展大幅提升了诸多NLP任务的整体水平,同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型,它的特点包括:第一,可以使用大规模无标注纯文本语料进行训练;第二,可以用于各类下游NLP任务,不是针对某项定制的,但以后可用在下游NIP任务上,你不需要为下游任务专门设计一种神经网络,或者提供一种结构,直接在几种给定的固定框架中选择一种进行 fine-tune,就可以从而得到很好的结果。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
基于大型预训练语言模型的自然语言处理研究进展综述
专知会员服务
93+阅读 · 2021年11月4日
开放领域知识图谱问答研究综述
专知会员服务
60+阅读 · 2021年10月30日
专知会员服务
55+阅读 · 2021年10月12日
专知会员服务
41+阅读 · 2021年6月6日
专知会员服务
59+阅读 · 2021年5月28日
知识增强的文本生成研究进展
专知会员服务
97+阅读 · 2021年3月6日
专知会员服务
117+阅读 · 2020年12月9日
最新《知识驱动的文本生成》综述论文,44页pdf
专知会员服务
74+阅读 · 2020年10月13日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
112+阅读 · 2020年4月23日
图像修复研究进展综述
专知
18+阅读 · 2021年3月9日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
基于图神经网络的知识图谱研究进展
AI科技评论
20+阅读 · 2020年8月31日
【长文综述】基于图神经网络的知识图谱研究进展
深度学习自然语言处理
14+阅读 · 2020年8月23日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
27+阅读 · 2018年12月4日
Arxiv
28+阅读 · 2021年10月1日
Arxiv
10+阅读 · 2020年11月26日
Arxiv
6+阅读 · 2016年1月15日
VIP会员
相关VIP内容
基于大型预训练语言模型的自然语言处理研究进展综述
专知会员服务
93+阅读 · 2021年11月4日
开放领域知识图谱问答研究综述
专知会员服务
60+阅读 · 2021年10月30日
专知会员服务
55+阅读 · 2021年10月12日
专知会员服务
41+阅读 · 2021年6月6日
专知会员服务
59+阅读 · 2021年5月28日
知识增强的文本生成研究进展
专知会员服务
97+阅读 · 2021年3月6日
专知会员服务
117+阅读 · 2020年12月9日
最新《知识驱动的文本生成》综述论文,44页pdf
专知会员服务
74+阅读 · 2020年10月13日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
112+阅读 · 2020年4月23日
相关资讯
图像修复研究进展综述
专知
18+阅读 · 2021年3月9日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
基于图神经网络的知识图谱研究进展
AI科技评论
20+阅读 · 2020年8月31日
【长文综述】基于图神经网络的知识图谱研究进展
深度学习自然语言处理
14+阅读 · 2020年8月23日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
27+阅读 · 2018年12月4日
微信扫码咨询专知VIP会员