本文试图对神经文本生成模型的基本性质有更深入的理解。对机器生成文本中由于建模选择而出现的构件的研究是一个新兴的研究领域。在此之前,这些人工制品在生成文本中出现的范围和程度还没有得到很好的研究。为了更好地理解生成文本模型及其构件,我们提出了一项新的任务,即区分给定模型的几个变体中哪个生成了一段文本,我们进行了一系列诊断测试,以观察建模选择(例如,抽样方法、top-k概率、模型架构等)是否在它们生成的文本中留下可检测的构件。我们的关键发现得到了一组严格实验的支持,即存在这样的构件,并且可以通过单独观察生成的文本推断出不同的建模选择。这表明,神经文本生成器对各种建模选择的敏感度可能比之前认为的要高。

成为VIP会员查看完整内容
16

相关内容

【ACL2020-密歇根州立大学】语言和视觉推理的跨模态关联
【ACL2020-复旦大学NLP】异构图神经网络的文档摘要提取
专知会员服务
34+阅读 · 2020年5月1日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
35+阅读 · 2020年3月3日
一文详解Google最新NLP模型XLNet
PaperWeekly
17+阅读 · 2019年7月1日
已删除
将门创投
5+阅读 · 2019年4月15日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
迄今最大模型?OpenAI发布参数量高达15亿的通用语言模型GPT-2
中国人工智能学会
7+阅读 · 2019年2月15日
Google:数据并行对神经网络训练用时的影响
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Arxiv
9+阅读 · 2018年10月18日
Arxiv
4+阅读 · 2018年9月6日
Arxiv
7+阅读 · 2017年12月28日
VIP会员
相关资讯
一文详解Google最新NLP模型XLNet
PaperWeekly
17+阅读 · 2019年7月1日
已删除
将门创投
5+阅读 · 2019年4月15日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
迄今最大模型?OpenAI发布参数量高达15亿的通用语言模型GPT-2
中国人工智能学会
7+阅读 · 2019年2月15日
Google:数据并行对神经网络训练用时的影响
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
相关论文
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Arxiv
9+阅读 · 2018年10月18日
Arxiv
4+阅读 · 2018年9月6日
Arxiv
7+阅读 · 2017年12月28日
微信扫码咨询专知VIP会员