【Amazon】使用预训练Transformer模型进行数据增强

2020 年 3 月 6 日 专知

基于语言模型的预训练模型,如BERT,在不同的NLP任务中提供了显著的收益。在本文中,我们研究了不同类型的基于自回归模型(GPT-2)、自编码器模型(BERT)和seq2seq模型(BART)等用于条件数据增强的预训练transformer 模型。我们表明,将类标签前置到文本序列提供了一种简单而有效的方法来设置预训练模型的条件,以便进行数据扩充。在三个分类基准上,预先训练的Seq2Seq模型优于其他模型。此外,我们还探讨了不同的基于预训练模型的数据扩充在数据多样性方面是如何不同的,以及这些方法如何很好地保存类标签信息。


地址:

https://www.zhuanzhi.ai/paper/f0767181df6e45b5ff53f5019f9137de




专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DAPT” 就可以获取Amazon—使用预训练Transformer模型进行数据增强》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
12

相关内容

【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
72+阅读 · 2020年4月24日
【ACL2020-伯克利】预训练Transformer提高分布外鲁棒性
专知会员服务
19+阅读 · 2020年4月14日
专知会员服务
44+阅读 · 2020年3月6日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
56+阅读 · 2020年3月6日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
自然语言处理(NLP)前沿进展报告(PPT下载)
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Arxiv
7+阅读 · 2020年3月1日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
Top
微信扫码咨询专知VIP会员