我们介绍了一个新的大规模NLI基准数据集,它是通过一个迭代的、对抗性的循环人工模型过程收集的。在这个新数据集上的训练模型可以在各种流行的NLI基准上获得最先进的性能,同时我们提出了一个更具有困难挑战的新测试集。我们的分析揭示了当前最先进模型的缺点,并显示了非专业的注释者能够成功地发现它们的弱点。数据收集方法可以应用于永久学习的场景,成为NLU的一个可变化推进的目标,而不是一个很快就会饱和的静态基准。

成为VIP会员查看完整内容
9

相关内容

自然语言处理(N LP , Natural Language Processing)是使用自然语言同计算机进行通讯的技术, 因为处理自然语言的关键是要让计算机“理解”自然语言,所以自然语言处理又叫做自然语言理解(NLU ,Natural Language Understanding), 也称为计算语言学(Computational Ling uistics)。一方面它是语言信息处理的一个分支 , 另一方面它是人工智能(AI , Artificial Intelligence)的核心课题之一 。
AAAI 2020 | 多模态基准指导的生成式多模态自动文摘
AI科技评论
16+阅读 · 2020年1月5日
ChineseGLUE:为中文NLP模型定制的自然语言理解基准
NAACL 2019自然语言处理亮点
专知
15+阅读 · 2019年6月15日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
迁移学习在自然语言处理中的应用之通用语言建模
深度学习与NLP
3+阅读 · 2018年9月4日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
VIP会员
相关VIP内容
微信扫码咨询专知VIP会员