题目: oLMpics - On what Language Model Pre-training Captures

摘要:

最近,预训练语言模型(LMs)的成功引起了人们对其语言能力的广泛兴趣。然而,了解LM表示对于符号推理任务是否有用的努力是有限和分散的。在这项工作中,我们提出了八个推理任务,这些任务在概念上需要进行比较、连接和组合等操作。一个基本的挑战是理解LM在任务上的性能应该归因于预先训练的表示还是任务数据的微调过程。为了解决这个问题,我们提出了一个评估协议,其中包括了零次评估(没有微调),以及将微调LM的学习曲线与多个控件的学习曲线进行比较,从而描绘出LM功能的丰富画面。我们的主要发现是:(a)不同的LMs表现出不同的定性推理能力,例如,RoBERTa成功地完成了BERT完全失败的推理任务;(b) LMs不以抽象的方式推理,而是依赖于上下文,例如,罗伯塔可以比较年龄,但它只能在年龄处于人类年龄的典型范围内时才能这样做;(c)在一半的推理任务中,所有的模型都完全失败了。我们的发现和基础设施可以帮助未来的工作设计新的数据集,模型和目标函数的培训。

作者:

Alon Talmor是特拉维夫大学自然语言处理的博士生,由Jonathan Berant博士指导,主要研究方向是自然语言处理和问答系统。个人官网:https://www.alontalmor.com/

Jonathan Berant是特拉维夫大学布拉瓦特尼克计算机科学学院助理教授,研究领域是自然语言处理,研究自然语言理解问题,如语义分析、问题回答、释义、阅读理解和文本蕴涵。最感兴趣的是能从需要多步骤推理或处理语言构成的弱监督中学习。个人官网:http://www.cs.tau.ac.il/~joberant/

成为VIP会员查看完整内容
0
10

相关内容

近年来,预训练模型(例如ELMo、GPT、BERT和XLNet等)的快速发展大幅提升了诸多NLP任务的整体水平,同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型,它的特点包括:第一,可以使用大规模无标注纯文本语料进行训练;第二,可以用于各类下游NLP任务,不是针对某项定制的,但以后可用在下游NIP任务上,你不需要为下游任务专门设计一种神经网络,或者提供一种结构,直接在几种给定的固定框架中选择一种进行 fine-tune,就可以从而得到很好的结果。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Adversarial Training for Large Neural Language Models

简介: 泛化性和鲁棒性都是设计机器学习方法的关键要求。对抗性训练可以增强鲁棒性,但是过去的工作常常发现它不利于推广。在自然语言处理(NLP)中,预训练大型神经语言模型(例如BERT)在针对各种任务的通用化方面显示出令人印象深刻的收益,而从对抗性微调中得到了进一步的改进。但是,这些模型仍然容易受到对抗性攻击。在本文中,我们表明对抗性预训练可以同时提高泛化性和鲁棒性。我们提出了一种通用算法ALUM(大型神经语言模型的专家训练),该算法通过在嵌入空间中应用扰动来最大化训练目标,从而使对抗性损失最大化。我们将对所有阶段的对抗训练进行全面的研究,包括从头开始进行预训练,在训练有素的模型上进行连续的预训练以及针对特定任务的微调。在常规和对抗性方案中,在各种NLP任务上,ALUM都比BERT获得了可观的收益。即使对于已经在超大型文本语料库上进行过良好训练的模型(例如RoBERTa),ALUM仍可以通过连续的预训练获得可观的收益,而传统的非对抗方法则不能。可以将ALUM与特定于任务的微调进一步结合以获取更多收益。

成为VIP会员查看完整内容
0
32

最近的研究表明,预训练文本表示能够显著提高许多自然语言处理任务的性能。训练的中心目标是学习对后续任务有用的文本表示形式。然而,现有的方法是通过最小化代理目标(如语言建模的负日志可能性)来优化的。在这项工作中,我们介绍了一个学习算法,它直接优化模型学习文本表示的能力,以有效地学习下游任务。我们证明了多任务预训练和模型不可知的元学习之间有着内在的联系。BERT中采用的标准多任务学习目标是元训练深度为零的学习算法的一个特例。我们在两种情况下研究了这个问题:无监督的预训练和有监督的预训练,不同的预训练对象验证了我们的方法的通用性。实验结果表明,我们的算法对各种下游任务进行了改进,获得了更好的初始化。

成为VIP会员查看完整内容
0
30

题目

预训练Transformer校准,Calibration of Pre-trained Transformers

关键字

自然语言处理,预训练语言模型,Transformer,模型校准优化

简介

现在,经过预训练的Transformer在自然语言处理中无处不在,但是尽管它们具有很高的最终任务性能,但从经验上对它们是否经过校准的了解很少。具体地说,这些模型的事后概率是否可以提供准确的经验度量,以证明该模型在给定示例上正确的可能性有多大?我们专注于BERT(Devlin等人,2019)和RoBERTa(Liu等人,2019),并在三个任务上分析其校准:自然语言推理,释义检测和常识推理。对于每项任务,我们都会考虑域内以及具有挑战性的域外设置,在这些设置中,模型面临着更多不确定的示例。我们证明:(1)开箱即用的预训练模型在域内进行校准,并且与基线相比,其域外的校准误差可低3.5倍;(2)温度缩放有效地进一步减小了域内的校准误差,并且使用标签平滑来故意增加经验不确定性有助于域外后验校正。

作者

Shrey Desai and Greg Durrett ,德克萨斯大学奥斯汀分校计算机科学系。

成为VIP会员查看完整内容
0
17

题目: What Can Neural Networks Reason About?

摘 要:

神经网络已经成功地完成了许多推理任务。从经验上看,这些任务需要专门的网络结构,例如,图神经网络(GNNs)在许多这样的任务中表现良好,但较少结构的网络会失败。从理论上讲,尽管网络结构具有相同的表达能力,但人们对网络结构为什么以及何时比其他网络结构更能泛化的理解是有限的。本文通过研究网络的计算结构与相关推理过程的算法结构之间的一致性,建立了一个描述网络能很好学习哪些推理任务的框架。我们正式定义了这种算法对齐,并推导出一个随更好的对齐而减小的样本复杂度界。该框架为流行推理模型的经验成功提供了一个解释,并指出了它们的局限性。例如,我们通过一个强大的算法范例——动态规划(DP)的镜头,将看似不同的推理任务,如直觉物理、可视化问题回答和最短路径统一起来。我们证明了GNN与DP是一致的,因此可以解决这些问题。在一些推理任务中,我们的理论得到了实证结果的支持。

成为VIP会员查看完整内容
0
38

题目: CodeBERT: A Pre-Trained Model for Programming and Natural Languages

摘 要:

本文提出了一种用于编程语言(PL)和自然语言(NL)的预训练模型CodeBERT。CodeBERT学习了支持下游NL-PL应用程序(如自然语言代码研究、代码文档生成等)的通用表示形式。我们使用基于变压器的神经结构来开发CodeBERT,并使用混合目标函数来训练它,该混合目标函数合并了替换令牌检测的训练前任务,即检测从生成器中采样的可信替代。这使我们能够利用NL-PL对的双峰数据和单峰数据,前者为模型训练提供输入标记,而后者有助于更好地学习生成器。我们通过微调模型参数来评估CodeBERT在两个NL-PL应用程序上的性能。结果表明,CodeBERT在自然语言代码搜索和代码文档生成任务方面都实现了最先进的性能。此外,为了研究在CodeBERT中学习的知识的类型,我们构造了一个用于NL-PL探测的数据集,并在一个预先训练的模型的参数固定的零距离设置中进行评估。结果表明,CodeBERT在NL-PL探测方面的性能优于之前的预训练模型。

成为VIP会员查看完整内容
0
23

神经网络已经成功地完成了许多推理任务。从经验上看,这些任务需要专门的网络结构,例如,图神经网络(GNNs)在许多这样的任务中表现良好,而较少结构的网络会失败。从理论上讲,尽管网络结构具有相同的表达能力,但人们对网络结构为什么以及何时比其他网络结构更能泛化的理解是有限的。本文通过研究网络的计算结构与相关推理过程的算法结构之间的一致性,建立了一个描述网络能很好学习哪些推理任务的框架。我们正式定义了这种算法对齐,并推导出一个随更好的对齐而减小的样本复杂度界。该框架为流行推理模型的经验成功提供了一个解释,并指出了它们的局限性。例如,我们通过一个强大的算法范例——动态规划(DP),将看似不同的推理任务,如直觉物理、可视化问题回答和最短路径统一起来。我们证明了gnn与DP是一致的,因此可以解决这些问题。在一些推理任务中,我们的理论得到了实证结果的支持。

成为VIP会员查看完整内容
0
41

题目: PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL

摘要: 预训练语言模型的最新突破表明了自监督学习在广泛的自然语言处理任务中的有效性。除了标准的句法和语义NLP任务外,预训练模型在涉及真实世界知识的任务上也取得了很强的改进,这表明大规模语言建模可能是一种隐含的知识获取方法。在这项工作中,我们进一步研究了BERT等预训练模型使用零镜头事实完成任务捕获知识的程度,此外,我们还提出了一个简单而有效的弱监督预训练目标,该目标明确地迫使模型包含关于真实世界实体的知识。用我们的新目标训练的模型在事实完成任务上有显著的改进。当应用于下游任务时,我们的模型在四个实体相关的问答数据集(即WebQuestions、TriviaQA、SearchQA和Quasar-T)上的平均F1改进为2.7,标准细粒度实体类型数据集(即FIGER)的平均精度提高为5.7。

作者简介:

Wenhan Xiong,加州大学圣塔芭芭拉分校计算机科学博士,主要研究结构化和非结构化文本数据的信息提取、问答和推理。https://xwhan.github.io/

William Yang Wang,加州大学圣塔芭芭拉分校自然语言处理小组和负责的机器学习中心的主任。他是加州大学圣塔芭芭拉分校计算机科学系的助理教授。他获得了卡内基梅隆大学计算机科学学院的博士学位。他对数据科学的机器学习方法有着广泛的兴趣,包括统计关系学习、信息提取、计算社会科学、语音和视觉。https://sites.cs.ucsb.edu/~william/

成为VIP会员查看完整内容
0
17

Relation classification is an important NLP task to extract relations between entities. The state-of-the-art methods for relation classification are primarily based on Convolutional or Recurrent Neural Networks. Recently, the pre-trained BERT model achieves very successful results in many NLP classification / sequence labeling tasks. Relation classification differs from those tasks in that it relies on information of both the sentence and the two target entities. In this paper, we propose a model that both leverages the pre-trained BERT language model and incorporates information from the target entities to tackle the relation classification task. We locate the target entities and transfer the information through the pre-trained architecture and incorporate the corresponding encoding of the two entities. We achieve significant improvement over the state-of-the-art method on the SemEval-2010 task 8 relational dataset.

0
4
下载
预览
小贴士
相关VIP内容
专知会员服务
20+阅读 · 2020年4月7日
专知会员服务
41+阅读 · 2020年2月19日
相关资讯
ACL 2019 | 理解 BERT 每一层都学到了什么
THU数据派
8+阅读 · 2019年9月9日
3分钟看懂史上最强NLP模型BERT
新智元
16+阅读 · 2019年2月27日
ELMo的朋友圈:预训练语言模型真的一枝独秀吗?
预训练模型迁移学习
极市平台
6+阅读 · 2018年11月6日
相关论文
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
85+阅读 · 2020年3月18日
Varun Kumar,Ashutosh Choudhary,Eunah Cho
8+阅读 · 2020年3月4日
UniViLM: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation
Huaishao Luo,Lei Ji,Botian Shi,Haoyang Huang,Nan Duan,Tianrui Li,Xilin Chen,Ming Zhou
14+阅读 · 2020年2月15日
Yang Liu
3+阅读 · 2019年9月5日
How to Fine-Tune BERT for Text Classification?
Chi Sun,Xipeng Qiu,Yige Xu,Xuanjing Huang
11+阅读 · 2019年5月14日
Sergey Edunov,Alexei Baevski,Michael Auli
3+阅读 · 2019年4月1日
Alexei Baevski,Sergey Edunov,Yinhan Liu,Luke Zettlemoyer,Michael Auli
6+阅读 · 2019年3月19日
Wenlin Wang,Zhe Gan,Wenqi Wang,Dinghan Shen,Jiaji Huang,Wei Ping,Sanjeev Satheesh,Lawrence Carin
5+阅读 · 2018年2月26日
Xiang Long,Chuang Gan,Gerard de Melo,Jiajun Wu,Xiao Liu,Shilei Wen
4+阅读 · 2017年11月27日
Top