「预训练」获EMNLP最佳论文,一作为华人,哈工大刘挺教授10篇论文被接收

2019 年 11 月 8 日 机器之心

机器之心报道

机器之心编辑部
近日,自然语言处理顶会 EMNLP 2019 在中国香港落下帷幕。 在本次大会中,中国被接收的论文数量在所有国家和地区中位居第二,哈尔滨工业大学刘挺教授有 10 篇论文被接收。 在闭幕式上,大会颁发了最佳论文奖等多个奖项。 来自约翰·霍普金斯大学的研究团队摘得最佳论文奖,其一作为华人学者。



本次大会吸引了国内外众多自然语言处理领域的专家学者参加,参会人数达到了 1920 多人。 大会共举办了 18 场 Workshop、多个 Tutorial 和多场主题演讲,涵盖自然语言处理、社会计算学、计算机社会科学、AI 系统和深度学习等话题。


论文投稿整体接收情况来看,本届大会共收到有效投稿 2876 篇,接收 683 篇,接收率为 23.7%。


其中,被接收的长论文有 465 篇,包括 164 篇口头报告和 301 篇 Poster 论文; 短论文共有 218 篇,包括 48 篇口头报告和 170 篇 Poster 论文。


论文投稿得分情况来看,得分在 3.67 以上才能保证有很大的概率被接收。

投稿论文得分分布以及接收和被拒的情况。


论文投稿国家/地区来看,中美两国的投稿量远远大于其他国家,其中中国提交了近 1000 篇,美国也近 900 篇。 虽然中国的投稿量多于美国,但美国依然是接收论文最多的国家。 下图是论文投稿量排名前五的国家:

投稿量前五名分别为: 中国、美国、英国、日本和德国。


另外,机器之心还参考了学术头条关于本届EMNLP大会的报道,它们从投稿领域、入选论文所属机构等多方面对本届大会进行了分析。 以下是有关这两方面的具体分析:


论文投稿领域来看,投稿量排名前三的领域依次是: 用于自然语言处理(NLP)的机器学习、摘要和生成(Summarization and Generation)和机器翻译与多语化(Machine Translation and Multilinguality)。 这三个领域的接收论文都超过了 50 篇。

本届大会论文投稿领域分布情况(图源:学术头条)。


据学术头条统计,从入选论文所属机构来看,国外学界和工业界中,卡内基梅隆大学、艾伦人工智能研究所、爱丁堡大学、加利福尼亚大学、华盛顿大学等机构的论文入选数位居前列; 谷歌、Facebook、微软、IBM 等业界巨头依然占据霸主地位; 国内高校中,北大、清华、哈工大、北航、浙大、中山大学、北理工的论文录取数量位居前列,阿里巴巴、腾讯等业界巨擘表现不俗。


在本届大会所有接收的论文中,机器之心经整理发现,哈尔滨工业大学教授、哈工大人工智能研究院副院长刘挺教授有 10 篇论文被接收。


以下是刘挺教授被接收的 10 篇论文及论文链接:


机器之心根据所有的投稿论文标题制作了词云,从中可以看出,生成、神经网络等是本次大会的重点关注领域。


各大奖项出炉


本次 EMNLP-IJCNLP 大会颁发了最佳论文奖、最佳资源奖、最佳 Demo 奖等多个奖项,以下是具体的获奖信息。


EMNLP-IJCNLP 2019 最佳论文奖


今年的最佳论文奖颁给了约翰·霍普金斯大学的研究团队,他们的论文题目是《Specializing Word Embeddings(for Parsing)by Information Bottleneck》,其一作 Xiang Lisa Li 是约翰·霍普金斯大学的大四学生,是一位华人学者,其导师是著名 NLP 学者 Jason Eisner。


论文链接: http://cs.jhu.edu/~jason/papers/li+eisner.emnlp19.pdf


摘要: 预训练词向量,如 ELMo 和 BERT 包括了丰富的句法和语义信息,使这些模型能够在各种任务上达到 SOTA 表现。 在本文中,研究者则提出了一个非常快速的变分信息瓶颈方法,能够用非线性的方式压缩这些嵌入,仅保留能够帮助句法解析器的信息。 研究者将每个词嵌入压缩成一个离散标签,或者一个连续向量。 在离散的模式下,压缩的离散标签可以组成一种替代标签集。 通过实验可以说明,这种标签集能够捕捉大部分传统 POS 标签标注的信息,而且这种标签序列在语法解析的过程中更为精确(在标签质量相似的情况下)。 而在连续模式中,研究者通过实验说明,适当地压缩词嵌入可以在 8 种语言中产生更精确的语法解析器。 这比简单的降维方法要好。


EMNLP-IJCNLP 2019 最佳论文第二名


今年最佳论文奖的第二名颁给了斯坦福大学的研究团队,他们的论文题目是《Designing and Interpreting Probes with Control Tasks》。 作者为 John Hewitt、Percy Liang。


论文链接: https://www.aclweb.org/anthology/D19-1275.pdf


摘要: 训练有素的监督模型可以根据表达形式(如 ELMo)预测属性(如词性),探测器在一系列语言任务上均具有很高的准确性。 但这是否意味着这些表达形式对语言结构进行了编码,或者只是探测器已经学习了语言任务? 在本文中,研究者提出了控制任务,将词的类型与随机输出联系起来,以辅助语言任务。 按照设定,这些任务只能由探测器来学习。 因此选择一个合适的探测器(能反映该表达形式的探测器)很重要,以实现较高的语言任务准确性和较低的控制任务准确性。 探测器的选择性将语言任务的准确性与自身记忆词类型的能力相关联。 研究者提出了用于英语词汇标注和依赖边缘预测的控制任务,并且展示了基于表达形式上的探测器是不可选择的。


同时他们还发现,通常用于控制探测器复杂性的滤除对提高 MLP 的选择性是无效的,但是其他形式的正则化是有效的。 最后,他们发现,尽管 ELMo 的第一层探测器比第二层探测器的词性标注精度高一些,但是第二层上的探测器更具选择性。 引出了以下问题: 究竟哪一层可以更好地代表词性。


EMNLP-IJCNLP 2019 最佳资源奖


今年的最佳资源奖颁给了 Facebook、美国索邦大学和约翰·霍普金斯大学的研究团队,他们的论文题目是《The FLORES Evaluation Datasets for Low-Resource Machine Translation: Nepali–English and Sinhala–English》。 作者为 Francisco Guzmán、Peng-Jen Chen、Myle Ott、Juan Pino、Guillaume Lample 等


论文链接: https://arxiv.org/pdf/1902.01382.pdf
项目地址: https://github.com/facebookresearch/flores


摘要: 在机器翻译领域,很多语言对的可用对齐语料都非常稀少。 除了在技术上要面临有限制的监督学习挑战外,评估这些在低资源语言对上训练的方法也存在困难,因为可用的基准非常少。 在本文中,研究者介绍了一个用于尼泊尔语-英语、僧伽罗语-英语的 FLORES 评估数据集,该数据集基于维基百科上翻译过的句子。 与英语相比,这些语言在形态学和句法学上都存在很大差异。 对于这些语言,很少有领域外的平行语料可用,但它们的免费可用单语数据非常丰富。 研究者描述了收集和交叉验证翻译质量的过程,并使用几种学习方法报告基线性能,包括完全监督、弱监督、半监督和完全无监督。 实验表明,当前最佳的方法在这些基线上表现都非常差,这给研究低资源语言机器翻译的社区带来了很大挑战。


EMNLP-IJCNLP 2019 最佳 Demo 奖


今年的最佳 Demo 奖颁给了加州大学伯克利分校、艾伦人工智能研究所、加利福尼亚大学尔湾分校的研究团队,他们的论文题目是《AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models》。 作者为 Eric Wallace、Jens Tuyls、Junlin Wang、Sanjay Subramanian、Matt Gardner、Sameer Singh 等人


论文链接: https://arxiv.org/abs/1909.09251
项目地址: https://allennlp.org/interpret


摘要: 神经 NLP 模型正变得越来越精确,但它们远非完美,而且是不透明的。 这些模型以违反直觉的方式崩溃,使得用户摸不着头脑。 模型解释方法通过为特定的模型预测提供解释来减轻它们的不透明性。 然而,现有的解释代码库使得这些方法在新模型和新任务中难以应用,这阻碍了从业者采用这些方法,同时也给可解释性研究带来负担。 为此,来自艾伦人工智能研究所等机构的研究者开发了一个灵活的 NLP 模型解释框架——AllenNLP Interpret。 它可以为所有的 AlenNLP 模型和任务提供解释原语(如输入梯度)、一系列内置解释方法一级一个前端可视化组件库。

参考链接:https://mp.weixin.qq.com/s/IKREAyWcTH-jp8plTcAR5A


文为机器之心报道,转载请联系本公众号获得授权
✄------------------------------------------------
加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com
投稿或寻求报道:content @jiqizhixin.com
广告 & 商务合作:bd@jiqizhixin.com
登录查看更多
3+

相关内容

自然语言处理顶级会议

日前,AAAI 2020最受瞩目的各大奖项已公布,最佳论文来自华盛顿大学艾伦人工智能研究所,最佳学生论文来自南洋理工大学、清华大学、香港大学的合作

人工智能顶级学术会议 AAAI 2020 (第 34 届 AAAI)已在美国纽约开幕,会议从 2 月 7 日到 2 月 12 日持续6天。

本次的AAAI大会投稿量创下了8800多份的纪录。其中7737篇被审查,接受1591篇论文,录取率为20.6%。相比2019年,今年AAAI录取率同比上升27%,投稿量同比增长13.6%。

在正会之前,AAAI 组委会悄然提前在官方手册中公布了AAAI 2020 的获奖情况,其中:

  • 法国学者 Ulrich Junker 教授获得经典论文奖;
  • 华盛顿大学艾伦人工智能研究所的Keisuke Sakaguchi等人获得最佳论文奖;
  • 最佳论文提名奖由Riken AIP、奥克兰大学的Vidal Alcazar等人获得;
  • 最佳学生论文奖的获得者是分别来自南洋理工大学、清华大学、香港大学的Xiaohui Bei等人;
  • 最佳学生论文提名奖由马萨诸塞大学阿默斯特分校、Adobe Research的Yash Chandak等人获得。

AAAI2020 最佳论文奖

题目:WinoGrande: An Adversarial Winograd Schema Challenge at Scale(WinoGrande: 一种大规模的对抗式威诺格拉德模式挑战)

作者:Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, Yejin Choi

机构:华盛顿大学艾伦人工智能研究所

论文地址:https://arxiv.org/pdf/1907.10641.pdf

摘要:

WSC挑战是一个人类常识推理的测评集。它包含了273个由专家设计的问题,这些问题无法单纯依靠统计模型来解决。但是,最近的语言模型在这个测试集上取得了90%的准确率。这个现象给我们一个问题:是语言模型真正学会了推理,还是仅仅依靠一些对数据集的偏好。

为了研究这个问题,我们提出了WINOGRANDE测试集,包含4万4千个模型问题。我们对WSC挑战问题增加了难度和规模。其关键步骤包括:精心设计的众包问题。使用AFLITE algorithm抑制系统偏好。AFLITE 算法将自然语言转化为机器可以处理的向量。在WINOGRANDE测试集上,现在最好的方法只能达到 59.4 – 79.1%的准确率,比人类表现(94.0%)低15%-35%。

AAAI-20最佳学生论文奖

题目:Fair Division of Mixed Divisible and Indivisible Goods (混合可分割和不可分割商品的公平划分)

作者:Xiaohui Bei, Zihao Li, Jinyan Liu, Shengxin Liu, Xinhang Lu

机构:南洋理工大学、清华大学、香港大学

论文地址:https://arxiv.org/pdf/1911.07048.pdf

摘要:

我们研究了当资源同时包含可分割和不可分割的商品时的公平分配问题。经典的公平概念,例如无嫉妒性(envy-freeness, EF)和至多一种商品的无嫉妒性(envy-freeness up to one good, EF1),不能直接应用于混合商品的分配问题中。在这项工作中,我们提出了一种针对混合商品的新的“无嫉妒”公平概念(envy-freeness for mixed goods, EFM),它是将EF和EF1直接推广到混合商品的分配问题中。我们证明了EFM分配对于任意数量的代理(agents)始终存在。我们还提出了高效的算法来计算两个代理和N个代理的EFM分配,并对可分割商品进行分段线性评估。最后,我们放宽了无嫉妒的要求,取而代之的是要求混合商品具有ǫ-无嫉妒性(ǫ-EFM),并提出了一种算法,该算法可以找到在一定代理数量、一定不可分割商品数量和1 /ǫ下的时间多项式中的ǫ-EFM分配。

经典论文奖

2020年AAAI经典论文奖被授予发表在2004年第十九届 AAAI (在美国加州圣何塞举行)上的被认为最具影响力的论文,如下:

论文:QUICKXPLAIN: Preferred Explanations and Relaxations for Over-Constrained Problems

获奖理由:针对过约束问题开发了一个可用于形式化和有效计算的有影响力的方法,是用户用来解释故障的首选方法。

摘要:过约束问题包括造成故障的指数级冲突问题和修复一致性的指数级松弛问题。然而,交互应用程序的用户希望获得故障解释和松弛能够涵盖最重要的约束。

为了满足这一需求,作者基于用户在约束之间的偏好,定义了偏好的解释和松弛,并且通过使用适用于任意CP、SAT或DL解算器的泛化方法来计算解释和松弛。作者通过分而治之的策略极大地对基本方法进行了加速,因而为例如在很多配置应用中使用的基础工业约束编程工具的解释能力,提供了技术基础。

参考链接:

成为VIP会员查看完整内容
29+
0+

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。AAAI2020关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,涵盖基础、工业应用、实际挑战和经验教训,是构建可解释模型的重要指南.

可解释AI:基础、工业应用、实际挑战和经验教训

地址https://xaitutorial2020.github.io/

Tutorial 目标 本教程的目的是为以下问题提供答案:

  • 什么是可解释的AI (XAI)

    • 什么是可解释的AI(简称XAI) ?,人工智能社区(机器学习、逻辑学、约束编程、诊断)的各种流有什么解释?解释的度量标准是什么?
  • 我们为什么要关心?

    • 为什么可解释的AI很重要?甚至在某些应用中至关重要?阐述人工智能系统的动机是什么?
  • 哪里是关键?

    • 在大规模部署人工智能系统时,真正需要解释的实际应用是什么?
  • 它是如何工作的?

    • 在计算机视觉和自然语言处理中,最先进的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,什么有效,什么没有效?
  • 我们学到了什么?

    • 部署现有XAI系统的经验教训和局限性是什么?在向人类解释的过程中?
  • 下一个是什么?

    • 未来的发展方向是什么?

概述

人工智能的未来在于让人们能够与机器合作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通、信任、清晰和理解。XAI(可解释的人工智能)旨在通过结合象征性人工智能和传统机器学习来解决这些挑战。多年来,所有不同的AI社区都在研究这个主题,它们有不同的定义、评估指标、动机和结果。

本教程简要介绍了XAI迄今为止的工作,并调查了AI社区在机器学习和符号化AI相关方法方面所取得的成果。我们将激发XAI在现实世界和大规模应用中的需求,同时展示最先进的技术和最佳实践。在本教程的第一部分,我们将介绍AI中解释的不同方面。然后,我们将本教程的重点放在两个特定的方法上: (i) XAI使用机器学习和 (ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们将详细介绍其方法、目前的技术状态以及下一步的限制和研究挑战。本教程的最后一部分概述了XAI的实际应用。

Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

目录与内容

第一部分: 介绍和动机

人工智能解释的入门介绍。这将包括从理论和应用的角度描述和激发对可解释的人工智能技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同角度。

第二部分: 人工智能的解释(不仅仅是机器学习!)

人工智能各个领域(优化、知识表示和推理、机器学习、搜索和约束优化、规划、自然语言处理、机器人和视觉)的解释概述,使每个人对解释的各种定义保持一致。还将讨论可解释性的评估。本教程将涵盖大多数定义,但只深入以下领域: (i) 可解释的机器学习,(ii) 可解释的AI与知识图和机器学习。

第三部分: 可解释的机器学习(从机器学习的角度)

在本节中,我们将处理可解释的机器学习管道的广泛问题。我们描述了机器学习社区中解释的概念,接着我们描述了一些流行的技术,主要是事后解释能力、设计解释能力、基于实例的解释、基于原型的解释和解释的评估。本节的核心是分析不同类别的黑盒问题,从黑盒模型解释到黑盒结果解释。

第四部分: 可解释的机器学习(从知识图谱的角度)

在本教程的这一节中,我们将讨论将基于图形的知识库与机器学习方法相结合的解释力。

第五部分: XAI工具的应用、经验教训和研究挑战

我们将回顾一些XAI开源和商业工具在实际应用中的例子。我们关注一些用例:i)解释自动列车的障碍检测;ii)具有内置解释功能的可解释航班延误预测系统;(三)基于知识图谱的语义推理,对企业项目的风险层进行预测和解释的大范围合同管理系统;iv)识别、解释和预测500多个城市大型组织员工异常费用报销的费用系统;v)搜索推荐系统说明;vi)解释销售预测;(七)贷款决策说明;viii)解释欺诈检测。

成为VIP会员查看完整内容
63+
0+

简介:

回答需要针对文本进行推理的多个步骤的构想问题具有挑战性,尤其是当它们涉及离散的象征性操作时。神经模块网络(NMN)学习解析诸如由可学习模块组成的可执行程序之类的问题,它们在合成视觉质量检查域中表现良好。但是,我们发现在开放域文本中针对非合成问题学习这些模型具有挑战性,在这种模型中,模型需要处理自然语言的多样性并进行更广泛的推理。我们通过以下方式扩展NMN:(a)引入对一段文本进行推理的模块,以概率和可微分的方式对数字和日期执行符号推理(例如算术,排序,计数); (b)提出无监督的损失,以帮助提取与文本中的事件相关的参数。此外,我们显示出有限的启发式获得的问题程序和中间模块输出监督为准确学习提供了足够的归纳偏差。我们提出的模型大大优于DROP数据集的子集上的最新模型,后者构成了我们模块所涵盖的各种推理挑战。

成为VIP会员查看完整内容
18+
0+

论文题目: Specializing Word Embeddings(for Parsing)by Information Bottleneck

论文摘要: 预训练词向量,如 ELMo 和 BERT 包括了丰富的句法和语义信息,使这些模型能够在各种任务上达到 SOTA 表现。在本文中,研究者则提出了一个非常快速的变分信息瓶颈方法,能够用非线性的方式压缩这些嵌入,仅保留能够帮助句法解析器的信息。研究者将每个词嵌入压缩成一个离散标签,或者一个连续向量。在离散的模式下,压缩的离散标签可以组成一种替代标签集。通过实验可以说明,这种标签集能够捕捉大部分传统 POS 标签标注的信息,而且这种标签序列在语法解析的过程中更为精确(在标签质量相似的情况下)。而在连续模式中,研究者通过实验说明,适当地压缩词嵌入可以在 8 种语言中产生更精确的语法解析器。这比简单的降维方法要好。

作者简介:

Xiang Lisa Li,约翰斯·霍普金斯大学的大四学生,其导师是著名NLP学者Jason Eisner,研究结构化预测和语法。

Jason Eisner,约翰斯·霍普金斯大学计算机科学系教授,ACL研究员。

成为VIP会员查看完整内容
Specializing Word Embeddings(for Parsing)by Information Bottleneck.pdf
3+
0+
小贴士
Top