回顾来自哈佛、北大、FACEBOOK 、杜克、字节跳动等的7篇NIPS热点论文

会员服务 ·

回顾来自哈佛、北大、FACEBOOK 、杜克、字节跳动等的7篇NIPS热点论文

2020 年 2 月 11 日 学术头条

今天小编带大家一起看一下几篇备受关注的AI论文

Can Unconditional Language Models Recover Arbitrary Sentences

无条件语言模型能复现任意的语句吗

论文作者：Nishant Subramani Samuel R. Bowman Kyunghyun Cho

作者单位：AI Foundation，New York University，Facebook AI Research

论文地址：https://www.aminer.cn/pub/5db92a0b47c8f766461fee81/can-unconditional-language-models-recover-arbitrary-sentences

技术领域：深度学习自然语言处理语言模型

核心图表

摘要：

例如BERT或者ELMo这样的基于神经网络的生成语言模型可以在文本分类任务中不经过进一步fine-tuning就作为句子的通用编码器。有没有可能以类似的方式将它们改造成通用解码器呢？为了实现这一目标，需要满足这种情况:对于任意感兴趣的目标句子，模型都有一些连续的表示，可以传递给语言模型以使其能够复现该句子。作者并不打算回答是否设计一个可以产生这种表示的编码器的问题，而是直接询问这种表示是否存在。为了回答这个问题，作者设计了一种有效且互补的办法，它用于将句子表示输入到预训练的无条件语言模型中，并通过一些相应的方法来将句子映射到这个表示空间中（或映射出这个表示空间）。作者将这个空间称之为重新参数化的句子空间。然后，作者研究了在何种条件下，语言模型可以通过识别该空间中的一个点来生成一个句子。作者发现，只要使用适当大小的语言模型和表示，就几乎可以完美地恢复任意的句子。

Spherical Text Embedding

一种球形的文本嵌入模型

论文作者：Yu Meng, Jiaxin Huang, Guangyuan Wang, Chao Zhang,Honglei Zhuang, Lance Kaplan, Jiawei Han

作者单位：伊利诺伊大学香槟分校，佐治亚理工学院，美国陆军研究实验室

论文地址：https://www.aminer.cn/pub/5de799f29e795e775806935f/spherical-text-embedding

技术领域：深度学习自然语言处理

核心图表

摘要：

无监督的文本嵌入模型在很多NLP任务中展现了强大的能力。尽管文本向量通常在欧几里得空间里学习得到，但是在单词相似度和文档聚类等任务中，方向相似度往往更有效，这就造成了文本嵌入的训练阶段和使用阶段之间的差距。为了弥补这个差距，作者提出了一种基于无监督词嵌入和段落嵌入联合学习的球面生成模型。为了在球面空间中学习文本嵌入向量，作者提出了一种基于黎曼优化的具有收敛保证的优化算法。作者的模型具有较高的效率，在文本相似度和文档聚类等多种文本嵌入任务上都有较好的表现。

Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

通过编辑纠缠的隐变量空间控制无监督文本属性的转移

论文作者：王科，Hang Hua，万小军

作者单位：北京大学

论文地址：https://www.aminer.cn/pub/5d04e8eada56295d08dbf69f/controllable-unsupervised-text-attribute-transfer-via-editing-entangled-latent-representation

技术领域：深度学习自然语言处理

核心图表

摘要：

无监督文本属性迁移可以自动的转换文本来更改特定的属性(例如情感)，而不使用任何平行数据，同时保持与属性独立的内容。现在主要的方法是尝试分别对独立于内容的属性建模，例如学习不同文本属性的特征表示，或者使用多个不同属性的解码器。但是从同时控制迁移的程度或者迁移多个不同属性的角度来看，这么做会导致文本的不连贯。为了解决这个问题，作者提出了一种更灵活的无监督文本属性迁移框架，该框架基于属性分类器，通过对属性潜在表示的最小编辑方式来代替属性建模过程。更具体的，作者提出了一个基于Transformer的自动编码器来学习离散文本的纠缠潜空间表示，这样作者把文本迁移任务转换为优化问题，并且设计了 Fast-Gradient-Iterative-Modification 算法来修改隐空间的表示，直至其符合目标属性。大量的实验结果表明，作者的模型在三个公共数据集上获得了非常优越的性能。更重要的是，该模型不仅可以自由地控制迁移程度，而且可以同时进行多个方面的迁移。

Text-Based Interactive Recommendation via Constraint-Augmented Reinforcement Learning

基于文本的约束增强式强化学习的交互式推荐

论文作者：Ruiyi Zhang, Tong Yu, Yilin Shen, Hongxia Jin, Changyou Chen, Lawrence Carin

作者单位：杜克大学，三星美国研究中心，纽约州立大学布法罗分校

论文地址：https://www.aminer.cn/pub/5de799f89e795e7758069366/text-based-interactive-recommendation-via-constraint-augmented-reinforcement-learning

技术领域：深度学习强化学习推荐系统

核心图表

摘要：

基于文本的推荐系统能够利用更加丰富的用户偏好信息，并且被证实相对于传统的推荐系统有更好的性能。但是，推荐系统很容易违背用户过去通过自然语言反馈的偏好，因为推荐系统为了实现进一步性能的提升，往往会探索推荐新的商品。为了解决这个问题，作者提出一种全新的约束增强的强化学习架构，它能够随着时间的推移有效的合并用户的偏好。具体来说，作者利用一个鉴别器来检测推荐系统是否做出违反用户历史偏好的推荐，这将被纳入强化学习的优化目标，从而实现最大化期望的累积未来奖励。作者提出的架构具有普适性，并且能够扩展到带有约束的文本生成任务中。实验结果表明，与标准的强化学习方法相比，该方法普遍取得了改进。

Controllable Text-to-Image Generation

一种可控的文本到图片生成模型

论文作者：Bowen Li, Xiaojuan Qi, Thomas Lukasiewicz, Philip H. S. Torr

作者单位：哈佛大学

论文地址：https://www.aminer.cn/pub/5de799739e795e77580692f2/controllable-text-to-image-generation

技术领域：深度学习对抗生成

核心图表

摘要：

作者提出了一种可控的文本生成图片的对抗生成网络（ControlGAN）。ControlGAN可以生成高质量的图片并且通过自然语言描述控制图片生成的过程。作者提出单词级别的空间和基于通道指导的注意力驱动式生成模型，他们能够分离不同的视觉属性，并且让模型专注于在与最相关的单词相对应的子区域进行生成和操作。作者还构建了一个单词级别的判别器，判别器将相关联的文字与图像区域联系起来，产生细粒度的监督梯度反馈。判别器促进训练一个有效的生成器，它能够操作特定的视觉属性而不影响其他内容的生成。更进一步，作者设计了感知损失来减少图像生成中的随机性，并鼓励生成器在特定的视觉属性上操作以符合修改后的文本的需求。在基准数据集的实验表明ControlGAN的表现超过现有最佳的模型，而且能够在给定文本描述下有效修改出高质量的图片。项目在https://github.com/mrlibw/ControlGAN

Glyce: Glyph-vectors for Chinese Character Representations

Glyce：一种基于字形信息学习汉字表示的方法

论文作者：Yuxian Meng ,WeiWu , Fei Wang, Xiaoya Li, Ping Nie, Fan Yin Muyu Li, Qinghong Han, Xiaofei Sun and Jiwei Li

作者单位：香侬科技

论文地址：https://www.aminer.cn/pub/5db9298147c8f766461f84e0/glyce-glyph-vectors-for-chinese-character-representations

技术领域：深度学习自然语言处理语言模型

核心图表

摘要：

很明显，像汉语这样的象形文字的NLP任务应该受益于这些语言中字形信息的使用。但是由于汉字缺乏丰富的象形证据，以及标准的计算机视觉模型对字形数据的泛化能力较弱，利用字形信息的语言表示模型还有待人们研究。

在这篇论文中，作者提出了Glyce，它是一种利用字形信息的汉字语言表示模型。作者贡献有：

（1）使用古文字(如青铜器、篆书、繁体字等)来丰富汉字的象形证据；

（2）设计了tianzege-CNN架构，它更适合处理象形文字的特征提取；

（3）为了提高模型的泛化能力，将图像分类作为多任务学习的辅助任务。

作者发现基于字形的语言表示模型在大量的中文NLP任务中表现远远超过其他以字为单位的模型。Glyce在众多中文NLP任务中达到了最佳水平，包括标注任务，句子分类，依存分析和语义角色标注。例如，Glyce在OntoNotes dataset的命名实体识别任务上F1达到了80.6，超出BERT1.5%；在复旦语料库的文本分类任务上达到了99.8%的精度。

Kernelized Bayesian Softmax for Text Generation

用于文本生成的核化贝叶斯Softmax

论文作者：苗宁 , 周浩 , ChengqiZhao , WenxianShi , 李磊

作者单位：ByteDance AI lab

论文地址：https://www.aminer.cn/pub/5db9296147c8f766461f5487/kernelized-bayesian-softmax-for-text-generation

技术领域：自然语言处理文本生成

核心图表

摘要：

现有的文本生成神经模型在解码阶段都依赖softmax层来选择合适的单词embedding。现在大多数方法都是在softmax层采取一个单词一一映射一个embedding的方式。然而，同样的单词在不同的上下文会有不同的语义。在本文作者提出了核化贝叶斯方法KerBS，他能够更好的学习文本生成中的embedding。KerBS的优势如下：它采用了embedding的贝叶斯组合来表征具有不同语义的单词；KerBS适用于解决一词多义带来的语义差异问题，并且通过核学习在embedding空间中捕捉语义的紧密程度，KerBS对极少出现的句子也能保持较高的鲁棒性。研究表明，KerBS显著提高几大文本生成任务的性能。

往期精彩回顾