动态 | FAIR 最新论文:一种不需要训练就能探索句子分类的随机编码器

2019 年 1 月 31 日 AI科技评论

AI 科技评论按,作为人工智能的重要方向之一,NLP 领域的研究目前开展得如火如荼。1 月 30 日,facebook 人工智能研究院(FAIR)发布了一篇博文,公布了他们的论文「No Training Required: Exploring Random Encoders for Sentence Classification 」。

这篇论文被发布在 arxiv 上,主要讲了一种不需要训练就能探索句子分类的随机编码器。论文的主要介绍如下:

研究内容:

这是一个强大的,新颖的语句嵌入基线,它不需要进行任何训练。在没有任何额外训练的情况下,我们探索了用预训练单词嵌入来计算句子表达方式的各种方法。其目的是让语句嵌入具有更坚实的基础:1)看看现代句子嵌入从训练中获得了多少好处(令人惊讶的是,事实证明,这是微乎其微的);2)为该领域提供更合适(也更强大)的基线。

它是如何工作的:

句子嵌入是一种矢量表示方法,其中句子被映射到表示其意义的数字序列。这通常是通过组合函数转换单词嵌入来创建的。句子嵌入是自然语言处理(NLP)中的一个热门话题,因为它比单独使用单词嵌入更容易进行文本分类。鉴于句子表达研究的快速进展,建立坚实的基线是很重要的。

我们开始使用当前最先进的方法来确定有哪些收获,而不是采用随机的方法,这些随机的方法只结合了预训练的单词嵌入。随机特性的作用在机器学习社区中早已为人所知,因此我们将其应用到这个 NLP 任务中。我们探索了三种方法:随机嵌入投影包、随机 LSTM 和回声状态网络。我们的研究结果表明,句子嵌入中的提升很大程度上来自于词语表征。我们发现,对经过预训练的单词嵌入的随机参数化构成了一个非常强的基线,有些时候,这些基线甚至与诸如 SkipThought 和 InferSent 等著名的句子编码器的性能相匹配。这些发现为今后的句子表征学习的研究提供了强有力的基础。我们还对句子分类评估的一些合适的实验方案进行了认真的探讨,并对今后的研究提出了建议。

为什么它如此重要:

尽管最近对句子编码的研究较多,但是 NLP 的研究者们对于词汇嵌入和句子嵌入之间的关系仍然知之甚少。随着该领域研究的快速进展,对不同方法进行比较并不总是正确的。每隔一段时间我们需要往前回顾,以便对现有的最先进的方法产生更深入地理解,并分析这些方法为什么有效,这一点很重要。通过对句子嵌入的研究提供新的见解,并设置更强的基线,我们可以提高对神经网络表示和理解语言的原理的认识。他们在 Github 上分享了他们的代码 https://github.com/facebookresearch/randsent 。

论文原文见:

No Training Required: Exploring Random Encoders for Sentence Classification 

https://arxiv.org/abs/1901.10444

via:https://code.fb.com/ml-applications/random-encoders/

点击阅读原文,查看 EMNLP2018最佳论文:Facebook 提升 11BLEU 的无监督机器翻译

登录查看更多
3

相关内容

【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
43+阅读 · 2020年6月18日
【CVPR2020-港中文】 图像识别中的自注意力探索
专知会员服务
55+阅读 · 2020年4月29日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
111+阅读 · 2020年4月23日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
56+阅读 · 2020年3月6日
BERT进展2019四篇必读论文
专知会员服务
64+阅读 · 2020年1月2日
论文浅尝 | 使用孪生BERT网络生成句子的嵌入表示
开放知识图谱
25+阅读 · 2019年10月31日
ACL 2019 | 多语言BERT的语言表征探索
AI科技评论
20+阅读 · 2019年9月6日
动态记忆网络:向通用NLP更近一步
AI前线
4+阅读 · 2019年5月16日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
前沿 | CNN取代RNN?当序列建模不再需要循环网络
简述表征句子的3种无监督深度学习方法
数盟
4+阅读 · 2018年4月23日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
在深度学习TensorFlow 框架上使用 LSTM 进行情感分析
北京思腾合力科技有限公司
4+阅读 · 2017年8月9日
Arxiv
3+阅读 · 2019年9月5日
Arxiv
6+阅读 · 2019年4月8日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Learning Recommender Systems from Multi-Behavior Data
Arxiv
6+阅读 · 2018年6月21日
VIP会员
相关资讯
论文浅尝 | 使用孪生BERT网络生成句子的嵌入表示
开放知识图谱
25+阅读 · 2019年10月31日
ACL 2019 | 多语言BERT的语言表征探索
AI科技评论
20+阅读 · 2019年9月6日
动态记忆网络:向通用NLP更近一步
AI前线
4+阅读 · 2019年5月16日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
前沿 | CNN取代RNN?当序列建模不再需要循环网络
简述表征句子的3种无监督深度学习方法
数盟
4+阅读 · 2018年4月23日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
在深度学习TensorFlow 框架上使用 LSTM 进行情感分析
北京思腾合力科技有限公司
4+阅读 · 2017年8月9日
Top
微信扫码咨询专知VIP会员