题目: A Survey on Contextual Embeddings

摘要:

上下文嵌入,如ELMo和BERT,超越了像Word2Vec这样的全局单词表示,在广泛的自然语言处理任务中取得了突破性的性能。上下文嵌入根据上下文为每个单词分配一个表示,从而捕获不同上下文中单词的用法,并对跨语言传输的知识进行编码。在这项调查中,我们回顾了现有的上下文嵌入模型、跨语言的多语言预训练、上下文嵌入在下游任务中的应用、模型压缩和模型分析。

成为VIP会员查看完整内容
41

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
Attention!注意力机制模型最新综述
专知
65+阅读 · 2019年4月8日
3分钟看懂史上最强NLP模型BERT
新智元
22+阅读 · 2019年2月27日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
11+阅读 · 2019年2月26日
命名实体识别(NER)综述
AI研习社
65+阅读 · 2019年1月30日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
A Survey on Edge Intelligence
Arxiv
48+阅读 · 2020年3月26日
Arxiv
29+阅读 · 2020年3月16日
Embedding Logical Queries on Knowledge Graphs
Arxiv
3+阅读 · 2019年2月19日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
71+阅读 · 2018年12月22日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
5+阅读 · 2018年6月5日
VIP会员
相关VIP内容
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
相关资讯
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
Attention!注意力机制模型最新综述
专知
65+阅读 · 2019年4月8日
3分钟看懂史上最强NLP模型BERT
新智元
22+阅读 · 2019年2月27日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
11+阅读 · 2019年2月26日
命名实体识别(NER)综述
AI研习社
65+阅读 · 2019年1月30日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
相关论文
A Survey on Edge Intelligence
Arxiv
48+阅读 · 2020年3月26日
Arxiv
29+阅读 · 2020年3月16日
Embedding Logical Queries on Knowledge Graphs
Arxiv
3+阅读 · 2019年2月19日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
71+阅读 · 2018年12月22日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
5+阅读 · 2018年6月5日
微信扫码咨询专知VIP会员