自然语言数据的一个重要子集包括跨越数千个token的文档。处理这样长的序列的能力对于许多NLP任务是至关重要的,包括文档分类、摘要、多跳和开放域问答,以及文档级或多文档关系提取和引用解析。然而,将最先进的模型扩展到较长的序列是一个挑战,因为许多模型都是为较短的序列设计的。一个值得注意的例子是Transformer模型,它在序列长度上有二次计算代价,这使得它们对于长序列任务的代价非常昂贵。这反映在许多广泛使用的模型中,如RoBERTa和BERT,其中序列长度被限制为只有512个tokens。在本教程中,我们将向感兴趣的NLP研究人员介绍最新和正在进行的文档级表示学习技术。此外,我们将讨论新的研究机会,以解决该领域现有的挑战。我们将首先概述已建立的长序列自然语言处理技术,包括层次、基于图和基于检索的方法。然后,我们将重点介绍最近的长序列转换器方法,它们如何相互比较,以及它们如何应用于NLP任务(参见Tay等人(2020)最近的综述)。我们还将讨论处理长序列的关键的各种存储器节省方法。在本教程中,我们将使用分类、问答和信息提取作为激励任务。我们还将有一个专注于总结的实际编码练习。

成为VIP会员查看完整内容
61

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【SIGIR2021】自然语言处理图深度学习,230页ppt
专知会员服务
93+阅读 · 2021年7月23日
【NAACL2021】Graph4NLP:图深度学习自然语言处理,附239页ppt
专知会员服务
105+阅读 · 2021年6月12日
【AAAI2021】预训练语言模型最新进展,附113页ppt和视频
专知会员服务
64+阅读 · 2021年2月23日
【AAAI2021】以事件为中心的自然语言理解,256页ppt
专知会员服务
72+阅读 · 2021年2月8日
【EMNLP2020】序列知识蒸馏进展,44页ppt
专知会员服务
38+阅读 · 2020年11月21日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
208+阅读 · 2020年4月26日
自然语言处理ACL2020论文列表
专知
12+阅读 · 2020年6月23日
【NLP】万字长文概述NLP中的深度学习技术
产业智能官
18+阅读 · 2019年7月7日
NAACL 2019自然语言处理亮点
专知
15+阅读 · 2019年6月15日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
NLP预训练模型大集合!
机器之心
21+阅读 · 2018年12月28日
一文了解自然语言处理神经史
云栖社区
11+阅读 · 2018年12月2日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
GeomCA: Geometric Evaluation of Data Representations
Arxiv
11+阅读 · 2021年5月26日
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
6+阅读 · 2018年2月24日
VIP会员
相关VIP内容
相关资讯
自然语言处理ACL2020论文列表
专知
12+阅读 · 2020年6月23日
【NLP】万字长文概述NLP中的深度学习技术
产业智能官
18+阅读 · 2019年7月7日
NAACL 2019自然语言处理亮点
专知
15+阅读 · 2019年6月15日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
NLP预训练模型大集合!
机器之心
21+阅读 · 2018年12月28日
一文了解自然语言处理神经史
云栖社区
11+阅读 · 2018年12月2日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
相关论文
微信扫码咨询专知VIP会员