The goal of text ranking is to generate an ordered list of texts retrieved from a corpus in response to a query. Although the most common formulation of text ranking is search, instances of the task can also be found in many natural language processing applications. This survey provides an overview of text ranking with neural network architectures known as transformers, of which BERT is the best-known example. The combination of transformers and self-supervised pretraining has, without exaggeration, revolutionized the fields of natural language processing (NLP), information retrieval (IR), and beyond. In this survey, we provide a synthesis of existing work as a single point of entry for practitioners who wish to gain a better understanding of how to apply transformers to text ranking problems and researchers who wish to pursue work in this area. We cover a wide range of modern techniques, grouped into two high-level categories: transformer models that perform reranking in multi-stage ranking architectures and learned dense representations that attempt to perform ranking directly. There are two themes that pervade our survey: techniques for handling long documents, beyond the typical sentence-by-sentence processing approaches used in NLP, and techniques for addressing the tradeoff between effectiveness (result quality) and efficiency (query latency). Although transformer architectures and pretraining techniques are recent innovations, many aspects of how they are applied to text ranking are relatively well understood and represent mature techniques. However, there remain many open research questions, and thus in addition to laying out the foundations of pretrained transformers for text ranking, this survey also attempts to prognosticate where the field is heading.


翻译:文本排序的目的是生成一份有顺序的文本清单,对质询作出回应。虽然最常见的文本排序提法是搜索,但在许多自然语言处理应用程序中也可以找到任务实例。本调查概述了与被称为变压器的神经网络结构的文本排序,BERT是其中最著名的例子。变压器和自我监督的预培训相结合,在不夸张的情况下,将自然语言处理领域(NLP)、信息检索(IR)及以后的等领域进行了革命。在本次调查中,我们综合了现有工作,将其作为一个单一的入门点,供那些希望更好地了解如何将变压器用于文本排序问题的从业人员和希望在这一领域开展工作的研究人员使用。我们涵盖广泛的现代技术,分为两类:变压器在多阶段排序结构中进行重新排序的变压器模型和试图直接进行排序的较密集的演示。我们的调查有两个主题:处理长文件的技术,超越典型的逐句处理基础的尝试,从而更好地理解如何将变压器用于文本排序中,因此,在最新变压技术中,变压技术如何在结构前进行。

24
下载
关闭预览

相关内容

最新《Transformers模型》教程,64页ppt
专知会员服务
160+阅读 · 2020年11月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
28+阅读 · 2019年10月16日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
46+阅读 · 2019年9月29日
一文读懂最强中文NLP预训练模型ERNIE
AINLP
22+阅读 · 2019年10月22日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
52+阅读 · 2019年9月16日
BERT/Transformer/迁移学习NLP资源大列表
专知
18+阅读 · 2019年6月9日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
【推荐】自然语言处理(NLP)指南
机器学习研究会
34+阅读 · 2017年11月17日
Arxiv
3+阅读 · 2019年11月28日
Arxiv
5+阅读 · 2019年10月31日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
5+阅读 · 2019年8月22日
How to Fine-Tune BERT for Text Classification?
Arxiv
12+阅读 · 2019年5月14日
VIP会员
相关VIP内容
最新《Transformers模型》教程,64页ppt
专知会员服务
160+阅读 · 2020年11月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
28+阅读 · 2019年10月16日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
46+阅读 · 2019年9月29日
相关资讯
一文读懂最强中文NLP预训练模型ERNIE
AINLP
22+阅读 · 2019年10月22日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
52+阅读 · 2019年9月16日
BERT/Transformer/迁移学习NLP资源大列表
专知
18+阅读 · 2019年6月9日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
【推荐】自然语言处理(NLP)指南
机器学习研究会
34+阅读 · 2017年11月17日
相关论文
Top
微信扫码咨询专知VIP会员