【WSDM2021-教程】超越概率排序原则:建模文档依赖性,附PPT

2021 年 3 月 15 日 专知


概率排序原则(Probability Ranking Principle, PRP)是排序的基本原则,它假定每个文档都有一个独特的、独立的概率来满足特定的信息需求。以往,传统的启发式特征和众所周知的学习排序方法都是按照PRP原则设计的。此外,最近的深度学习增强排名模型,也称为“深度文本匹配”,也遵循PRP原则。然而,PRP并不是最优的排序方法,因为在许多最近的排序任务中,如伪相关性反馈、交互式信息检索等,每个文档都不是独立的。为了解决这一问题,排序模型的一个新趋势是对文档之间的依赖关系进行建模。


在本教程中,我们旨在对排名模型超越PRP原则的最新进展进行全面的调研。我们的教程提供一种视角,因为我们试图根据它们的内在假设进行分类,并将标准问题形式化。这样,我们期待着研究者们对这一领域的关注,从而使信息检索技术有一个长足的进步。本教程主要由三部分组成。首先,我们介绍了排序问题和众所周知的概率排序原理。其次,我们提出了PRP原则下的传统方法。最后,我们说明了PRP原则的局限性,并介绍了以顺序方式和全局方式对文档之间的依赖关系建模的最新工作。


地址:

https://github.com/pl8787/wsdm2021-beyond-prp-tutorial


参考文献:

Deep text matching model (apply deep learning to text matching)

  1. Text Matching as Image Recognition. Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, Shengxian Wan, Xueqi Cheng. AAAI 2016.

  2. DeepRank: a New Deep Architecture for Relevance Ranking in Information Retrieval. Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, Jingfang Xu, Xueqi Cheng. CIKM 2017.

  3. A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations. Shengxian Wan, Yanyan Lan, Jiafeng Guo, Jun Xu, Liang Pang and Xueqi Cheng. AAAI 2016.

  4. Match-SRNN: Modeling the Recursive Matching Structure with Spatial RNN. Shengxian Wan, Yanyan Lan, Jiafeng Guo, Jun Xu, Liang Pang and Xueqi Cheng. IJCAI 2016.

  5. A Deep Look into Neural Ranking Models for Information Retrieval. Jiafeng Guo, Yixing Fan, Liang Pang, Liu Yang, Qingyao Ai, Hamed Zamani, Chen Wu, W. Bruce Croft and Xueqi Cheng. Information Processing & Management (IPM).

  6. For more references, please see Part1-Introduction.

Deep contextual ranking model (recent work)

Sequential dependency

  1. Reinforcement Learning to Rank with Markov Decision Process. Wei Zeng, Jun Xu, Yanyan Lan, Jiafeng Guo, and Xueqi Cheng. SIGIR 2017.

  2. Adapting Markov Decision Process for Search Result Diversification. Long Xia, Jun Xu, Yanyan Lan, Jiafeng Guo, Wei Zeng, and Xueqi Cheng. SIGIR 2017.

  3. From Greedy Selection to Exploratory Decision-Making: Diverse Ranking with Policy-Value Networks. Yue Feng, Jun Xu, Yanyan Lan, Jiafeng Guo, Wei Zeng, and Xueqi Cheng. SIGIR 2018.

  4. For more references, please see Part2-Ranking with Sequential Dependency.

Global dependency

  1. Learning a Deep Listwise Context Model for Ranking Refinement. Qingyao Ai, Keping Bi, Jiafeng Guo and W. Bruce Croft. SIGIR 2018.

  2. Learning Groupwise Multivariate Scoring Functions Using Deep Neural Networks. Qingyao Ai, Xuanhui Wang, Sebastian Bruch, Nadav Golbandi, Michael Bendersky and Marc Najork. ICTIR 2019.

  3. SetRank: Learning a Permutation-Invariant Ranking Model for Information Retrieval. Liang Pang, Jun Xu, Qingyao Ai, Yanyan Lan, Xueqi Cheng, and Jirong Wen. SIGIR 2020.

  4. Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank. Yang, Tao, Shikai Fang, Shibo Li, Yulan Wang, and Qingyao Ai. CIKM 2020.

  5. For more references, please see Part3-Ranking with Global Dependency


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“PRP” 就可以获取【WSDM2021-教程】超越概率排序原则:建模文档依赖性,附PPT》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

排序是计算机内经常进行的一种操作,其目的是将一组“无序”的记录序列调整为“有序”的记录序列。分内部排序和外部排序。若整个排序过程不需要访问外存便能完成,则称此类排序问题为内部排序。反之,若参加排序的记录数量很大,整个序列的排序过程不可能在内存中完成,则称此类排序问题为外部排序。内部排序的过程是一个逐步扩大记录的有序序列长度的过程。
【ECIR2021】信息检索技术进展: 从词袋到BERT,230页ppt
专知会员服务
54+阅读 · 2021年3月30日
【WSDM2021-Tutorial】偏见感知推荐系统的进展,134页ppt
专知会员服务
49+阅读 · 2021年3月9日
【CVPR2021】跨模态检索的概率嵌入
专知会员服务
19+阅读 · 2021年3月2日
专知会员服务
34+阅读 · 2020年11月29日
【ICML2020】强化学习中基于模型的方法,279页ppt
专知会员服务
43+阅读 · 2020年10月26日
一份简单《图神经网络》教程,28页ppt
专知会员服务
120+阅读 · 2020年8月2日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
153+阅读 · 2020年2月7日
BERT4Rec:使用Bert进行序列推荐
AINLP
5+阅读 · 2020年10月19日
用 Python 进行贝叶斯模型建模(1)
Python开发者
3+阅读 · 2017年7月11日
A Survey on Bayesian Deep Learning
Arxiv
60+阅读 · 2020年7月2日
Arxiv
4+阅读 · 2019年12月2日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Arxiv
16+阅读 · 2018年4月2日
Arxiv
13+阅读 · 2017年12月5日
VIP会员
相关论文
Top
微信扫码咨询专知VIP会员