人类生成的类别标签通常是嘈杂的,因为从多个专家收集的数据在不同标签之间表现出不一致。为了改善这一效果,一种方法是要求标记者对样本进行比较或排序:当类别标签被排序时,面对两个或更多样本的标记者可以根据类别的从属关系对它们按w.r.t.的相对顺序进行排序。比较比类别标签更能提供信息,因为它们捕捉了类别之间和类别内部的关系;后者并不仅仅通过类别标签来揭示。此外,在实践中,比较标签的可变性减少了:这在许多领域的实验中都观察到了,这是因为人们经常发现做出相对判断比做出绝对判断更容易。

然而,从比较中学习带来了计算上的挑战回归排名特征是一个计算密集型任务。从𝑁样本之间的成对比较中学习对应于对𝑂(𝑁^2)比较标签的推理。更一般地,从大小为K的样本子集的排名中学习对应于对𝑂(𝑁^K)标签的推理。这需要显著改善性能,例如,最大似然估计(MLE)算法在这样的数据集。最后,收集排名也是劳动密集型的。这正是因为要标记的势集的大小为K的空间的大小为𝑂(𝑁^K)。

本教程将回顾经典的和最近的方法来解决从比较中学习的问题,更广泛地说,从排名数据中学习。将特别关注排名回归设置,即排名是从样本特征回归。

https://neu-spiral.github.io/LearningFromComparisons/

Parametric models: Bradley-Terry, Plackett-Luce, Thurstone. Non-parametric Models: noisy-permutation model, Mallows model, matrix factorization methods. Maximum Likelihood Estimation and spectral algorithms. Ranking regression and variational inference methods applied to comparisons. Sample complexity guarantees for ranking regression. Deep neural network models and accelerated learning methods. Active learning from comparisons.

成为VIP会员查看完整内容
36

相关内容

剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
47+阅读 · 2021年1月20日
专知会员服务
32+阅读 · 2020年12月28日
【NeurIPS2020】因果推断学习教程,70页ppt
专知会员服务
185+阅读 · 2020年12月12日
最新《时序分类:深度序列模型》教程,172页ppt
专知会员服务
42+阅读 · 2020年11月11日
迁移学习简明教程,11页ppt
专知会员服务
104+阅读 · 2020年8月4日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
123+阅读 · 2020年7月20日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
67+阅读 · 2019年11月25日
【收藏】支持向量机原理详解+案例+代码!【点击阅读原文下载】
机器学习算法与Python学习
10+阅读 · 2018年9月13日
开发 | 机器学习之确定最佳聚类数目的10种方法
AI科技评论
3+阅读 · 2017年10月11日
MATLAB人工神经网络教程
七月在线实验室
8+阅读 · 2017年9月6日
Arxiv
0+阅读 · 2021年6月14日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
相关主题
相关VIP内容
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
47+阅读 · 2021年1月20日
专知会员服务
32+阅读 · 2020年12月28日
【NeurIPS2020】因果推断学习教程,70页ppt
专知会员服务
185+阅读 · 2020年12月12日
最新《时序分类:深度序列模型》教程,172页ppt
专知会员服务
42+阅读 · 2020年11月11日
迁移学习简明教程,11页ppt
专知会员服务
104+阅读 · 2020年8月4日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
123+阅读 · 2020年7月20日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
67+阅读 · 2019年11月25日
微信扫码咨询专知VIP会员