We consider crowdsourced labeling under a $d$-type worker-task specialization model, where each worker and task is associated with one particular type among a finite set of types and a worker provides a more reliable answer to tasks of the matched type than to tasks of unmatched types. We design an inference algorithm that recovers binary task labels (up to any given recovery accuracy) by using worker clustering, worker skill estimation and weighted majority voting. The designed inference algorithm does not require any information about worker/task types, and achieves any targeted recovery accuracy with the best known performance (minimum number of queries per task).


翻译:我们考虑以美元型工人-工作任务专业化模式为众包标签,即每个工人和任务都与一定类型中的一种特定类型挂钩,而工人对匹配类型的任务比不匹配类型的任务提供更可靠的答案。 我们设计一种推论算法,通过工人集群、工人技能估计和加权多数投票恢复二元任务标签(直至任何一定的回收准确性 ) 。 设计的推论算法并不要求任何关于工人/工作类型的信息,并且以已知的最佳性能(每个任务至少查询次数)实现任何有针对性的回收准确性。

0
下载
关闭预览

相关内容

机器学习系统设计系统评估标准
【新书】Python编程基础,669页pdf
专知会员服务
197+阅读 · 2019年10月10日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Arxiv
0+阅读 · 2021年8月2日
A Sketch-Based System for Semantic Parsing
Arxiv
4+阅读 · 2019年9月12日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
VIP会员
相关论文
Arxiv
0+阅读 · 2021年8月2日
A Sketch-Based System for Semantic Parsing
Arxiv
4+阅读 · 2019年9月12日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Top
微信扫码咨询专知VIP会员