In multi-task learning, a learner is given a collection of prediction tasks and needs to solve all of them. In contrast to previous work, which required that annotated training data is available for all tasks, we consider a new setting, in which for some tasks, potentially most of them, only unlabeled training data is provided. Consequently, to solve all tasks, information must be transferred between tasks with labels and tasks without labels. Focusing on an instance-based transfer method we analyze two variants of this setting: when the set of labeled tasks is fixed, and when it can be actively selected by the learner. We state and prove a generalization bound that covers both scenarios and derive from it an algorithm for making the choice of labeled tasks (in the active case) and for transferring information between the tasks in a principled way. We also illustrate the effectiveness of the algorithm by experiments on synthetic and real data.


翻译:在多任务学习中,向学习者提供一系列预测任务,并需要解决所有这些任务。与以前的工作不同,以前的工作要求为所有任务提供附加说明的培训数据,我们考虑一种新的环境,即某些任务(可能多数任务)只提供无标签的培训数据。因此,为了解决所有任务,必须在带有标签的任务和没有标签的任务之间传递信息。我们侧重于基于实例的转移方法,我们分析了这一环境的两个变式:当标签的任务组固定下来,并且可以由学习者积极选择时。我们声明并证明一种涵盖两种情况的概括性约束,并从中推导出一种算法,用于选择标签任务(在活动的情况下)和以有原则的方式在任务之间传递信息。我们还通过合成数据和真实数据的实验来说明算法的有效性。

3
下载
关闭预览

相关内容

最新《多任务学习》综述,39页pdf
专知会员服务
227+阅读 · 2020年7月10日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
122+阅读 · 2020年3月18日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
41+阅读 · 2020年1月23日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
112+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
7+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
11+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
35+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
17+阅读 · 2018年4月29日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
Continual Unsupervised Representation Learning
Arxiv
5+阅读 · 2019年10月31日
Multi-task Deep Reinforcement Learning with PopArt
Arxiv
3+阅读 · 2018年9月12日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
16+阅读 · 2018年3月28日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
7+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
11+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
35+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
17+阅读 · 2018年4月29日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员