【AAAI2021】多领域多任务预演的终身学习

通过在终身学习中存储旧知识来寻求提醒模型，是缓解灾难性遗忘最有效的方法之一，即在转向新任务时对先前知识的偏差遗忘。然而，在训练新任务时，以往大多数基于预演的旧任务存在不可预测的域偏移问题。这是因为这些方法总是忽略两个重要的因素。首先，新任务和旧任务之间的数据不平衡，使得旧任务的域容易移位。其次，所有任务之间的任务隔离会使领域向不可预测的方向移动;针对不可预测的领域迁移问题，本文提出多领域多任务排练，对新老任务进行并行、平等的训练，打破任务之间的隔离状态。具体地说，提出了一个两级的角裕度损失模型，以促进类内/任务的紧凑性和类间/任务的差异，使模型避免领域混乱。此外，为了进一步解决旧任务的领域转移问题，我们在记忆上提出了一个可选的情景蒸馏损失来锚定每个旧任务的知识。在基准数据集上的实验验证了该方法能够有效地抑制不可预测的领域漂移。

https://www.zhuanzhi.ai/paper/14cea5f6a54c9dafce7141871467aa0d