《终身学习森林》霍普金斯大学21页技术报告

在生物学习中，数据不仅被用来提高当前任务的性能，也被用来提高以前遇到的和尚未遇到的任务的性能。与此相反，经典的机器学习，我们定义为从一张白纸开始，只使用手头的单一任务的数据。虽然典型的迁移学习算法可以提高未来任务的性能，但在学习新任务时，它们在先前任务上的性能会下降（称为遗忘）。最近许多持续或终身学习的方法都试图在新任务中保持性能。但是，努力避免遗忘将目标定得过低：终身学习的目标，无论是生物还是人工，都应该是提高过去任务（后向转移）和未来任务的前向转移与任何新数据的性能。我们的关键见解是，即使在其他任务上训练的学习者往往不能对当前的任务做出有用的决定，但他们可能已经学会了对这项任务有用的表征。因此，尽管集合决策是不可能的，但只要跨任务的分布足够相似，集合表征就会有好处。此外，我们可以在准线性空间和时间内将不同任务独立学习的表征集合起来。因此，我们提出了两种算法：（1）树和（2）网络的表示集合。这两种算法都在各种模拟和真实的数据场景中展示了前向和后向转移，包括表格、图像和口语，以及对抗性任务。这与我们所比较的参考算法形成了鲜明的对比，所有这些算法都不能向前或向后转移，或者两者都不能，尽管其中许多算法需要二次空间或时间的复杂性。