[TPAMI17] Learning without forgetting笔记

Title: learning without forgetting

Author: Zhizhong Li, Derek Hoiem,

link: Learning without Forgetting


Motivation;

顾名思义,当使用task a训练出来的网络迁移到 task b上时候,在保证task b上performance的同时,尽可能保证在原任务上的performance。

Method:

简单说来,如上图,基于蒸馏思想,将模型在原任务上的output,也就是分类层的output,记录下来,作为引导信息,从而使得网络尽可能少忘记在原任务上的表现,从而解决catastrophic forgetting。


Experiment

编辑于 2018-12-25 17:28