[TPAMI17] Learning without forgetting笔记
Title: learning without forgetting
Author: Zhizhong Li, Derek Hoiem,
link: Learning without Forgetting
Motivation;
顾名思义,当使用task a训练出来的网络迁移到 task b上时候,在保证task b上performance的同时,尽可能保证在原任务上的performance。
Method:
简单说来,如上图,基于蒸馏思想,将模型在原任务上的output,也就是分类层的output,记录下来,作为引导信息,从而使得网络尽可能少忘记在原任务上的表现,从而解决catastrophic forgetting。
Experiment
编辑于 2018-12-25 17:28