大讲堂 | 基于对抗学习和知识蒸馏的多模型集成算法

分享主题

基于对抗学习和知识蒸馏的多模型集成算法

 

分享背景

该工作是我们最近刚发表在AAAI 2019 (Oral)上一篇文章。通常来说，集成多个基础级别的神经网络会带来更好的性能提升。遗憾的是，存储这些网络参数所需的空间以及在测试时执行它们所需要的时间，严重阻碍了它们在测试集很大情况下的使用，如 ImageNet。在本章中，我们提出了一种将大型的、复杂的神经网络集合压缩到单个网络中的方法。具体而言，来自各个训练好的深度神经网络(Deep Neural Network，DNN)中的知识被提炼并转移到单个DNN中。为了从不同的训练好的模型(教师模型)中提取不同的知识，我们提出使用基于对抗学习的策略。我们定义了一个逐块(block-wise)的训练损失函数，以指导和优化预先定义好的学生网络，学习教师模型中的知识，并使用鉴别网络同时区分来自教师或者学生网络的特征。

分享嘉宾

沈志强，UIUC访问学生，复旦大学博士，已在CVPR，ICCV，ECCV，ICLR，AAAI等顶级会议上发表多篇论文。

 

分享提纲

• 研究动机

• 算法框架
  

• 实验验证

• 结果分析
  

分享时间

（北京时间）2018 年12 月 28 日 晚20:00

错过直播不要紧，回放视频上传后也能看哦~

直播链接

http://www.mooc.ai/open/course/620

想了解更多 AI 研习社直播？

欢迎点击“阅读原文”

或者移步 AI 研习社社区~