VALSE 论文速览 第42期：K-shot NAS：基于K组神经网络学习NAS的可学习的权重共享方式

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自悉尼大学的神经网络结构搜索方面的工作。该工作由徐畅博士和游山博士联合指导，苏修同学录制。

论文题目：K-shot NAS：基于K组神经网络学习NAS的可学习的权重共享方式

作者列表：苏修 (悉尼大学)，游山 (商汤科技，清华大学)，郑明凯 (商汤科技)，王飞 (商汤科技)， 钱晨 (商汤科技)，张长水 (清华大学)，徐畅 (悉尼大学)

B站观看网址：

https://www.bilibili.com/video/BV1nY411h7ZL/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

在 one-shot NAS权重共享中，每个operation的权重对于超网中的所有架构 (路径)都应该是相同的。然而，这排除了调整operation权重以适应不同路径的可能性，从而限制了评估结果的可靠性。在本文中，我们不依赖于单个超网，而是引入了K-shot 超网，并将它们对每个operation的权重作为字典。基于一个单纯形的字典，每条路径的operation权重表示为字典中项目的凸组合。这使得合成的超网络能近似具有更高秩 (K>1)的独立权重矩阵。我们引入了单纯形网络来为每个路径生成架构定制代码。因此，所有子结构都可以自适应地学习如何在 K-shot 超网中共享权重并获取相应的supernet权重以进行更好的评估。K-shot 超网和单纯形网络可以迭代训练，我们进一步将搜索扩展到通道维度。对基准数据集的大量实验证实，K-shot NAS 有效提高了路径的评估精度，从而带来了显著的性能提升。

论文信息：

[1]Su, X., You, S., Zheng, M., Wang, F., Qian, C., Zhang, C., and Xu, C. K-shot NAS: learnable weight-sharing for NAS with k-shot supernets. In Meila, M. and Zhang, T. (eds.), Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, volume 139 of Proceedings of Machine Learning Research, pp. 9880–9890. PMLR, 2021. URL http://proceedings.mlr.press/v139/su21a.html.

论文链接：

[proceedings.mlr.press/v139/su21a/su21a.pdf]

视频讲者简介：

苏修，目前在悉尼大学攻读博士，主要从事AutoML领域中模型压缩和神经网络结构搜索等方向的研究，已在CVPR、ICLR、ICML上发表多篇paper。

个人主页：

https://xiusu.github.io

特别鸣谢本次论文速览主要组织者：

月度轮值AC：董宣毅 (Amazon)、谢凌曦 (华为数字技术有限公司)

季度责任AC：许永超 (武汉大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～