视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究

作者 | 姜雨帆

责编 | Camel

神经网络的结构学习是目前十分受关注的一个研究方向，主要包含网络结构优化和网络结构搜索两个方向。

本次报告从两方面对神经网络的结构学习进行研究，首先从网络结构优化的角度，提出了一种动态网络连接的自动学习方法。

动态的去学习网络的连接，这种连接生长和剪枝的方式完全和训练相关，参考了训练过程中的梯度，层和层之间信息流传递的有效性，可以更好的对网络连接进行动态操作，从而得到更紧凑、高效的模型结构。

除此之外，我们还对可微分的网络结构搜索方法进行改进，移除了原有的局部归一化限制，同时对网络结构进行采样的更新方法，使得可微的网络结构搜索过程更稳定、高效。

最后，我们也通过定量和定性的实验分析了提出的两种方法的有效性。

（或者到AI研习社官网观解读视频：http://www.mooc.ai/open?from=meeting）

作者简介：

姜雨帆，东北大学计算机系自然语言处理实验室研究生，师从肖桐副教授。研究方向为自然语言处理，已在EMNLP人工智能和自然语言处理顶级会议发表论文一篇。 

更多论文视频解读：

01. [UCSB 王威廉组] 零样本学习，来扩充知识图谱（视频解读）

02. [奥卢大学] 基于 NAS 的 GCN 网络设计（视频解读）

03. [清华大学] 全新模型，对话生成更流畅、更具个性化（视频解读，附PPT）

04. [东北大学] 基于联合表示的神经机器翻译（视频解读）

05. [计算所]引入评估模块，提升机器翻译流畅度和忠实度（视频解读）

06. [清华大学]用于少次关系学习的神经网络雪球机制（视频解读）

07. [计算所]非自回归机器翻译，基于n元组的训练目标（视频解读）

08. [清华大学] 司法考试数据集（视频解读，附下载链接）

09. [自动化所] 弱监督语义分割（视频解读）

10. [自动化所] 稀疏二值神经网络，不需要任何技巧，取得SOTA精度（视频解读）

11. [清华大学] 棋盘游戏做辅助，进行跳跃式标注（视频解读）

12. [牛津大学] 利用注意力机制，实现最优相机定位（视频解读）

13. [商汤] KPNet，追求轻量化的人脸检测器（视频解读）

    

点击“阅读原文” 前往 AAAI 2020 专题