我们研究了深度学习优化算法评估中的几个混合因素。首先,我们深入研究自适应梯度方法如何与学习速率调整相互作用,这是一个众所周知的难以调整的超参数,它对神经网络训练的收敛和推广具有显着影响。我们引入了一个“嫁接”实验,该实验将更新的大小与其方向解耦,发现文献中的许多现有信念可能是由于对步长的隐式时间表的隔离不足而产生的。除了这一贡献之外,我们还对自适应梯度方法的推广进行了一些实证和理论回顾,旨在为这一空间带来更清晰的视角。
【导读】Meta-Learning(元学习)是最新研究热点热,这两年相关论文非常多,结合最新的热点方法,在应用到自己的领域,已经是大部分研究者快速出成果的一个必备方式。元学习旨在通过一些训练少量样本可以学习新技能或快速适应新环境的模型!今天
nlp中最常见的基本单元:RNN,SLTM,GRU。 一、RNN(Recurrent Neural Network),nlp往往是一种序列问题,在计算时需要后面的单元记住前面一些单元的信息,所以前人发明了一种递归神经网络来替换传统神经网络。