模型泛化,在AI领域,多指机器学习训练好的模型在新数据上性能的表现,即模型适应新数据和模型推广的能力。

VIP内容

我们研究了时间差分(TD)学习中泛化与干涉之间的关系。干涉被定义为两个不同梯度的内积,表示它们的对齐。这个量从对神经网络、参数共享和动态学习的各种观察中产生。我们发现,TD很容易导致低干扰、欠泛化参数,而在监督学习中,这种效应似乎是相反的。我们假设,原因可以追溯到相互作用之间的动态干扰和bootstrapping。这是由几个观察:支持经验之间的负面关系泛化间隙和干涉TD,引导对干扰的负面影响和当地的一致性目标,和信息的传播速度之间的对比在TD(0)和TD(λ)和回归蒙特卡罗政策评估等任务。我们希望这些新的发现能够指导未来更好的引导方法的发现。

成为VIP会员查看完整内容
0
16
Top