【ICML2020-DeepMind】小数据，大决策:小数据模式下的模型选择

高度超参数化的神经网络可以显示出令人好奇的强大的泛化性能——为了更好地理解这一现象，最近积累了大量的理论和实证研究。与之前的工作相比，通常认为性能是模型大小的函数，在本文中，我们实证地研究了训练集的大小在多个数量级上变化时的泛化性能。这些系统的实验导致了一些有趣的和潜在的非常有用的观察;也许最值得注意的是，对较小子集的数据的训练可以导致更可靠的模型选择决策，同时享受较小的计算开销。我们的实验进一步允许我们估计现代神经网络结构下公共数据集的最小描述长度，从而为基于Ocams -razor的原则模型选择铺平了道路。

https://deepmind.com/research/publications/Small-Data-Big-Decisions-Model-Selection-in-the-Small-Data-Regime