【ICML2020】学习支持外推的表示学习，Learning Representations that Support Extrapolation

主题： Learning Representations that Support Extrapolation

摘要： 外推-进行超出个人经验范围的推理的能力-是人类智慧的标志。 相比之下，当代神经网络算法所表现出的一般性在很大程度上仅限于训练语料库中数据点之间的插值。在本文中，我们考虑了学习支持外推表示的挑战。 我们引入了一种新颖的视觉类比基准，该基准允许外推的分级评估作为与训练数据所定义的凸域的距离的函数。 我们还介绍了一种简单的技术，即上下文规范化，它鼓励强调对象之间关系的表示形式。 我们发现，该技术可以大大提高推断能力，大大优于许多竞争性技术。