【斯坦福Nimit Sohoni博士论文】具有有限结构知识的机器学习和优化的鲁棒性

在本文中，我们开发并分析了三种不同机器学习环境下的鲁棒性算法。在论文的第一部分，我们介绍了隐藏分层的问题——当一个分类模型在数据的某些未标记子类上表现不佳时——并提出了一种检测和缓解这个问题的方法。以前的工作研究了如何在已知子类标签的情况下处理这个问题。基于经验观察，未标记的子类通常在深度神经网络的特征空间中是可分离的，我们转而使用聚类技术估计数据的子类标签。然后，我们使用估计的子类标签作为分布鲁棒优化目标中的一种噪声监督形式，以便训练一个对子类间变化更鲁棒的模型。我们在几个鲁棒的图像分类基准上证明了我们的方法的有效性。我们简要讨论了以下几种替代方法:1)使用有限数量的子类标签来进一步提高性能，2) 使用对比学习来学习不太容易受隐藏分层影响的表示。在论文的第二部分，我们研究了结构化分布漂移下的分类模型评价问题。给定来自“源”分布的标记样本和来自“目标”分布的未标记样本，重要性加权是执行这种评估的标准方法;然而，重要性加权在高维设置中会遇到困难，当源分布中不包含目标分布的支持时，重要性加权就会失败。我们表明，人们可以通过对分布转移性质的一些预见来回避这些问题;具体来说，我们提出了一种使用用户定义的“切片函数”(旨在捕获可能的分布偏移轴的二进制函数)来估计目标分布上的性能的算法。我们从理论上描述了我们的方法对切片函数中的噪声和不完全性的鲁棒性，并在各种分类任务上验证了它的有效性。在论文的第三部分，我们提出了一种加速梯度法来有效地最小化一类光滑结构非凸函数，我们称之为“类凸”函数。该算法是经典凸函数加速梯度下降法的推广，对迭代间可能存在的非凸性具有较强的鲁棒性。我们提供了一阶求值次数的上界和下界，我们的算法需要找到一个近似最优，这表明我们的算法具有最优复杂度到对数因子

https://searchworks.stanford.edu/view/14172616