The estimation of cumulative distribution functions (CDFs) is an important learning task with a great variety of downstream applications, such as risk assessments in predictions and decision making. In this paper, we study functional regression of contextual CDFs where each data point is sampled from a linear combination of context dependent CDF basis functions. We propose functional ridge-regression-based estimation methods that estimate CDFs accurately everywhere. In particular, given $n$ samples with $d$ basis functions, we show estimation error upper bounds of $\widetilde{O}(\sqrt{d/n})$ for fixed design, random design, and adversarial context cases. We also derive matching information theoretic lower bounds, establishing minimax optimality for CDF functional regression. Furthermore, we remove the burn-in time in the random design setting using an alternative penalized estimator. Then, we consider agnostic settings where there is a mismatch in the data generation process. We characterize the error of the proposed estimators in terms of the mismatched error, and show that the estimators are well-behaved under model mismatch. Finally, to complete our study, we formalize infinite dimensional models where the parameter space is an infinite dimensional Hilbert space, and establish self-normalized estimation error upper bounds for this setting.
翻译:累积分布函数( CDFs) 的估算是一项重要的学习任务, 包括大量下游应用, 例如预测和决策中的风险评估。 在本文中, 我们研究背景的 CDFs 功能回归, 每个数据点都从上下文依赖 CDF 基函数的线性组合中抽样; 我们提出基于脊脊- 后退的功能估算方法, 准确估计各地的CDF。 特别是, 以美元为基值的样本计算, 我们为固定设计、 随机设计和对抗性环境案例, 显示美元( sqrt{O}/n}) 的上限估算错误。 我们还为每个数据点的下边框进行匹配信息理论性下边框, 为 CDF 功能回归建立微量的最佳性 。 此外, 我们用一个受罚的估量器来消除随机设计环境中的刻录时间。 然后, 我们考虑数据生成过程中存在不匹配功能的随机设置环境。 我们用完全错误来描述拟议的估测错误的错误, 并且显示, 我们的估量器是完全的定型的下层模型, 我们的模型是固定的, 和的上层的上层的 。 最后, 在模型下, 我们的模型下, 我们的模型下, 我们的模型下, 确定了无限的上层的 的 的 的 的 的 的 校定的 的 校正的 的 的 的 的 。