We consider the task of estimating a conditional density using i.i.d. samples from a joint distribution, which is a fundamental problem with applications in both classification and uncertainty quantification for regression. For joint density estimation, minimax rates have been characterized for general density classes in terms of uniform (metric) entropy, a well-studied notion of statistical capacity. When applying these results to conditional density estimation, the use of uniform entropy -- which is infinite when the covariate space is unbounded and suffers from the curse of dimensionality -- can lead to suboptimal rates. Consequently, minimax rates for conditional density estimation cannot be characterized using these classical results. We resolve this problem for well-specified models, obtaining matching (within logarithmic factors) upper and lower bounds on the minimax Kullback--Leibler risk in terms of the empirical Hellinger entropy for the conditional density class. The use of empirical entropy allows us to appeal to concentration arguments based on local Rademacher complexity, which -- in contrast to uniform entropy -- leads to matching rates for large, potentially nonparametric classes and captures the correct dependence on the complexity of the covariate space. Our results require only that the conditional densities are bounded above, and do not require that they are bounded below or otherwise satisfy any tail conditions.


翻译:我们考虑的是使用联合分布的 i.d. 样本来估计一个条件密度的任务,这是在分类和不确定性的回归量化方面的应用的一个根本问题。对于联合密度估计,对于一般密度类别来说,最小值率的特征是统一的(计量) 英特罗比,这是一个经过仔细研究的统计能力概念。在将这些结果应用于有条件密度估计时,使用统一的英特罗比 -- -- 当共变空间不受限制并受到维度的诅咒时,它将是无限的 -- -- 可能导致不优化率。因此,使用这些古典结果不能说明有条件密度估计的迷你速率。我们解决了这个问题,在定义明确的模型中,在最小密度类别(对数)的(对数)英特罗比值(对数)上下对一般密度类别进行匹配(对数),这是对统计能力进行充分研究的一个概念概念概念概念概念。在将这些结果应用于有条件密度类别时,使用统一的英特罗比可以让我们根据当地Rademacher 复杂程度来进行集中论论,这与统一的英特罗比- 导致大型、潜在对大型、潜在非偏差等级分类的精确度的精确度的精确度的比要求。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
已删除
inpluslab
8+阅读 · 2019年10月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2018年10月18日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
相关资讯
已删除
inpluslab
8+阅读 · 2019年10月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员