This paper studies early-stopped mirror descent applied to noisy sparse phase retrieval, which is the problem of recovering a $k$-sparse signal $\mathbf{x}^\star\in\mathbb{R}^n$ from a set of quadratic Gaussian measurements corrupted by sub-exponential noise. We consider the (non-convex) unregularized empirical risk minimization problem and show that early-stopped mirror descent, when equipped with the hyperbolic entropy mirror map and proper initialization, achieves a nearly minimax-optimal rate of convergence, provided the sample size is at least of order $k^2$ (modulo logarithmic term) and the minimum (in modulus) non-zero entry of the signal is on the order of $\|\mathbf{x}^\star\|_2/\sqrt{k}$. Our theory leads to a simple algorithm that does not rely on explicit regularization or thresholding steps to promote sparsity. More generally, our results establish a connection between mirror descent and sparsity in the non-convex problem of noisy sparse phase retrieval, adding to the literature on early stopping that has mostly focused on non-sparse, Euclidean, and convex settings via gradient descent. Our proof combines a potential-based analysis of mirror descent with a quantitative control on a variational coherence property that we establish along the path of mirror descent, up to a prescribed stopping time.


翻译:本文研究早期停止镜像底部应用于噪音稀疏的阶段回收,这是从一套被亚爆炸性噪音腐蚀的四方格高斯测量中回收美元(mathbf{x ⁇ star\\\in\mathb{R ⁇ n}R ⁇ n}的问题。我们认为(非convx))不正规的实验风险最小化问题,并表明早期停止镜面底部底部在配备超双曲反射镜映射地图和适当初始化时,会达到近乎最小型的趋同率,只要样本大小至少为$k ⁇ 2美元(modulo对数术语),而信号的最低(modululus)非零进入量级。我们认为(非cromodualf{x{xstar2\\\\\\\sqrt{k}的不常规风险最小化的底部值问题。我们的理论引出一种简单的算法,不依赖于明确的正规化或临界步骤来提升螺旋。更一般地说,我们的结果是在镜底的镜底部的镜底部的镜底和镜底层分析中,我们最集中的精底部的精度分析中, 将一个不整的底部的缩底部的缩化的缩化的缩化的缩化的缩化的缩化的缩化的底部。

0
下载
关闭预览

相关内容

专知会员服务
14+阅读 · 2021年5月21日
Python编程基础,121页ppt
专知会员服务
47+阅读 · 2021年1月1日
强化学习最新教程,17页pdf
专知会员服务
168+阅读 · 2019年10月11日
【新书】Python编程基础,669页pdf
专知会员服务
186+阅读 · 2019年10月10日
已删除
将门创投
4+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年6月25日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关VIP内容
相关资讯
已删除
将门创投
4+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员