The Markov-Chain Monte-Carlo (MCMC) method has been used widely in the literature for various applications, in particular estimating the expectation $\mathbb{E}_{\pi}[f]$ of a function $f:\Omega\to [a,b]$ over a distribution $\pi$ on $\Omega$ (a.k.a. mean-estimation), to within $\varepsilon$ additive error (w.h.p.). Letting $R \doteq b-a$, standard variance-agnostic MCMC mean-estimators run the chain for $\tilde{\cal O}(\frac{TR^{2}}{\varepsilon^{2}})$ steps, when given as input an (often loose) upper-bound $T$ on the relaxation time $\tau_{\rm rel}$. When an upper-bound $V$ on the stationary variance $v_{\pi} \doteq \mathbb{V}_{\pi}[f]$ is known, $\tilde{\cal O}\bigl(\frac{TR}{\varepsilon}+\frac{TV}{\varepsilon^{2}}\bigr)$ steps suffice. We introduce the DYNAmic Mcmc Inter-Trace variance Estimation (DynaMITE) algorithm for mean-estimation. We define the inter-trace variance $v_{T}$ for any trace length $T$, and show that w.h.p., DynaMITE estimates the mean within $\varepsilon$ additive error within $\tilde{\cal O}\bigl(\frac{TR}{\varepsilon} + \frac{\tau_{\rm rel} v_{\tau\rm rel}}{\varepsilon^{2}}\bigr)$ steps, without {a priori} bounds on $v_{\pi}$, the variance of $f$, or the trace variance $v_{T}$. When $\epsilon$ is small, the dominating term is $\tau_{\rm rel} v_{\tau\rm rel}$, thus the complexity of DynaMITE principally depends on the a priori unknown $\tau_{\rm rel}$ and $v_{\tau\rm rel}$. We believe in many situations $v_{T}=o(v_{\pi})$, and we identify two cases to demonstrate it. Furthermore, it always holds that $v_{\tau\rm rel} \leq 2v_{\pi}$, thus the worst-case complexity of DynaMITE is $\tilde{\cal O}(\frac{TR}{\varepsilon} +\frac{\tau_{\rm rel} v_{\pi}}{\varepsilon^{2}})$, improving the dependence of classical methods on the loose bounds $T$ and $V$.


翻译:Markov- Chain Monte-Carlo (MC) 方法在文献中被广泛用于各种应用, 特别是估算一个函数$f:\\ omega\ to [a,b]$的分配美元(a.k.a. 平均估量), 以美元为单位(varepsilon), 以美元为单位(w.h.p.)。 允许美元(dote) b-a美元, 标准差异- 货币(xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
【强化学习资源集合】Awesome Reinforcement Learning
专知会员服务
97+阅读 · 2019年12月23日
【新书】Python编程基础,669页pdf
专知会员服务
195+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
279+阅读 · 2019年10月9日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年2月18日
VIP会员
相关资讯
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员