In this monograph, I introduce the basic concepts of Online Learning through a modern view of Online Convex Optimization. Here, online learning refers to the framework of regret minimization under worst-case assumptions. I present first-order and second-order algorithms for online learning with convex losses, in Euclidean and non-Euclidean settings. All the algorithms are clearly presented as instantiation of Online Mirror Descent or Follow-The-Regularized-Leader and their variants. Particular attention is given to the issue of tuning the parameters of the algorithms and learning in unbounded domains, through adaptive and parameter-free online learning algorithms. Non-convex losses are dealt through convex surrogate losses and through randomization. The bandit setting is also briefly discussed, touching on the problem of adversarial and stochastic multi-armed bandits. These notes do not require prior knowledge of convex analysis and all the required mathematical tools are rigorously explained. Moreover, all the proofs have been carefully chosen to be as simple and as short as possible.


翻译:在本专著中,我通过在线隐形优化的现代观点,介绍了在线学习的基本概念。这里,在线学习指的是在最坏假设下尽量减少遗憾的框架。我介绍了在Euclidean和非Euclidean设置中,以隐形损失进行在线学习的第一阶和第二阶算法。所有算法都明显地以在线光源即时化或跟踪Regulized-Leader及其变体的形式呈现。特别注意调整算法参数和在无约束域的学习参数的问题,通过适应性和无参数在线学习算法。非隐形损失是通过Convex代谢损失和随机化处理的。还简要地讨论了土匪问题。这些说明并不需要事先了解Convex分析,而是严格地解释所有所需的数学工具。此外,所有证据都经过仔细选择,以便尽可能简单和简短。

16
下载
关闭预览

相关内容

Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
56+阅读 · 2020年5月5日
深度强化学习策略梯度教程,53页ppt
专知会员服务
135+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
Continual Unsupervised Representation Learning
Arxiv
5+阅读 · 2019年10月31日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Transfer Adaptation Learning: A Decade Survey
Arxiv
34+阅读 · 2019年3月12日
Arxiv
6+阅读 · 2018年12月26日
Adversarial Transfer Learning
Arxiv
10+阅读 · 2018年12月6日
VIP会员
相关VIP内容
Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
56+阅读 · 2020年5月5日
深度强化学习策略梯度教程,53页ppt
专知会员服务
135+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
相关论文
Top
微信扫码咨询专知VIP会员