Contextual multi-armed bandits have been studied for decades and adapted to various applications such as online advertising and personalized recommendation. To solve the exploitation-exploration tradeoff in bandits, there are three main techniques: epsilon-greedy, Thompson Sampling (TS), and Upper Confidence Bound (UCB). In recent literature, linear contextual bandits have adopted ridge regression to estimate the reward function and combine it with TS or UCB strategies for exploration. However, this line of works explicitly assumes the reward is based on a linear function of arm vectors, which may not be true in real-world datasets. To overcome this challenge, a series of neural-based bandit algorithms have been proposed, where a neural network is assigned to learn the underlying reward function and TS or UCB are adapted for exploration. In this paper, we propose "EE-Net", a neural-based bandit approach with a novel exploration strategy. In addition to utilizing a neural network (Exploitation network) to learn the reward function, EE-Net adopts another neural network (Exploration network) to adaptively learn potential gains compared to currently estimated reward. Then, a decision-maker is constructed to combine the outputs from the Exploitation and Exploration networks. We prove that EE-Net achieves $\mathcal{O}(\sqrt{T\log T})$ regret, which is tighter than existing state-of-the-art neural bandit algorithms ($\mathcal{O}(\sqrt{T}\log T)$ for both UCB-based and TS-based). Through extensive experiments on four real-world datasets, we show that EE-Net outperforms existing linear and neural bandit approaches.


翻译:多武装的土匪已经研究了几十年,并适应了在线广告和个性化建议等各种应用。为了解决土匪的剥削-探索交易,提出了三种主要技术:epsilon-greedy、Thompson Sampling(TS)和Clop Inful Bound(UBB)。在最近的文献中,线性背景土匪采用了山脊回归法来估计奖励功能,并将其与TS(UCB)或UCB勘探战略结合起来。然而,这一行的工作明确假定奖励是基于手臂矢量的线性功能,这在现实世界的数据集中可能不是如此。为了克服这一挑战,已经提出了一系列基于神经的土匪算法,其中指派了一个神经网络来学习基本的奖励功能,T或T或UCB来进行探索。在这个文件中,我们提出了“E-Net”基于星系的波纹(Explational net) 网络(E-ral-ral-ral-ral 网络) 来学习奖赏功能,而现在的Oral-al-al-al-ral-ral-al-ral-al-al-al-al-al-al-al-al-al-al-al-al-al-commal-commal-al-commal-al-al-commal-al-commal-l) 网络则是我们目前的模型, 和我们当前学习了一个测试数据, 的模型, 和不断的模型的模型的模型的模型,用来测量测算数据-al-sal-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-al-sal-al-al-al-al-al-al-l-l-l-l-l-l-l-l-l-l-al-l-l-l-l-l-l-al-al-al-al-al-al-al-al-al-al-al-al-al-l

0
下载
关闭预览

相关内容

专知会员服务
22+阅读 · 2021年9月5日
机器学习组合优化
专知会员服务
108+阅读 · 2021年2月16日
【AAAI2021】元学习器的冷启动序列推荐
专知会员服务
40+阅读 · 2020年12月19日
专知会员服务
16+阅读 · 2020年12月4日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Dynamic Zoom-in Network 论文笔记
统计学习与视觉计算组
6+阅读 · 2018年7月18日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
LibRec 每周算法:parameter-free contextual bandits (SIGIR'15)
LibRec智能推荐
5+阅读 · 2017年6月12日
Arxiv
0+阅读 · 2021年12月1日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
10+阅读 · 2019年2月19日
VIP会员
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Dynamic Zoom-in Network 论文笔记
统计学习与视觉计算组
6+阅读 · 2018年7月18日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
LibRec 每周算法:parameter-free contextual bandits (SIGIR'15)
LibRec智能推荐
5+阅读 · 2017年6月12日
Top
微信扫码咨询专知VIP会员