将离散概率分布和组合优化问题集成到神经网络中有许多应用,但也带来了一些挑战。本文提出隐式最大似然估计(I-MLE),一种结合离散指数族分布和可微神经组件的模型端到端学习框架。I-MLE应用广泛:它只要求能够计算最可能的状态;并且不依赖平稳的放松。该框架包括几种方法,如基于扰动的隐微分和最近通过黑盒组合求解器进行微分的方法。本文引入一类新的噪声分布,用于通过扰动和映射逼近边界。当在一些最近研究的涉及组合求解器的学习环境中使用时,I-MLE简化为最大似然估计。在几个数据集上的实验表明,I-MLE与现有的依赖于特定问题松弛的方法相比是有竞争力的,并且往往优于现有的方法。

成为VIP会员查看完整内容
21

相关内容

【CMU博士论文】强化学习泛化性与效率研究,206页pdf
专知会员服务
67+阅读 · 2023年2月23日
【牛津大学博士论文】鲁棒神经网络:评估与构建
专知会员服务
32+阅读 · 2022年10月23日
【ICML2022】鲁棒强化学习的策略梯度法
专知会员服务
34+阅读 · 2022年5月21日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
14+阅读 · 2021年11月14日
专知会员服务
22+阅读 · 2021年6月22日
专知会员服务
51+阅读 · 2021年6月17日
少即是多?非参数语言模型,68页ppt
专知会员服务
20+阅读 · 2020年11月22日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
综述| 当图神经网络遇上强化学习
图与推荐
23+阅读 · 2022年7月1日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
【论文笔记】基于强化学习的人机对话
专知
20+阅读 · 2019年9月21日
迁移自适应学习最新综述,附21页论文下载
下载 | 384页NLP多任务联合学习教程(PPT)
机器学习算法与Python学习
20+阅读 · 2018年11月22日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
11+阅读 · 2021年12月8日
Multi-Domain Multi-Task Rehearsal for Lifelong Learning
Arxiv
12+阅读 · 2020年12月14日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
VIP会员
相关VIP内容
【CMU博士论文】强化学习泛化性与效率研究,206页pdf
专知会员服务
67+阅读 · 2023年2月23日
【牛津大学博士论文】鲁棒神经网络:评估与构建
专知会员服务
32+阅读 · 2022年10月23日
【ICML2022】鲁棒强化学习的策略梯度法
专知会员服务
34+阅读 · 2022年5月21日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
14+阅读 · 2021年11月14日
专知会员服务
22+阅读 · 2021年6月22日
专知会员服务
51+阅读 · 2021年6月17日
少即是多?非参数语言模型,68页ppt
专知会员服务
20+阅读 · 2020年11月22日
相关资讯
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
综述| 当图神经网络遇上强化学习
图与推荐
23+阅读 · 2022年7月1日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
【论文笔记】基于强化学习的人机对话
专知
20+阅读 · 2019年9月21日
迁移自适应学习最新综述,附21页论文下载
下载 | 384页NLP多任务联合学习教程(PPT)
机器学习算法与Python学习
20+阅读 · 2018年11月22日
相关基金
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员