CMU博士论文:可微优化机器学习建模

2019 年 4 月 25 日 专知

【导读】CMU大神博士生Brandon Amos,马上就要毕业了。博士期间,他在可微优化机器学习建模方向,发表了ICLR 一篇,ICML 三篇,NeurIPS 三篇,分析了可微优化机器学习建模的很多问题。近日,他将自己的博士论文也开放了出来,系统的讲述了可微优化机器学习建模的方方面面,相关方向的同学们,赶紧来看看吧。


Brandon Amos 个人主页:

https://bamos.github.io/


作者简介

Brandon Amos,是卡内基梅陇大学的博士生,主要研究机器学习和优化的基础问题和应用,包括强化学习、计算机视觉、语言、统计学和理论。导师是济科·科尔特(Zico Kolter),并得到了美国国家科学基金会(NSF)研究生奖学金的支持。


博士论文简介

领域特定的建模先验和领域特殊的组件对于机器学习建模领域正变得越来越重要。这些组件将我们作为人类所拥有的专业知识集成到模型中。在本文中,我们讨论了一系列富有表现力的优化方法,这些方法应该是机器学习实践者的建模工具箱的一部分。


我们提出了两种基于优化建模的基本方法:

1) OptNet体系结构,将优化问题作为单个层集成到更大的端到端可训练深度网络中,2)引入凸神经网络(ICNN)结构,使基于深度能量和结构化预测模型的推理和学习更加容易。


然后,我们将展示如何使用OptNet方法,1)将无模型和基于模型的强化学习与可微最优控制相结合,2)针对top-k学习问题,我们展示了如何将cvxpy领域特定的语言转换为可微优化层,从而实现本文方法的快速原型化。


请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“bamos”就可以获取Amos同学的博士论文《可微优化机器学习建模》下载链接~



文章部分内容

-END-

专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!530+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
2

相关内容

【硬核课】统计学习理论,321页ppt
专知会员服务
135+阅读 · 2020年6月30日
还在修改博士论文?这份《博士论文写作技巧》为你指南
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
44+阅读 · 2020年5月23日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
76+阅读 · 2020年2月3日
【课程】概率图模型,卡内基梅隆大学邢波
专知会员服务
67+阅读 · 2019年11月4日
【CMU】机器学习导论课程(Introduction to Machine Learning)
专知会员服务
58+阅读 · 2019年8月26日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Arxiv
18+阅读 · 2019年1月16日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
6+阅读 · 2018年1月11日
VIP会员
Top
微信扫码咨询专知VIP会员