深度学习系统在许多任务中都取得了显著的性能,但要确保生成的模型服从硬约束(在许多控制应用程序中可能经常需要这样做),常常是出了名的困难。在这次演讲中,我将介绍一些最近的关于在深度学习系统中加强不同类型的约束的工作。具体来说,我将重点介绍最近的一些工作,包括将一般的凸优化问题集成为深网络中的层次,研究保证表示凸函数的学习网络,以及研究增强非线性动力学的全局稳定性的深层动力系统。在所有情况下,我们都强调我们可以设计网络结构来编码这些隐性偏见的方式,这种方式可以让我们轻松地执行这些硬约束。

成为VIP会员查看完整内容
0
30

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】深度学习中的优化问题是非常关键的。今年国立台湾大学教授、IEEE Fellow、ACM Fellow、AAAI Fellow,也是大名鼎鼎LIBSVM作者林智仁教授开设了《深度学习优化方法》课程,讲解深度学习涉及到非常难的非凸优化问题,研究了深度学习优化方法的实现,值得跟踪学习。

https://www.csie.ntu.edu.tw/~cjlin/courses/optdl2020/

Chih-Jen Lin,现任台湾大学计算机科学系特聘教授。1993年获国立台湾大学学士学位,1998年获密歇根大学博士学位。他的主要研究领域包括机器学习、数据挖掘和数值优化。他最著名的工作是支持向量机(SVM)数据分类。他的软件LIBSVM是最广泛使用和引用的支持向量机软件包之一。由于他的研究工作,他获得了许多奖项,包括ACM KDD 2010和ACM RecSys 2013最佳论文奖。因为他对机器学习算法和软件设计的贡献,他是IEEE fellow,AAAI fellow,ACM fellow。更多关于他的信息可以在http://www.csie.ntu.edu.tw/~cjlin

目录内容:

  • 正则化线性分类
  • 全连接网络优化问题
  • 卷积神经网络优化问题
成为VIP会员查看完整内容
Optimization Problems for Neural Networks.pdf
0
117

本书介绍了在并行和分布式计算平台上扩展机器学习和数据挖掘方法的代表性方法的集成集合。对并行学习算法的需求是高度特定于任务的:在某些情况下,并行学习算法是由庞大的数据集驱动的,而在另一些情况下,并行学习算法是由模型复杂性或实时性能需求驱动的。为大规模机器学习选择适合于任务的算法和平台,需要了解可用选项的好处、权衡和约束。本书提供的解决方案涵盖了一系列的并行化平台,从FPGAs和gpu到多核系统和商品集群,并发编程框架包括CUDA、MPI、MapReduce和DryadLINQ,以及学习设置(监督、非监督、半监督和在线学习)。广泛的并行化的推进树,支持向量机,谱聚类,信念传播和其他流行的学习算法,并深入到几个应用,这本书适合研究人员,学生,和从业者。

成为VIP会员查看完整内容
0
46

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
129

虽然生成对抗网络在图像合成任务中取得了巨大的成功,但众所周知,它们很难适应不同的数据集,部分原因是训练过程中的不稳定性和对超参数的敏感性。这种不稳定性的一个普遍接受的原因是,当真实和虚假分布的支持没有足够的重叠时,从鉴别器到发生器的梯度变得不具信息性。本文提出了多尺度梯度生成对抗网络(MSG-GAN),这是一种简单而有效的技术,通过允许梯度流从鉴别器到发生器在多个尺度上流动来解决这个问题。该技术为高分辨率图像合成提供了一种稳定的方法,并作为常用的渐进生长技术的替代。结果表明,MSG-GAN在不同大小、分辨率和域的多种图像数据集上,以及不同类型的丢失函数和结构上都稳定收敛,且具有相同的固定超参数集。与最先进的GAN相比,在我们尝试的大多数情况下,我们的方法都能与之媲美或超越其性能。

成为VIP会员查看完整内容
0
20

本书的目的是考虑大型和具有挑战性的多阶段决策问题,这些问题可以通过动态规划和最优控制从原则上解决,但它们的精确解在计算上是难以解决的。我们讨论了依靠近似来产生性能良好的次优策略(suboptimal policies)的求解方法。这些方法统称为强化学习(reinforcement learning),也包括近似动态规划(approximate dynamic programming)和神经动态规划( neuro-dynamic programming)等替代名称。

我们的学科从最优控制和人工智能的思想相互作用中获益良多。本专著的目的之一是探索这两个领域之间的共同边界,并形成一个可以在任一领域具有背景的人员都可以访问的桥梁。

这本书的数学风格与作者的动态规划书和神经动态规划专著略有不同。我们更多地依赖于直观的解释,而不是基于证据的洞察力。在附录中,我们还对有限和无限视野动态规划理论和一些基本的近似方法作了严格的简要介绍。为此,我们需要一个适度的数学背景:微积分、初等概率和矩阵向量代数等。

实践证明这本书中的方法是有效的,最近在国际象棋和围棋中取得的惊人成就就是一个很好的证明。然而,在广泛的问题中,它们的性能可能不太可靠。这反映了该领域的技术现状:没有任何方法能够保证对所有甚至大多数问题都有效,但有足够的方法来尝试某个具有挑战性的问题,并有合理的机会使其中一个或多个问题最终获得成功。因此,我们的目标是提供一系列基于合理原则的方法,并为其属性提供直觉,即使这些属性不包括可靠的性能保证。 希望通过对这些方法及其变体的充分探索,读者将能够充分解决他/她自己的问题。

成为VIP会员查看完整内容
0
59

CMU大神博士生Brandon Amos,马上就要毕业了。博士期间,他在可微优化机器学习建模方向,发表了ICLR 一篇,ICML 三篇,NeurIPS 三篇,分析了可微优化机器学习建模的很多问题。近日,他将自己的博士论文也开放了出来,系统的讲述了可微优化机器学习建模的方方面面。

博士论文简介

我们提出了两种基于优化建模的基本方法:

  1. OptNet体系结构,将优化问题作为单个层集成到更大的端到端可训练深度网络中,2)引入凸神经网络(ICNN)结构,使基于深度能量和结构化预测模型的推理和学习更加容易。

然后,我们将展示如何使用OptNet方法,1)将无模型和基于模型的强化学习与可微最优控制相结合,2)针对top-k学习问题,我们展示了如何将cvxpy领域特定的语言转换为可微优化层,从而实现本文方法的快速原型化。

成为VIP会员查看完整内容
0
29
小贴士
相关VIP内容
专知会员服务
46+阅读 · 2020年5月23日
专知会员服务
129+阅读 · 2020年5月22日
专知会员服务
20+阅读 · 2020年4月6日
专知会员服务
29+阅读 · 2020年3月9日
专知会员服务
59+阅读 · 2020年3月2日
专知会员服务
107+阅读 · 2020年2月1日
CMU博士论文:可微优化机器学习建模
专知会员服务
29+阅读 · 2019年10月26日
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
19+阅读 · 2020年1月2日
Xiaohua Zhai,Avital Oliver,Alexander Kolesnikov,Lucas Beyer
4+阅读 · 2019年5月9日
Improved Deep Embeddings for Inferencing with Multi-Layered Networks
Huan Song,Jayaraman J. Thiagarajan
3+阅读 · 2019年3月1日
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
4+阅读 · 2018年6月5日
Wonsik Kim,Bhavya Goyal,Kunal Chawla,Jungmin Lee,Keunjoo Kwon
16+阅读 · 2018年4月2日
Arthur Mensch,Mathieu Blondel
55+阅读 · 2018年2月20日
Alexander Wong,Mohammad Javad Shafiee,Francis Li,Brendan Chwyl
7+阅读 · 2018年2月19日
Yeeleng S. Vang,Zhen Chen,Xiaohui Xie
8+阅读 · 2018年2月3日
Uri Shaham,Kelly Stanton,Henry Li,Boaz Nadler,Ronen Basri,Yuval Kluger
8+阅读 · 2018年1月10日
Top