【导读】场景优化理论(Scenario Optimization Approach)是一种基于约束样本解决鲁棒优化和机会约束优化问题的启发式解决方案。该理论经过多年的发展,已经形成了较为系统的理论基础。

介绍

本文从风险与复杂度(Risk and Complexity)的新角度,介绍了场景优化理论ScenarioOptimization Theory的最新进展。场景(scenario)是指源于环境的观测样本,场景优化(scenario approach)指使用一组可用的观测样本进行优化的理论,通过数据驱动优化(data-driven optimization)的思路,解决含不确定性的随机优化和随机决策问题。场景优化理论具有坚实的数学基础,尝试回答了一些基本问题,例如,如何将经验纳入决策过程,以取得优化的结果?若遇到训练样本中从未见过的新样本,决策的执行效果如何?使用该理论和方法时,优化结果的鲁棒性如何?该理论自2005年由M.C. Campi教授(IEEEFellow, 因该贡献获得2008年IEEE CSSGeorge S. Axelby outstanding paper award)等人提出以来,不断取得新进展,已经广泛应用于机器学习、控制系统设计、系统识别等问题,以及医学分类、量化金融、航空运输系统、能源系统等应用领域。本讲座是M.C. Campi教授关于场景优化理论最新进展的介绍,更多相关研究可以访问https://marco-campi.unibs.it/?origin=publication_detail。

参考地址:

http://files.elearning.sztaki.hu/mta_sztaki/Rudolf_E_Kalman_Distinguished_Lecturer/02_Marco_C_Campi/start.html

成为VIP会员查看完整内容
0
26

相关内容

【导读】小样本学习是一类重要的机器学习方法,旨在解决数据缺少的情况下如何训练模型的问题。在CVPR2020的Tutorial,来自valeo.ai的学者给了Spyros Gidaris关于小样本学习的最新教程报告。

在过去的几年里,基于深度学习的方法在图像理解问题上取得了令人印象深刻的效果,如图像分类、目标检测或语义分割。然而,真实字计算机视觉应用程序通常需要模型能够(a)通过很少的注释例子学习,(b)不断适应新的数据而不忘记之前的知识。不幸的是,经典的监督深度学习方法在设计时并没有考虑到这些需求。因此,计算机视觉的下一个重大挑战是开发能够解决这方面现有方法的重要缺陷的学习方法。本教程将介绍实现这一目标的可能方法。小样本学习(FSL)利用先验知识,可以快速地泛化到只包含少量有监督信息的样本的新任务中。

https://annotation-efficient-learning.github.io/

目录内容:

  • 概述
  • 小样本学习种类
  • 度量学习
  • 带记忆模块的元学习
  • 基于优化的元学习
  • 学习预测模型参数
  • 无遗忘小样本学习
  • 结论

成为VIP会员查看完整内容
0
193

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
129

统计学习理论是一个新兴的研究领域,它是概率论、统计学、计算机科学和最优化的交叉领域,研究基于训练数据进行预测的计算机算法的性能。以下主题将包括:统计决策理论基础;集中不平等;监督学习和非监督学习;经验风险最小化;complexity-regularized估计;学习算法的泛化界VC维与复杂性;极大极小下界;在线学习和优化。利用一般理论,我们将讨论统计学习理论在信号处理、信息论和自适应控制方面的一些应用。

成为VIP会员查看完整内容
0
91

这个可访问的文本/参考提供了从工程角度对概率图模型(PGMs)的一般介绍。这本书涵盖了每一个PGMs的主要类的基础知识,包括表示、推理和学习原则,并回顾了每种类型模型的实际应用。这些应用来自广泛的学科领域,突出了贝叶斯分类器、隐马尔可夫模型、贝叶斯网络、动态和时态贝叶斯网络、马尔可夫随机域、影响图和马尔可夫决策过程的多种用途。

提出了一个统一的框架,包括所有的主要类别的PGMs;描述不同技术的实际应用;检视该领域的最新发展,包括多维贝叶斯分类器、相关图模型和因果模型;在每一章的结尾提供练习,进一步阅读的建议,和研究或编程项目的想法。

成为VIP会员查看完整内容
0
77
小贴士
相关主题
相关VIP内容
专知会员服务
225+阅读 · 2020年6月8日
专知会员服务
129+阅读 · 2020年5月22日
专知会员服务
65+阅读 · 2020年4月7日
专知会员服务
107+阅读 · 2020年2月1日
强化学习最新教程,17页pdf
专知会员服务
74+阅读 · 2019年10月11日
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
46+阅读 · 2020年7月2日
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Tong Yu,Hong Zhu
12+阅读 · 2020年3月12日
A Modern Introduction to Online Learning
Francesco Orabona
15+阅读 · 2019年12月31日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
81+阅读 · 2019年12月19日
Seeing What a GAN Cannot Generate
David Bau,Jun-Yan Zhu,Jonas Wulff,William Peebles,Hendrik Strobelt,Bolei Zhou,Antonio Torralba
6+阅读 · 2019年10月24日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
9+阅读 · 2019年1月16日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Lior Friedman,Shaul Markovitch
4+阅读 · 2018年1月31日
Chris Cremer,Xuechen Li,David Duvenaud
3+阅读 · 2018年1月10日
Top