报告主题: From Satisfiability to Optimization Modulo Theories

简介:

可满足性模理论(SMT)是决策的可满足性问题(通常quantifier-free)一阶公式对一些可决策的一阶理论(例如,rational LRA的线性运算或整数LIA及其数组AR,向量BV和浮点数的FP)及它们的组合。SMT引擎被广泛用作许多应用领域的后端引擎(包括规划、模型检查、需求工程、软件和HW验证)。然而,许多感兴趣的SMT问题都要求能够找到最优的wrt模型,一些目标函数。这些问题被归为优化模理论(OMT)一类。 本教程旨在提供OMT的主要问题、技术、功能和应用的概述,关注表达性和效率。具体的主题包括:支持在不同的兴趣理论中表达的目标函数;处理OMT增量;处理多个目标;处理重要的OMT子案例,如Max-SMT。我们简要地描述了一些有趣的应用。最后,指出了一些有待解决的问题和研究方向。

邀请嘉宾:

Roberto Sebastiani目前是意大利特伦托大学信息科学与工程系的副教授。他获得了意大利帕多瓦大学的电子工程硕士学位(1991年)和获得了意大利热那亚大学的计算机科学工程博士学位(1997年)。他目前的主要兴趣是优化模理论(OMT),可满足性模理论(SMT)及其在形式验证和AI问题中的应用。他的研究还涉及形式验证,SAT,模态和描述逻辑的决策程序,计划,定理证明。他发表了90多篇论文,其中许多论文发表在AI或与AI相关的期刊和会议上。

成为VIP会员查看完整内容
0
0

相关内容

对于给定d个属性描述的示例x=(x1,x2,......,xd),通过属性的线性组合来进行预测。一般的写法如下: f(x)=w'x+b,因此,线性模型具有很好的解释性(understandability,comprehensibility),参数w代表每个属性在回归过程中的重要程度。

本课程的目的是提供非渐近方法的介绍,以研究在高维随机结构出现的概率,统计,计算机科学,和数学。重点是开发一套已被证明在不同领域的广泛应用程序中有用的公共工具。根据时间和听众的兴趣,主题可能包括:措施的集中;功能性,运输成本,鞅不等式;isoperimetry;马尔可夫半群,混合时间,随机场;hypercontractivity;阈值和影响;斯坦的方法;随机过程的最高原则;高斯和拉德马赫不等式;通用的链接;熵和组合维数;选择应用程序。

成为VIP会员查看完整内容
0
70

课程介绍:

经济学、人工智能和优化是一门跨学科课程,将涵盖经济学、运筹学和计算机科学交叉的选定主题。在本课程中,一个反复出现的主题是如何通过人工智能和优化方法大规模地使用经济解决方案。

课程目录:

  • 介绍博弈论和市场设计
  • 纳什均衡
    • 零和博弈,极大极小定理
    • 一阶方法/在线凸优化/游戏中的遗憾最小化
    • 深度学习解决游戏的规模
  • 安全游戏
    • Stackelberg平衡
    • 基本的Stackelberg安全游戏模型
    • 混合整数规划,深度学习的规模
    • 应用于机场、野生动物、电网安全
  • 市场设计
    • 费舍尔市场和市场均衡
    • 计算市场均衡的优化方法
    • 大型市场的机器学习方法
    • 公平分配,课程分配
    • 互联网广告拍卖
    • 频谱拍卖
成为VIP会员查看完整内容
0
31

主题: 11-785 Introduction to Deep Learning

简介: 以深度神经网络为代表的“深度学习”系统正日益接管所有人工智能任务,从语言理解、语音和图像识别,到机器翻译、规划,甚至是游戏和自动驾驶。因此,在许多先进的学术环境中,深度学习的专业知识正迅速从一个深奥的理想转变为一个强制性的先决条件,并在工业就业市场上占有很大优势。在本课程中,我们将学习深层神经网络的基础知识,以及它们在各种人工智能任务中的应用。课程结束时,学生将对本课程有相当的了解,并能将深度学习应用到各种任务中。他们还将通过进一步的研究来了解关于这一主题的许多现有文献并扩展他们的知识。

主讲人简介: Bhiksha Raj,卡内基梅隆大学计算机学院教授,IEEE研究员。个人主页:http://mlsp.cs.cmu.edu/people/bhiksha/index.php

成为VIP会员查看完整内容
0
20

题目: Optimization for deep learning: theory and algorithms

摘要:

什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸、消失问题,然后讨论了实际的解决方案,包括初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法以及这些算法的理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、无限宽度分析。

作者:

Ruoyu Sun是伊利诺伊大学厄本那香槟分校 (UIUC)电子与计算机工程系的助理教授,研究优化和机器学习,尤其是深度学习。最近,一直在研究深度学习中的最优化,例如神经网络,GANs和Adam。

摘要

什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸/消失问题和更一般的不期望谱问题,然后讨论了实际的解决方案,包括仔细的初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法,以及这些算法的现有理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、彩票假设和无限宽度分析。

  1. 概述

本文的一个主要主题是了解成功训练神经网络的实际组成部分,以及可能导致训练失败的因素。假设你在1980年试图用神经网络解决一个图像分类问题。如果你想从头开始训练一个神经网络,很可能你最初的几次尝试都没有得到合理的结果。什么本质的变化使算法能有效进行?在高层次上,你需要三样东西(除了强大的硬件): 合适的神经网络、合适的训练算法和合适的训练技巧。

合适的神经网络。这包括神经结构和激活功能。对于神经结构,您可能想要用一个至少有5层和足够神经元的卷积网络来替换一个完全连接的网络。为了获得更好的性能,您可能希望将深度增加到20甚至100,并添加跳跃skip连接。对于激活函数,一个好的起点是ReLU激活,但是使用tanh或swish激活也是合理的。

训练算法。一个大的选择是使用随机版本的梯度下降(SGD)并坚持它。良好调整的步长足够好,而动量和自适应步长可以提供额外的好处。

训练技巧。适当的初始化对于算法的训练是非常重要的。要训练一个超过10层的网络,通常需要两个额外的技巧:添加规范化层和添加跳过连接。

哪些设计选择是必要的?目前我们已经了解了一些设计选择,包括初始化策略、规范化方法、跳过连接、参数化(大宽度)和SGD,如图1所示。我们将优化优势大致分为三部分: 控制Lipschitz常数、更快的收敛速度和更好的landscape。还有许多其他的设计选择是很难理解的,尤其是神经架构。无论如何,似乎不可能理解这个复杂系统的每个部分,目前的理解已经可以提供一些有用的见解。

图1: 成功训练具有理论理解的神经网络的几个主要设计选择。它们对算法收敛的三个方面有影响:使收敛成为可能、更快的收敛和更好的全局解。这三个方面有一定的联系,只是一个粗略的分类。请注意,还有其他一些重要的设计选择,特别是神经体系结构,它们在理论上还没有被理解,因此在该图中被省略了。还有其他好处,比如泛化,也被忽略了。

为了使综述调查简单,我们将重点研究前馈神经网络的监督学习问题。我们将不讨论更复杂的公式,如GANs(生成对抗网络)和深度强化学习,也不讨论更复杂的体系结构,如RNN(递归神经网络)、attention和Capsule。在更广泛的背景下,监督学习理论至少包含表示、优化和泛化(参见1.1节),我们不详细讨论表示和泛化。一个主要的目标是理解神经网络结构(由许多变量连接的参数化)如何影响优化算法的设计和分析,这可能会超越监督学习。

这篇文章是为那些对神经网络优化的理论理解感兴趣的研究人员写的。关于优化方法和基础理论的先验知识将非常有帮助(参见,[24,200,29]的准备)。现有的关于深度学习优化的调查主要针对一般的机器学习受众,如Goodfellow等[76]的第8章。这些综述通常不深入讨论优化的理论方面。相反,在这篇文章中,我们更多地强调理论结果,同时努力使它对非理论读者具有可访问性。如果可能的话,我们将提供一些简单的例子来说明这种直觉,我们将不解释定理的细节。

1.1 大景观:分解理论

分解是发展理论的一个有用且流行的元方法。首先简要回顾了优化在机器学习中的作用,然后讨论了如何分解深度学习的优化理论。

表示、优化和泛化。监督学习的目标是根据观察到的样本找到一个近似底层函数的函数。第一步是找到一个丰富的函数家族(如神经网络),可以代表理想的函数。第二步是通过最小化某个损失函数来识别函数的参数。第三步是使用第二步中找到的函数对不可见的测试数据进行预测,产生的错误称为测试错误。测试误差可以分解为表示误差、优化误差和泛化误差,分别对应这三个步骤引起的误差。

在机器学习中,表示、优化和泛化这三个学科经常被分开研究。例如,在研究一类函数的表示能力时,我们往往不关心优化问题能否很好地解决。在研究泛化误差时,我们通常假设已经找到了全局最优值(概化调查见[95])。类似地,在研究优化属性时,我们通常不明确地考虑泛化误差(但有时我们假定表示误差为零)。

优化问题的分解。深度学习的优化问题比较复杂,需要进一步分解。优化的发展可以分为三个步骤。第一步是使算法开始运行,并收敛到一个合理的解,如一个固定点。第二步是使算法尽快收敛。第三步是确保算法收敛到一个低目标值的解(如全局极小值)。要获得良好的测试精度,还有一个额外的步骤,但是这超出了优化的范围。简而言之,我们将优化问题分为三个部分: 收敛性、收敛速度和全局质量。

大部分工作的回顾分为三个部分: 第四部分,第五部分和第六部分。大致说来,每个部分主要是由优化理论的三个部分之一。然而,这种划分并不精确,因为这三个部分之间的边界是模糊的。例如,第4节中讨论的一些技术也可以提高收敛速度,第6节中的一些结果解决了收敛问题和全局问题。划分的另一个原因是它们代表了神经网络优化的三个相当独立的子领域,并且在一定程度上是独立发展的。

1.2 文章结构

这篇文章的结构如下。在第二节中,我们提出了一个典型的监督学习神经网络优化问题。在第三节中,我们提出了反向传播(BP),并分析了将经典收敛分析应用于神经网络梯度下降的困难。在第四节中,我们将讨论训练神经网络的神经网络特定技巧,以及一些基本理论。这些是神经网络相关的方法,打开了神经网络的黑盒子。特别地,我们讨论了一个主要的挑战,称为梯度爆炸/消失和一个更普遍的挑战,控制频谱,并回顾了主要的解决方案,如仔细的初始化和归一化方法。在第五节中,我们讨论了将神经网络视为一般非凸优化问题的泛型算法设计。特别地,我们回顾了SGD的各种学习速率调度、自适应梯度方法、大规模分布式训练、二阶方法以及现有的收敛和迭代复杂度结果。在第六节中,我们回顾了神经网络的全局优化研究,包括全局景观、模式连接、彩票假设和无限宽度分析(如神经正切核)。

更多请下载论文查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

后台回复“

成为VIP会员查看完整内容
0
78

报告主题: 模仿学习前沿进展

报告摘要: 时空跟踪和传感数据的不断发展,现在使得在广泛的领域中对细粒度的行为进行分析和建模成为可能。例如,现在正在收集每场NBA篮球比赛的跟踪数据,其中包括球员,裁判和以25 Hz跟踪的球,以及带有注释的比赛事件,如传球,射门和犯规。其他设置包括实验动物,公共场所的人员,设置诸如手术室,演员讲话和表演的演员,虚拟环境中的数字化身,自然现象(如空气动力学)以及其他计算系统的行为等专业人员。 在本演讲中,我将描述正在进行的研究,这些研究正在开发结构化模仿学习方法,以开发细粒度行为的预测模型。模仿学习是机器学习的一个分支,它处理模仿模仿的动态行为的学习。结构化模仿学习涉及施加严格的数学领域知识,这些知识可以(有时被证明)可以加速学习,并且还可以带来附带利益(例如Lyapunov稳定性或政策行为的可解释性)。我将提供基本问题设置的高级概述,以及对实验动物,专业运动,语音动画和昂贵的计算神谕进行建模的特定项目。

嘉宾介绍: Yisong Yue,博士,是加州理工学院计算与数学科学系的助理教授。他以前是迪斯尼研究院的研究科学家。在此之前,他是卡耐基梅隆大学机器学习系和iLab的博士后研究员。 Yisong的研究兴趣主要在于统计机器学习的理论和应用。他对开发用于交互式机器学习和结构化机器学习的新颖方法特别感兴趣。过去,他的研究已应用于信息检索,推荐系统,文本分类,从丰富的用户界面中学习,分析隐式人类反馈,临床治疗,辅导系统,数据驱动的动画,行为分析,运动分析,实验设计科学,优化学习,机器人技术政策学习以及自适应计划和分配问题。

成为VIP会员查看完整内容
0
24

题目: Multimodal Intelligence: Representation Learning, Information Fusion, and Applications

摘要: 自2010年以来,深度学习已经彻底改变了语音识别、图像识别和自然语言处理,每一项都涉及到输入信号中的单一模态。然而,人工智能中的许多应用都涉及到一种以上的模式。因此,研究跨多种模式的建模和学习这一更为困难和复杂的问题具有广泛的兴趣。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究领域的一个重要课题。本文从学习多模态表示、多模态信号在不同层次的融合以及多模态应用三个新的角度,对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,它将多模态信号统一到同一向量空间中,从而实现跨模态信号处理。我们还回顾了为一般下游任务构造和学习的许多嵌入类型的特性。关于多模融合,本文着重介绍了用于集成特定任务的单模信号表示的特殊体系结构。在应用程序方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题解答。我们相信,这项检讨有助于社区未来在新兴多模态情报领域的研究。

作者简介:

Zichao Yang (杨子超),他是芝加哥大学计算机科学系的博士生。他对机器学习、深度学习及其在计算机视觉、自然语言处理中的应用感兴趣。在到CMU之前,他获得了香港大学的硕士学位,上海交通大学的学士学位。他之前曾在谷歌DeepMind实习,与Chris Dyer和Phil Blunsom合作,MSR与He Xiaodong、Gao Jianfeng和Li Deng合作。 个人主页:http://www.cs.cmu.edu/~zichaoy/

Xiaodong He(何晓东)是华盛顿大学西雅图分校电气工程系的副教授。他也是微软研究中心的首席研究员,华盛顿州雷德蒙德。1996年获清华大学(北京)学士学位,1999年获中国科学院(北京)硕士学位,2003年获密苏里哥伦比亚大学博士学位。他的研究兴趣在于人工智能领域,包括深度学习、语音、自然语言、计算机视觉、信息检索和知识表示与管理。他撰写/合著了100多篇论文和一本书,并在ACL、CVPR、SIGIR、WWW、CIKM、NIPS、ICLR、IEEE TASLP、Proc上发表。IEEE、IEEE SPM等场馆。他和同事开发了MSR-NRC-SRI条目和MSR条目,分别在2008年NIST机器翻译评估和2011年IWSLT评估(中英文)中获得第一名,并开发了MSR图像字幕系统,在2015年的MS COCO字幕挑战赛中获得一等奖。他曾在多家IEEE期刊担任编辑职务,担任NAACL-HLT 2015地区主席,并在主要演讲和语言处理会议的组织委员会/项目委员会任职。他是IEEESLTC的当选成员,任期2015-2017年。他是IEEE高级成员,2016年IEEE西雅图分部主席。 个人主页:http://faculty.washington.edu/xiaohe/

Li Deng是一位经验丰富的首席执行官,在高科技行业有着丰富的工作经验。在人工智能、机器学习、数学建模、计算机科学、语音识别、自然语言处理、深度学习、神经网络、大数据分析、财务和统计建模等方面具有较强的技术、执行管理和业务开发专业技能。等

成为VIP会员查看完整内容
0
77

主题:Deep Learning for Graphs: Models and Applications

摘要:图提供了多种类型的数据的通用表示,而深度学习在表示学习方面显示了巨大的能力。因此,用图连接深度学习提供了机会,使各种现实世界问题的通用解决方案成为可能。然而,传统的深度学习技术对常规网格数据(如图像和序列)具有破坏性,因此不能直接应用于图结构数据。因此,将这两个领域结合起来面临着巨大的挑战。在本教程中,我将全面概述图深度学习的最新进展,包括模型和应用。特别地,我将介绍一些基本概念,回顾最先进算法,并举例说明各种重要的应用。最后,我将通过讨论开放问题和挑战来总结本教程。

嘉宾简介:唐继良(Jiang Tang)自2016年秋季@起担任密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是Yahoo Research的研究科学家,并于2015年从亚利桑那州立大学获得博士学位。他的研究兴趣包括社交计算,数据挖掘和机器学习及其在教育中的应用。他曾获得2019年NSF职业奖,2015年KDD最佳论文亚军和6项最佳论文奖,包括WSDM2018和KDD2016。他是会议组织者(例如KDD,WSDM和SDM)和期刊编辑(例如TKDD)。他的研究成果发表在高排名的期刊和顶级会议论文集上,获得了数千篇引文(Google学术搜索)和广泛的媒体报道。

PPT链接:https://pan.baidu.com/s/1TMv5YsQbwPcRzGy-BkY-bg

成为VIP会员查看完整内容
0
35

主题: Medical decision analysis with probabilistic graphical models

摘要: 概率图模型(PGMs)如贝叶斯网络、影响图、马尔可夫决策过程等,在医学领域的应用已有几十年的历史。本教程回顾了主要模型,提出了解决实际工作健康问题的新型模型和算法,包括时间推理和成本效益分析,并讨论了这些方法相对于卫生经济学中常用方法的优势,为PGMs开发了许多软件工具。

邀请嘉宾: Francisco Javier Díez Vegas,博士,西班牙马德里联合国教科文组织人工智能部智能决策智能系统研究中心(CISIAD)主任,联合国开发计划署署长。

成为VIP会员查看完整内容
0
20

主题: Adaptive Influence Maximization

简介:

在当今的网络生态系统中,信息扩散和社会影响越来越多。对于所有在网络上做广告的参与者(媒体公司、政党、公司等)来说,拥有优化社交媒体存在和信息传播的算法确实至关重要。由于需要有效的病毒式营销策略,因此影响估计和影响最大化成为重要的研究问题,导致了方法的过剩。然而,这些方法中的大多数是非自适应的,因此不适用于可能在多个回合中运行和观察影响活动的场景,也不适用于不能假定对扩散网络和其中的信息传播方式具有充分知识的场景。

在本教程中,我们打算介绍自适应影响最大化的最新研究,旨在解决这些限制。这可以被视为一种特殊情况下的影响最大化问题(种子在社会图选择最大化信息传播),一个决策作为影响运动的展开,在多个回合,知识图拓扑结构和影响过程甚至可能部分或完全缺失。这种设置,取决于基本的假设,导致变量和原始的方法和算法技术,正如我们在最近的文献中看到的。我们将回顾这一领域最相关的研究,按照几个关键维度进行组织,讨论这些方法的优点和缺点,以及开放式研究问题及其实施的实际方面。

邀请嘉宾:

Bogdan Cautis,法国巴黎大学计算机科学系教授,2013年9月至今。在此之前,他是巴黎电信ParisTech的副教授(2007-2013)。2007年,他获得了法国巴黎大学的博士学位。他目前的研究兴趣是数据管理和数据挖掘的广泛领域,特别是社会网络和信息扩散。

Silviu Maniu,法国巴黎大学计算机科学系副教授,2015年9月至今。在此之前,他曾任华为诺亚方舟实验室研究员(2014-2015)。2012年,他获得了ParisTech电信公司的博士学位。他的研究兴趣主要集中在图形数据挖掘的一般领域,侧重于处理不确定性的模型和算法。

Nikolaos Tziortziotis是法国巴黎Tradelab项目平台的数据科学家研发人员。在此之前,他是法国巴黎南部大学计算机科学系的博士后研究员(2018年11月至12月)。他也是法国巴黎理工学院计算机科学实验室(LIX)的博士后研究员(2015-2018)。他获得了希腊约阿尼纳大学计算机科学与工程系的博士学位。他的研究兴趣跨越了机器学习和数据挖掘的广泛领域,主要集中在强化学习、贝叶斯学习、影响最大化和实时竞价。

成为VIP会员查看完整内容
0
3

题目: Active Learning: From Theory to Practice

简介:

近年来,机器学习领域取得了相当大的进步,但主要是在定义明确的领域中使用了大量带有人类标记的训练数据。机器可以识别图像中的物体并翻译文本,但它们必须接受比人一生所能看到的更多的图像和文本的训练。生成必要的训练数据集需要大量的人力工作。Active ML旨在解决这个问题,它设计了一种学习算法,能够自动、自适应地选择最具信息性的数据进行标记,这样就不会浪费人类的时间来标记不相关、冗余或琐碎的例子。本教程将概述应用程序,并介绍主动机器学习的基本理论和算法。它将特别关注可证明的健全的主动学习算法,并量化学习所需的标记训练数据的减少。

邀请嘉宾:

Robert Nowak是威斯康星大学麦迪逊分校的诺斯布施工程教授,他的研究重点是信号处理、机器学习、优化和统计。

Steve Hanneke是芝加哥丰田技术研究所的研究助理教授。他的研究探索了机器学习理论:设计新的学习算法,能够从更少的样本中学习,理解交互式机器学习的好处和能力,开发迁移学习和终身学习的新视角,并在学习理论的基础上重新审视基本的概率假设。Steve于2005年在UIUC获得了计算机科学学士学位,2009年在卡内基梅隆大学获得了机器学习博士学位,并完成了一篇关于主动学习理论基础的论文。

成为VIP会员查看完整内容
0
21
小贴士
相关VIP内容
相关论文
Xinyu Fu,Jiani Zhang,Ziqiao Meng,Irwin King
37+阅读 · 2020年2月5日
K-BERT: Enabling Language Representation with Knowledge Graph
Weijie Liu,Peng Zhou,Zhe Zhao,Zhiruo Wang,Qi Ju,Haotang Deng,Ping Wang
15+阅读 · 2019年9月17日
Liang Yao,Chengsheng Mao,Yuan Luo
7+阅读 · 2019年9月11日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
4+阅读 · 2018年11月15日
Jean-Marc Valin,Jan Skoglund
3+阅读 · 2018年10月28日
Jianfeng Gao,Michel Galley,Lihong Li
25+阅读 · 2018年9月21日
Benjamin Recht
5+阅读 · 2018年6月25日
Wenhu Chen,Wenhan Xiong,Xifeng Yan,William Wang
7+阅读 · 2018年3月17日
Robert Giaquinto,Arindam Banerjee
3+阅读 · 2018年1月15日
Top