报告名称: Modern Artificial Intelligence

报告简介: 纽约大学丹东分校的电气和计算机工程系举办了一个研讨会系列,探讨了人工智能(AI)世界上最重要的新研究,其中有为新兴技术做出了重要贡献的研究人员。

报告部分大纲:

  • 使用因果不变性学习表示
  • 基于网络的分布式机器学习
  • 复杂环境中的深度强化学习的挑战
  • 在机器人系统中使用计算机视觉的研究挑战
  • 机器学习个性化
  • 迈向持久的人机交互
  • 记忆生物学和与年龄有关的记忆丧失

邀请嘉宾:

Leon Bottou是一名研究科学家,对机器学习和人工智能有着广泛的兴趣。近年来,在大规模学习和随机梯度算法方面的工作受到了广泛的关注。他也以DjVu文件压缩系统而闻名,于2015年3月加入Facebook人工智能研究。

Francis Bach是Inria的研究员,自2011年以来一直领导着隶属于巴黎高等师范学院计算机科学系的机器学习团队。他毕业于加州理工学院,2005年在加州大学伯克利分校获得计算机科学博士学位,师从迈克尔·乔丹教授。他在巴黎矿业大学数学形态学组学习了两年,然后在2007年至2010年期间加入了Inria/Ecole Normale Superieure计算机视觉项目组。Francis Bach主要对机器学习感兴趣,特别是在稀疏方法、基于核的学习、大规模优化、计算机视觉和信号处理方面。

Raia Hadsel是DeepMind机器人研究的负责人,ICLR,WiML和CoRL的执行董事会成员。她的早期研究是使用暹罗网络来学习神经嵌入,这种方法现在通常用于表示学习。在完成了具有针对移动机器人的自我监督式深度学习视觉系统的博士学位后,她继续在卡内基梅隆大学的机器人研究所和SRI International进行科学研究,并于2014年初加入伦敦的DeepMind研究人工智能。Hadsell博士目前的研究重点在于对AI代理和机器人进行持续学习的挑战,她提出了神经方法,例如策略提纯,渐进式网络和弹性权重合并,以解决灾难性遗忘问题。

成为VIP会员查看完整内容
0
13

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自法国INRIA Francis Bach研究员述《大规模机器学习优化》,177页ppt系统性讲述了大规模机器学习优化算法,非常干货。

Francis Bach 先生是INRIA(法国国家信息与自动化研究所)的研究员,自2011年起领导SIERRA项目团队(该团队是Ecole Normale Supérieure计算机科学系的一部分,也是CNRS、ENS和INRIA的联合团队)。自2016年起,成为Ecole Normale Supérieure的兼职教授。在伯克利大学完成了计算机科学博士学位,与迈克尔·乔丹教授合作,在巴黎矿业大学数学形态学组工作了两年,然后从2007年到2010年加入了INRIA/Ecole Normale Superieure/CNRS的WILLOW项目组。从2009年到2014年,负责ERC项目SIERRA。对统计机器学习很感兴趣,特别是在图形模型、稀疏方法、基于核的学习、凸优化视觉和信号处理方面。

https://www.di.ens.fr/~fbach/

Optimization for Large Scale Machine Learning

机器学习是数学、计算机科学和工程相结合的一个快速发展的领域,它为计算机提供了无需明确编程就能进行学习的能力,以便做出预测或采取理性行动。从癌症研究到金融、自然语言处理、市场营销或自动驾驶汽车,如今许多领域都受到了机器学习算法近期进展的影响。机器学习算法得益于收集大量数据并从中“学习”的能力。

本报告概述了监督机器学习、面向凸优化的快速随机梯度方法、更多超越凸优化的问题。

成为VIP会员查看完整内容
0
56

本课程涉及深度学习和表示学习的最新技术,重点是有监督和无监督的深度学习、嵌入方法、度量学习、卷积网和递归网,并应用于计算机视觉、自然语言理解和语音识别。

第五讲:

第六讲:

第七讲:

成为VIP会员查看完整内容
0
133

简介:

在这本书中,从机器学习基础开始,然后继续学习神经网络,深度学习,然后是卷积神经网络。在基础和应用的混合,在MATLAB深度学习这本书中使用MATLAB作为基础编程语言和工具进行案例研究。

有了这本书,你将能够解决当今现实世界中的一些大数据、智能机器人和其它复杂的数据问题。您将看到,对于现代智能数据分析和使用来说,深度学习是机器学习中多么复杂和智能的一个方面。

你将学习

  • 使用MATLAB进行深度学习
  • 发现神经网络和多层神经网络
  • 处理卷积和池化层
  • 使用这些层构建一个MNIST示例

作者:

Phil Kim博士是一位经验丰富的MATLAB程序员。他还研究来自人工智能的大型数据集的算法以及机器学习。他曾在韩国航空航天研究所担任高级研究员。在那里,他的主要任务是开发无人驾驶飞行器的自主飞行算法和机载软件。在攻读博士期间,他开发了一个名为“Clickey”的屏幕键盘程序。

成为VIP会员查看完整内容
0
57

报告主题: From System 1 Deep Learning to System 2 Deep Learning

报告简介: 早期,深度学习的进展主要集中在对静态数据集的学习上,主要用于各类感知任务,这些任务大都依靠人类的直觉,可以在无意识的情况下完成,可称为第一代系统需求。然而,最近几年,随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展,它们为深度学习架构和训练框架的进一步发展,开启了新的大门,这种深度架构和训练框架有助于解决第二代系统需求(这种系统任务需要人类有意识的去完成),如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。从第一代系统的深度学习,扩展到第二代系统的任务之中,对于完成之前挖掘高层次抽象特征的目标是非常重要的,因为我们认为第二代系统需求,将会对表征学习提出更高的要求,以发掘出某种人类可以用语言进行巧妙处理的高级内容。我们认为,为了达到这个目标,soft-attention机制是关键因素,它每次都关注其中某几个概念并进行计算,因为意识先验及其相关的假设中,许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后,报告介绍了元学习,这种先验意识和代理视角下的表征学习,会更加有助于以新颖的方式,支持强大的合成泛化形式。

嘉宾介绍: Yoshua Bengio是蒙特利尔大学计算机科学与运筹学系的教授,Mila和IVADO的科学总监和创始人,2018年图灵奖获得者,加拿大统计学习算法研究主席以及加拿大AI CIFAR主席。 他开创了深度学习的先河,并在2018年每天获得全球所有计算机科学家中最多的引用。 他是加拿大勋章的官员,加拿大皇家学会的成员,并于2017年被授予基拉姆奖,玛丽·维克多奖和年度无线电加拿大科学家,并且是NeurIPS顾问的成员, ICLR会议的董事会和联合创始人,以及CIFAR“机器和大脑学习”计划的程序总监。 他的目标是帮助发现通过学习产生智力的原理,并促进AI的发展以造福所有人。

成为VIP会员查看完整内容
0
92

随着我们进入21世纪,数据集越来越大,原始运行和缓慢的算法令人头痛,并且导致生产效率和经济的损失。通过优化算法,并将其应用于股市预测、气候变化建模、人工智能和癌症研究等,可以从更快、更准确的数值方法中获得显著效益。现代大数据算法这一本书综合了一些高速的机器学习技术,以便于大家借鉴学习。

成为VIP会员查看完整内容
0
12

报告主题:Complete Dictionary Learning via L4-Norm Maximization over the Orthogonal Grou

报告摘要:这个演讲是关于从稀疏生成的信号样本中学习完整(正交)字典的基本问题。现有的大多数方法都是基于启发式算法来求解字典(和稀疏表示)的,通常都没有针对最优性或复杂性的理论保证。最近基于L1最小化的方法确实提供了这种保证,但是相关算法一次将字典恢复到一列。我们提出了一种新的公式,该公式可以使L4范数在正交组上最大化,以学习整个词典。我们证明,在随机伯努利高斯数据模型下,样本复杂度几乎最小,L4-范数的全局最优值非常接近地面实数的有符号排列。受此观察的启发,我们给出了一种基于概念上简单而有效的算法,基于``匹配,拉伸和投影''(MSP)。该算法可证明以超线性(三次)速率局部收敛,并且每次迭代的成本只是SVD。除了有力的理论保证,实验还表明,新算法比现有方法(包括基于KSVD和基于L1的方法)更加有效。在真实图像上的初步实验结果清楚地证明了这样学习的词典比经典PCA基础的优势。

邀请人:马毅,目前是加州大学伯克利分校EECS系的教授。 2014年至2017年,他担任中国上海科技大学信息科学与技术学院的教授兼执行院长。2009年至2014年初,他是Microsoft视觉计算小组的首席研究员和研究经理。在北京进行研究。从2000年到2011年,他担任伊利诺伊大学香槟分校伊利诺伊大学电气与计算机工程系的助理兼副教授。他的主要研究兴趣是计算机视觉,数据科学和系统理论。易马于1995年获得清华大学(中国北京)的自动化和应用数学学士学位,于1997年获得EECS的理学硕士学位,于2000年获得数学的硕士学位,并于2000年获得EECS的博士学位。 2000年,全部来自加利福尼亚大学伯克利分校。马毅获得了1999年国际计算机视觉会议的David Marr最佳论文奖,2004年欧洲计算机视觉会议的Longuet-Higgins最佳论文奖(荣誉奖)和他的学生获得了Sang Uk Lee最佳学生论文奖。在2009年亚洲计算机视觉会议上。他还于2004年获得了美国国家科学基金会颁发的CAREER奖,并于2005年获得了海军研究办公室的青年研究者奖。

成为VIP会员查看完整内容
talk_yi_ma_L4DL.pdf
Complete_Dictionary_Learning_via_Maximizing_L4_over_O_n_ (1).pdf
0
13

主题: Learning for policy improvement

摘要: 强化学习在经验易获得的领域取得了许多成功,如电子游戏或棋盘游戏。这类区域的RL算法通常基于梯度下降:它们以较小的学习率进行许多噪声更新。相反,我们研究每次更新花费更多计算的算法,试图减少噪声并进行更大的更新;当经验比计算时间更昂贵时,这样的算法是合适的。特别地,我们看几种基于近似策略迭代的方法。

作者简介: Geoff Gordon博士是微软研究蒙特勒实验室的研究主任,也是卡内基梅隆大学机器学习系的教授。他还担任过机械学习系的临时系主任和教育副系主任。戈登博士的研究集中在能够进行长期思考的人工智能系统上,比如提前推理以解决问题、计划一系列行动或从观察中推断出看不见的特性。特别是,他着眼于如何将机器学习与这些长期思考任务结合起来。1991年,戈登博士在康奈尔大学获得计算机科学学士学位,1999年在卡内基梅隆大学获得计算机科学博士学位。他的研究兴趣包括人工智能、统计机器学习、教育数据、博弈论、多机器人系统,以及概率、对抗和一般和领域的规划。他之前的任命包括斯坦福大学计算机科学系的客座教授和圣地亚哥燃烧玻璃技术的首席科学家。

成为VIP会员查看完整内容
0
9

主题: Safe and Fair Machine Learning

简介:

在这个演讲将讨论一些我们的未来的工作在一个新的框架设计的机器学习算法,内容包括:1)使得算法的用户更容易定义他们认为是不受欢迎的行为(例如,他们认为是不公平的,不安全,或者成本);2)提供了一个高信任度保证它不会产生一个解决方案,展示了用户定义的不受欢迎的行为。

作者简介:

Philip Thomas是马萨诸塞大学安姆斯特分校信息与计算机科学学院助理教授,自主学习实验室联合主任。之前是卡内基·梅隆大学(CMU)的博士后,2015年,在马萨诸塞州立大学阿默斯特分校(UMass Amherst)获得了计算机科学博士学位。主要研究如何确保人工智能(AI)系统的安全性,重点是确保机器学习(ML)算法的安全性和公平性以及创建安全和实用的强化学习(RL)算法。

成为VIP会员查看完整内容
0
8

题目: Machine Learning Meets Big Spatial Data

简介: 生成数据量的激增推动了可伸缩的机器学习解决方案的兴起,从而可以有效地分析此类数据并从中提取有用的见解。同时,近年来,空间数据已经变得无处不在,例如GPS数据。大空间数据的应用涉及广泛的领域,包括跟踪传染病,模拟气候变化,吸毒成瘾等等。因此,通过提供对现有机器学习解决方案的空间扩展或从头开始构建新的解决方案,人们付出了巨大的努力来支持这些应用程序内部的有效分析和智能。在这个90分钟的教程中,我们全面回顾了机器学习和大空间数据交汇处的最新技术。我们涵盖了机器学习三个主要领域中的现有研究工作和挑战,即数据分析,深度学习和统计推断,以及两个高级空间机器学习任务,即空间特征提取和空间采样。我们还强调了该领域未来研究中存在的开放性问题和挑战。

嘉宾介绍: Ibrahim Sabek是明尼苏达大学计算机科学与工程系的博士候选人。 他获得了理学硕士学位。 他于2017年在同一部门获得博士学位。他的研究兴趣在于大空间数据管理,空间计算和可伸缩机器学习系统之间的交叉领域。 易卜拉欣已获得ACM SIGSPATIAL 2018最佳论文奖的提名,并获得了ACM SIGMOD学生研究竞赛(SRC)2017决赛阶段的资格。在博士期间,他与NEC Labs America和Microsoft Research(MSR)合作 )。 易卜拉欣在ACM TSAS,IEEE ICDE,ACM SIGSPATIAL,IEEE TMC等顶级研究机构发表了许多论文,并在VLDB和ACM SIGMOD上展示了他的工作。

Mohamed F.Mokbel是卡塔尔计算研究所的首席科学家,也是明尼苏达大学的教授。 他目前的研究兴趣集中于大空间数据和应用程序的系统和机器学习技术。 他的研究工作已获得VLDB十年最佳论文奖,四个会议最佳论文奖和NSF职业奖。 除了在其他社区的一线场所(包括IEEE ICDM和ACM CCS)的教程之外,穆罕默德还在VLDB / SIGMOD / ICDE / EDBT会议上提供了六篇教程。 这些教程都不会与本教程建议重叠。 穆罕默德(Mohamed)是ACM SIGPATIAL的当选主席,目前是分布式和并行数据库期刊的主编,并且是ACM Books,ACM TODS,VLDB Journal,ACM TSAS和GoeInformatica期刊的编辑委员会成员。

成为VIP会员查看完整内容
0
23

主题: Artificial Intelligence in Transportation

简介:

交通是生活的基本必需品。在人类历史上,探索更好的交通方式从来没有停止过。近年来,拼车行业的革命和自动驾驶技术的创新每天都产生大量的交通数据。如此庞大的数据量开启了现代智能交通的新时代。许多传统的交通问题可以通过现代机器学习和数据挖掘方法找到更好的解决方案。本教程的目的是为参与者提供一个广泛和全面的基础,最近的发展和交通AI的开放问题。

交通运输是一个非常广泛的研究领域。本教程以全球最大的移动交通平台滴滴出行的实际应用和需求为基础,围绕移动交通平台的主题展开。我们将主题分为三类。首先是地图服务,包括地图匹配、交通预测、预计到达时间(ETA)和路线规划等,为后续的决策过程提供准确的基础信息。这些问题大多在纯交通或地理信息系统的文献中进行了研究。然而,这些都不能满足实时移动交通平台的准确性或效率要求。有必要以现代的观点重新审视这些问题,并探索适应更严格要求的新解决方案。第二类是决策,构建核心共乘平台。类似的问题在交通运输以外的研究领域也得到了广泛的研究。然而,随着移动交通系统的新挑战,它们被重新定义。最后一类是用户体验,如出行安全评估,这是移动交通平台的独特需求。

邀请嘉宾:

王征博士,滴滴AI实验室研究员,滴滴智能地图服务架构研究员。2011年获得清华大学博士学位,2011-2014年在亚利桑那州立大学担任研究员,2014-2016年在密歇根大学安娜堡分校担任研究员。他获得了多个奖项,包括KDD的最佳研究论文奖亚军和IEEE国际社会计算会议(SocialCom)的最佳论文奖。曾担任ICML、NIPS、SDM、IJCAI等重要会议PC委员,并在ICDM上做过辅导。他现在领导着研发团队,致力于设计和开发新的机器学习系统和服务,用于滴滴地图和滴滴能力预测平台。他设计了滴滴ETA和路线规划服务的新型机器学习和深度学习解决方案,每天服务超过200亿次请求。

秦志伟博士在滴滴AI实验室领导强化学习研究,致力于拼车市场优化的核心问题。他在哥伦比亚大学获得运筹学博士学位,在温哥华不列颠哥伦比亚大学获得计算机科学和统计学学士学位。对优化和机器学习交叉领域的研究课题非常感兴趣,最近的研究领域是强化学习及其在运营优化、数字营销、交通信号控制和教育中的应用。曾在ICML、KDD、IEEE ICDM、WWW、JMLR和MPC等顶级会议和机器学习与优化期刊上发表文章。

成为VIP会员查看完整内容
0
41
小贴士
相关VIP内容
Yann Lecun 纽约大学《深度学习(PyTorch)》课程(2020)PPT
专知会员服务
133+阅读 · 2020年3月16日
相关资讯
兴军亮Science评述:多人德州扑克博弈新突破
中国科学院自动化研究所
10+阅读 · 2019年7月15日
【工业智能】人工智能在智能制造中的应用
产业智能官
16+阅读 · 2019年1月11日
牛津教授揭秘AI革命及其前沿进展
人工智能学家
4+阅读 · 2018年10月11日
AutoML 和神经架构搜索初探
雷锋网
3+阅读 · 2018年8月1日
人工智能创作的春天来了
微软丹棱街5号
7+阅读 · 2018年3月29日
【人工智能】谭铁牛院士:人工智能新动态
产业智能官
8+阅读 · 2018年1月5日
【人工智能】重磅:中国人工智能40年发展简史
产业智能官
6+阅读 · 2017年11月12日
相关论文
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
17+阅读 · 2019年12月10日
The Measure of Intelligence
François Chollet
5+阅读 · 2019年11月5日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
Label Embedded Dictionary Learning for Image Classification
Shuai Shao,Yan-Jiang Wang,Bao-Di Liu,Weifeng Liu
4+阅读 · 2019年3月7日
Adaptive Neural Trees
Ryutaro Tanno,Kai Arulkumaran,Daniel C. Alexander,Antonio Criminisi,Aditya Nori
3+阅读 · 2018年12月10日
Adversarial Transfer Learning
Garrett Wilson,Diane J. Cook
10+阅读 · 2018年12月6日
Andreea Bobu,Andrea Bajcsy,Jaime F. Fisac,Anca D. Dragan
3+阅读 · 2018年10月11日
Catherine Wong,Neil Houlsby,Yifeng Lu,Andrea Gesmundo
4+阅读 · 2018年9月11日
Mobile big data analysis with machine learning
Jiyang Xie,Zeyu Song,Yupeng Li,Zhanyu Ma
5+阅读 · 2018年8月2日
Top
微信扫码咨询专知VIP会员