人工智能的一个基本任务是学习。深度神经网络已经被证明可以完美地处理所有的学习范式,即有监督学习、无监督学习和强化学习。然而,传统的深度学习方法利用云计算设施,不能很好地扩展到计算资源低的自治代理。即使在云计算中,它们也受到计算和内存的限制,不能用来为假设有数十亿神经元的网络的代理建立适当的大型物理世界模型。这些问题在过去几年中通过可扩展深度学习的新兴主题得到了解决,该主题在训练之前和整个过程中利用了神经网络中的静态和自适应稀疏连接。本教程将分两部分介绍这些研究方向,重点是理论进展、实际应用和实践经验。

https://sites.google.com/view/ijcai2020-sparse-training/home

成为VIP会员查看完整内容
0
21

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

大多数大型在线推荐系统,如新闻推送排名、人员推荐、工作推荐等,通常都有多个实用工具或指标需要同时优化。经过训练以优化单一效用的机器学习模型通过参数组合在一起,生成最终的排名函数。这些组合参数驱动业务指标。找到正确的参数选择通常是通过在线A/B实验,这是非常复杂和耗时的,特别是考虑到这些参数对指标的非线性影响。

在本教程中,我们将讨论如何应用贝叶斯优化技术为这样复杂的在线系统获取参数,以平衡竞争性指标。首先,我们将深入介绍贝叶斯优化,包括一些基础知识以及该领域的最新进展。其次,我们将讨论如何将一个真实世界的推荐系统问题制定为一个可以通过贝叶斯优化解决的黑盒优化问题。我们将专注于一些关键问题,如新闻推送排名、人员推荐、工作推荐等。第三,我们将讨论解决方案的架构,以及我们如何能够为大规模系统部署它。最后,我们将讨论该领域的扩展和一些未来的发展方向。

https://sites.google.com/view/ijcai2020-linkedin-bayesopt/home

成为VIP会员查看完整内容
0
17

贝叶斯概率模型为不确定性下的相干推理和预测提供了一个原则框架。近似推理解决了贝叶斯计算的关键挑战,即计算棘手的后验分布和相关数量,如贝叶斯预测分布。近十年来,贝叶斯建模技术在计算机视觉、自然语言处理、强化学习等领域的机器学习任务中得到了广泛应用。

本教程对近似推理的最新进展进行了一个连贯的总结。我们将以介绍近似推理的概念和变分推理的基础知识开始本教程。然后我们将描述现代近似推理的基本方面,包括可扩展推理、蒙特卡洛技术、平摊推理、近似后验设计和优化目标。这些最新进展之间的联系也将被讨论。最后,我们将在下游不确定性估计和决策任务中的应用实例提供先进的近似推理技术,并对未来的研究方向进行讨论。

成为VIP会员查看完整内容
0
17

深度学习在语音识别、计算机视觉等许多领域得到了广泛的应用和突破。其中涉及的深度神经网络结构和计算问题已经在机器学习中得到了很好的研究。但对于理解深度学习模型在网络架构中的建模、逼近或泛化能力,缺乏理论基础。在这里,我们对具有卷积结构的深度卷积神经网络(CNNs)很感兴趣。convolutional architecture使得deep CNNs和fully connected deep neural networks有本质的区别,而30年前发展起来的关于fully connected networks的经典理论并不适用。本讲座介绍了深度神经网络的数学理论与整流线性单元(ReLU)激活函数。特别是,我们首次证明了深度CNN的普遍性,即当神经网络的深度足够大时,深度CNN可以用来逼近任意的连续函数,达到任意的精度。我们还给出了显式的逼近率,并表明对于一般函数,深度神经网络的逼近能力至少与全连接多层神经网络一样好,对于径向函数更好。我们的定量估计严格按照待计算的自由参数的数量给出,验证了深度网络神经网络处理大数据的效率。

成为VIP会员查看完整内容
0
16

涵盖了主要技术,在压缩、扩展中的使用,以及许多未预料到的用例(例如攻击、NAT、传输)

https://slideslive.com/38940102

成为VIP会员查看完整内容
0
21

近年来,规模在自然语言处理的快速发展中发挥了核心作用。虽然基准测试被越来越大的模型所主导,但高效的硬件使用对于它们的广泛采用和该领域的进一步发展至关重要。在这个尖端的教程中,我们将概括自然语言处理的最先进技术。在建立这些基础之后,我们将介绍广泛的提高效率的技术,包括知识蒸馏、量化、修剪、更高效的架构,以及案例研究和实际实现技巧。

https://2020.emnlp.org/tutorials

成为VIP会员查看完整内容
0
32

图表示学习

近年来,图神经网络(GNNs)在结构化数据建模方面取得了巨大的成功。然而,大多数GNN是为同构网络设计的,即所有节点或边具有相同的特征空间和表示分布。这使得它们无法代表真实世界中不断演化的异构图,如知识图谱、物联网图、领英经济图、开放学术图和Facebook实体图。在这次演讲中,我将介绍图神经网络架构,它可以建模十亿年规模的异构图形与动态。重点将是我们如何设计图注意力和相对时间编码机制,以捕获真实图异构和动态性质。接下来,我将进一步讨论为一般的图挖掘任务预先训练这类GNN的策略。最后,为了处理web规模的数据,我将介绍一种异构的小型批处理图采样算法,该算法带有一个归纳的时间戳分配方法,用于高效和可扩展的训练。大量的实验显示了在实践中对网络规模图进行预训练的GNNs的前景。

https://ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

成为VIP会员查看完整内容
0
80

人工智能的一项基本任务是学习。深度神经网络已经被证明可以完美地应对所有的学习模式,比如监督学习、非监督学习和强化学习。然而,传统的深度学习方法利用云计算设施,不能很好地扩展到计算资源低的自主代理。即使在云计算中,它们也会受到计算和内存的限制,无法用于为假定网络中有数十亿神经元的代理恰当地建立大型物理世界的模型。在过去几年里,可扩展深度学习这一新兴课题解决了这些问题,该课题在训练前和训练过程中利用了神经网络中的静态和自适应稀疏连通性。本教程分两部分涵盖了这些研究方向,重点关注理论进步、实际应用和实践经验。

本教程的第一部分侧重于理论。我们首先简要讨论了复杂网络和系统背景下的基础科学范式,并修正了目前有多少代理使用深度神经网络。然后介绍神经网络的基本概念,并从函数和拓扑的角度对人工神经网络和生物神经网络进行了比较。我们继续介绍90年代早期关于高效神经网络的第一批论文,这些论文利用稀疏性强制惩罚或基于各种显著性准则对全连接网络进行权值修剪。然后,我们回顾了一些最近的工作,从全连通网络开始,利用剪枝-再训练循环压缩深度神经网络,使其在推理阶段更有效。然后我们讨论另一种方法,即神经进化的扩充拓扑(NEAT)及其后续,使用进化计算以增长有效的深度神经网络。

进一步,我们引入了深度强化学习,并为可扩展的深度强化学习铺平了道路。我们描述了在深度强化学习领域的一些最近的进展。

https://sites.google.com/view/ecai2020-one-billion-neurons

成为VIP会员查看完整内容
0
20

【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习自然语言处理。

这个报告由DeepMind研究科学家菲利克斯·希尔(Felix Hill)主持,分为三个部分。首先,他讨论了用ANN建模语言的动机:语言是高度上下文相关的,典型的非组合性的,依赖于协调许多竞争的信息来源。本节还涵盖了Elman的发现结构在时间和简单递归网络,上下文和transformers的重要性。在第二部分,他探索了从Word2Vec到BERT的语言的无监督和表征学习。最后,Felix讨论了情景语言理解,基础和具体化语言学习。。

深度学习自然语言处理

成为VIP会员查看完整内容
0
70

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
90

报告主题: Scalable Deep Learning: from theory to practice

简介:

人工智能的一个基本任务是学习。深度神经网络已被证明可以完美地应对所有的学习范式,即监督学习、非监督学习和强化学习。然而,传统的深度学习方法利用云计算设施不能很好地扩展到计算资源少的自主代理。即使在云计算中,它们也受到计算和内存的限制,不能用于为假定网络中有数十亿神经元的代理建立适当的大型物理世界模型。这些问题在过去几年通过可扩展和高效的深度学习的新兴主题得到了解决。本教程涵盖了这些主题,重点是理论进步、实际应用和实践经验,分为两部分。

  • 第一部分 -可扩展的深度学习:从修剪到演化。

    本教程的第一部分侧重于理论。首先修正目前有多少代理使用深度神经网络。然后介绍了神经网络的基本概念,并从功能和拓扑的角度将人工神经网络与生物神经网络进行了比较。我们接着介绍了90年代早期的第一篇关于高效神经网络的论文,这些论文使用稀疏执行或基于不同显著性标准的全连通网络的权值剪枝。然后,我们回顾了近年来一些从全连通网络出发,利用剪枝再训练循环压缩深度神经网络,使其在推理阶段更有效的工作。然后我们讨论另一种方法,即增强拓扑的神经进化及其后续,使用进化计算来增长有效的深度神经网络。

  • 第二部分:可扩展的深度学习:深度强化学习

    到目前为止,一切都是在监督和非监督学习的背景下讨论的。在此基础上,我们引入了深度强化学习,为可扩展的深度强化学习奠定了基础。我们描述了在深度强化学习领域的一些最新进展,这些进展可以用来提高强化学习主体在面对动态变化的环境时的性能,就像在能量系统中经常出现的情况一样。

邀请嘉宾:

Decebal Constantin Mocanu是埃因霍芬理工大学(TU/e)数学与计算机科学系数据挖掘组人工智能与机器学习助理教授(2017年9月至今),TU/e青年工程院院士。他的研究兴趣是利用网络科学、进化计算、优化和神经科学的原理,构想可扩展的深度人工神经网络模型及其相应的学习算法。

Elena Mocanu是特温特大学(University of Twente)数据科学小组的机器学习助理教授,也是艾恩德霍芬理工大学(Eindhoven University of Technology)的研究员。2013年10月,埃琳娜在德国理工大学开始了她在机器学习和智能电网方面的博士研究。2015年1月,她在丹麦技术大学进行了短暂的研究访问,2016年1月至4月,她是美国奥斯汀德克萨斯大学的访问研究员。2017年,埃琳娜在德国理工大学获得了机器学习和智能电网的哲学博士学位。

Damien Ernst目前在列日大学(University of Liege)担任全职教授。在列日大学获得硕士学位,博士后研究期间,由FNRS资助,在CMU、美国麻省理工学院和苏黎世联邦理工学院度过。他现在正在做能源和人工智能领域的研究。

成为VIP会员查看完整内容
0
12
小贴士
相关VIP内容
专知会员服务
17+阅读 · 2020年12月11日
专知会员服务
16+阅读 · 2020年11月30日
专知会员服务
21+阅读 · 2020年11月21日
专知会员服务
20+阅读 · 2020年9月25日
专知会员服务
90+阅读 · 2020年5月22日
相关论文
Barry Dowdeswell,Roopak Sinha,Stephen G. MacDonell
0+阅读 · 1月14日
Ziyang Yuan,Hui Zhang,Hongxia Wang
0+阅读 · 1月13日
Nir Shlezinger,Nariman Farsad,Yonina C. Eldar,Andrea J. Goldsmith
0+阅读 · 1月12日
Angeliki Koutsoukou-Argyraki,Wenda Li,Lawrence C. Paulson
0+阅读 · 1月8日
The Computation of Approximate Generalized Feedback Nash Equilibria
Forrest Laine,David Fridovich-Keil,Chih-Yuan Chiu,Claire Tomlin
0+阅读 · 1月8日
Sneha Chaudhari,Gungor Polatkan,Rohan Ramanath,Varun Mithal
11+阅读 · 2019年4月5日
Deep Reinforcement Learning: An Overview
Yuxi Li
10+阅读 · 2018年11月26日
Baida Hamdan,Davood Zabihzadeh,Monsefi Reza
4+阅读 · 2018年4月5日
Ankur Sharma,Felix Martin Schuhknecht,Jens Dittrich
3+阅读 · 2018年1月17日
Top