课程题目

在线变分推断:A Regret Bound for Online Variational Inference

课程介绍

本课程重点讲述了在线变分推理在机器学习的强大之处,提出了一种近似后验的快速算法,将应用它在CIFAR-10、ImageNet上训练深层神经网络,改进不确定度量化。

课程作者

Badr-EddineChérief-Abdellatif,

Pierre Alquier,RIKEN高级情报中心项目贝叶斯近似推理小组研究员。

Emtiyaz Khan,东京RIKEN 高级智能项目(AIP)中心的团队负责人,东京农业科技大学(TUAT)电子工程系的客座教授。

成为VIP会员查看完整内容
4+
0+

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目主题: Small Data Challenges in Big Data Era: Unsupervised and Semi-Supervised Methods

简介: 在本教程中,我们将回顾在训练深度神经网络中使用有限带注释的数据克服小数据挑战的最新进展。我们将以无监督和半监督的方法来复习文献,包括基本原理,标准,考虑因素和网络设计,并希望对如何有效利用大量未标记的数据促进模型训练和推断提供一些启示。

小数据挑战已经在许多学习问题中出现,因为深度神经网络的成功通常依赖于大量标记数据的可用性,而这些数据收集起来很昂贵。为了解决这些挑战,以无监督和半监督的方式训练带有小数据的复杂模型方面已经做出了很多努力。在本教程中,我们将回顾这两种主要方法的最新进展。各种各样的小型数据模型将被概括为一幅大图,在这里我们将展示它们如何相互作用。具体来说,我们将回顾学习变换等,自我监督和半监督表示形式的标准,这些标准为最近的发展奠定了基础。

作者介绍: Guo-Jun Qi是华为的首席科学家,领导并监督着多个智能云服务领域的国际研发团队,包括智能城市,视觉计算服务,医疗智能服务和互联车辆服务。 他自2014年8月起担任佛罗里达大学计算机科学系的教授,并担任机械感知与学习(MAPLE)实验室的主任。在此之前,他还是研究人员在IBM TJ纽约州约克敦高地的沃森研究中心。他的研究兴趣包括从多模式数据源(例如图像,视频,文本和传感器)中进行机器学习和知识发现,以构建智能,可靠的信息和决策系统。他的研究得到了政府机构和行业合作者(包括NSF,IARPA,微软,IBM和Adobe)的资助和项目的赞助。

Jiebo Luo在柯达研究实验室工作了十五年多之后,于2011年秋天加入罗切斯特大学,在那里他是负责研究和先进开发的高级首席科学家。 他参加过许多技术会议,并担任ACM Multimedia 2010,IEEE CVPR 2012,ACM ICMR 2016和IEEE ICIP 2017的程序联席主席。研究方向为智能系统和技术交易,模式识别,机器视觉和应用,知识和信息系统以及电子成像杂志。 罗博士是SPIE,IAPR,IEEE,ACM和AAAI的会员。

大纲介绍:

  • 回顾:小样本数据
  • 无监督
    • TER
      • 等价图卷积
      • 自编码器转换
    • 生成表示
      • 自编码器介绍
      • 基于GAN的表示
      • 生成模型
    • 自监督方法
  • 半监督
    • 半监督生成模型
      • 半监督自编码器
      • 半监督GAN
      • 半监督Disentangled 表示
    • teacher-student模型
      • 嘈杂teacher
      • teacher集成
      • 对抗teacher
成为VIP会员查看完整内容
3+
0+

报告主题: Neural Architecture Search and Beyond

报告简介:

神经网络结构搜索(NAS)是一种自动化设计人工神经网络的技术。由于NAS能设计出与手工设计神经网络结构相当甚至优于手工设计结构的网络,而成为近两年深度学习社区的研究热点。来自Google的科学家Barret Zoph,ICCV2019上做了《Neural Architecture Search and Beyond》的报告,讲述了Google在NAS方面的最新研究进展。

嘉宾介绍:

Barret Zoph目前是谷歌大脑团队的高级研究科学家。之前,在信息科学研究所与Kevin Knight教授和Daniel Marcu教授一起研究与神经网络机器翻译相关的课题。

下载链接: https://neuralarchitects.org/slides/zoph-slides.pdf

成为VIP会员查看完整内容
3+
0+

报告题目: Gradient Descent Finds Global Optima for Overparametrized Neural Networks

报告摘要: 本篇报告介绍了深度神经网络的基础,以及神经网络中的最优解问题,我将通过实验数据来进行详细的介绍梯度下降的全局最优问题。

邀请嘉宾: 邀请嘉宾:王立威,北京大学信息科学技术学院教授。主要从事机器学习理论研究。在机器学习国际权威期刊会议发表高水平论文100余篇。担任机器学习与计算机视觉顶级期刊IEEE TPAMI编委。多次担任国际机器学习旗舰会议NeurIPS (NIPS)与ICML领域主席。入选AI’s 10 to Watch,是该奖项自设立以来首位获此荣誉的中国学者。获得首届国家自然科学基金优秀青年基金。带领团队获得首届天池AI医疗大赛决赛冠军。

成为VIP会员查看完整内容
Optimization for Overparametrized Deep Neural Networks.pdf
6+
0+

报告主题: Explanation In AI: From Machine Learning To Knowledge Representation And Reasoning And Beyond

嘉宾介绍: Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

成为VIP会员查看完整内容
Alberta-FreddyLecue-Thales-XAI-ExplanationInAI-FromMachineLearningToKnowledgeRepresentationAndReasoningAndBeyond.pdf
3+
0+

课程名称: Deep Learning and Bayesian Methods

课程介绍: 在Deep|Bayes暑期学校,我们将讨论如何将Bayes方法与Deep Learning相结合,并在机器学习应用程序中带来更好的结果。 最近的研究证明,贝叶斯方法的使用可以通过各种方式带来好处。 学校参与者将学习对理解当前机器学习研究至关重要的方法和技术。 他们还将具有使用概率模型来构建神经生成和判别模型的动手经验,学习神经网络的现代随机优化方法和正则化技术,并掌握推理神经网络及其权重不确定性的方法,预测。

部分邀请嘉宾: Maurizio Filippone,AXA计算统计主席,EURECOM副教授

Novi Quadrianto,萨塞克斯大学助理教授

课程大纲:

  • 贝叶斯方法介绍
  • 贝叶斯推理
  • EM算法
  • 随机变分推理与变分自编码器
  • GAN
  • 高斯分布与贝叶斯优化
  • 贝叶斯神经网络
成为VIP会员查看完整内容
schedule-2019.pdf
6+
0+

报告主题:预训练语言模型的研究与应用

报告摘要:预训练语言模型对自然语言处理领域产生了非常大的影响,华为诺亚方舟实验首席科学家刘群分享了华为诺亚方舟实验室在预训练语言模型研究与应用。他从以下四个方面介绍了他们的工作:一是中文预训练语言模型——哪吒;二是实体增强预训练语言模型——ERINE;三是预训练语言模型——乐府;四是TinyBERT:高效的BERT压缩模型。最后,刘群对预训练语言模型研究与应用做了展望。下一步他们希望研究更好、更强大的预训练语言模型,融入更多的知识,同时跟语音和图像也能够有所结合;此外,也希望将这些预训练模型能应用到更多领域。

邀请嘉宾:刘群,男,华为诺亚方舟实验室,任语音语义首席科学家,主导语音和自然语言处理领域的前沿研究和技术创新。 1989 年毕业于中国科学技术大学计算机系,1992 年于中国科学院计算技术研究所获得硕士学位。刘群博士是自然语言处理和机器翻译领域的国际著名专家,他的研究方向包括多语言信息处理、机器翻译模型、方法与评价等。

成为VIP会员查看完整内容
2019-10-31-02-04-liuqun.pdf
5+
0+
Top