【导读】OpenAI顾问、伯克利加州分校人工智能实验室主任、机器人学习实验室主任携其博士生,为大家贡献一门长达4个月的深度无监督学习课程,该课程是深度无监督学习的优秀课程,涵盖了许多当前的最新水平,尤其是该课程使用了最新的模型更新研究生级课程。最新一讲是深度半监督学习,146页ppt,值得跟随

成为VIP会员查看完整内容
0
103

相关内容

无监督学习是机器学习的三个主要分支之一(以及监督学习和强化学习)。它也可以说是最不发达的分支。它的目标是通过发现和利用其隐藏结构来找到对输入数据的简约描述。据推测,与监督学习相比,这更让人联想到大脑的学习方式。此外,假设通过无监督学习发现的表示形式可以缓解深度监督和强化学习中的许多已知问题。但是,由于缺乏明确的ground-truth目标来优化,无监督学习的发展进展缓慢。在本次演讲中,DeepMind研究科学家Irina Higgins和DeepMind研究工程师Mihaela Rosca概述了无监督表示学习的历史作用以及开发和评估此类算法的困难。然后,他们将采取多学科的方法来思考什么可以做一个好的表示方法,以及为什么要这样做,然后再对无监督的表示学习的当前最新方法进行广泛的概述。

成为VIP会员查看完整内容
0
47

【导读】Pieter Abbeel 是加州大学伯克利分校的教授,伯克利机器人学习实验室的主任,其新开课程CS294深度无监督学习包含两个领域,分别是生成模型和自监督学习。这个15周的课程包含视频PPT能资源,有助于读者对深度学习无监督的理解。最新一期是生成式对抗网络Generative Adversarial Networks的课程,共有257页ppt,包括GAN, DC GAN, ImprovedGAN, WGAN, WGAN-GP, Progr.GAN, SN-GAN, SAGAN, BigGAN(-Deep), StyleGAN-v1,2, VIB-GAN, GANs as Energy Models,非常值得关注!

目录内容:

  • 隐式模型的动机和定义
  • 原始GAN (Goodfellow et al, 2014)
  • 评估: Parzen、Inception、Frechet
  • 一些理论: 贝叶斯最优鉴别器; Jensen-Shannon散度; 模式崩溃; 避免饱和
  • GAN进展
  • DC GAN (Radford et al, 2016)
  • 改进GANs训练(Salimans et al, 2016)
  • WGAN, WGAN- gp, Progressive GAN, SN-GAN, SAGAN
  • BigGAN, BigGAN- deep, StyleGAN, StyleGAN-v2, VIB-GAN
  • 创意条件GAN
  • GANs与申述
  • GANs作为能量模型
  • GANs与最优传输,隐式似然模型,矩匹配
  • 对抗性损失的其他用途:转移学习、公平
  • GANs和模仿学习
成为VIP会员查看完整内容
0
128

交叉熵是图像分类模型监督训练中应用最广泛的损失函数。在这篇论文中,我们提出了一种新的训练方法,在不同架构和数据扩充的监督学习任务中,它的表现始终优于交叉熵。我们修改了批量对比损失,这是最近被证明在自监督学习强大表示是非常有效的。我们能够比交叉熵更有效地利用标签信息。在嵌入空间中,将同一类的点聚在一起,同时将不同类的样本聚在一起。除此之外,我们还利用了关键的成分,如大批量和标准化嵌入,这些已经被证明有利于自监督学习。在ResNet-50和ResNet-200上,我们的交叉熵性能都超过了1%,在使用自动增广数据增强的方法中,我们设置了78.8%的最新水平。这一损失也清楚地表明,在校准和准确性方面,对标准基准的自然损坏具有鲁棒性。与交叉熵相比,我们的监督对比损失更稳定的超参数设置,如优化或数据扩充。

成为VIP会员查看完整内容
0
42

本课程涉及深度学习和表示学习的最新技术,重点是有监督和无监督的深度学习、嵌入方法、度量学习、卷积网和递归网,并应用于计算机视觉、自然语言理解和语音识别。

第五讲:

第六讲:

第七讲:

成为VIP会员查看完整内容
0
109

WSDM 2020全称为第13届国际互联网搜索与数据挖掘会议(The 13thInternational Conference on Web Search and Data Mining, WSDM 2020),将于2020年2月3日-2月7日在美国休斯敦召开。宾夕法尼亚州立大学ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了关于小数据学习《Learning with Small Data》教程,124页ppt涵盖迁移学习与元学习等最新课题,是非常好的学习材料!

摘要

在大数据时代,我们很容易收集到大量的图像和文本数据。然而,在一些领域,例如医疗保健和城市计算,我们经常面对现实世界中只有少量(标记的)数据的问题。挑战在于如何使机器学习算法在处理小数据时仍能很好地工作?为了解决这个挑战,在本教程中,我们将介绍处理小数据问题的最新机器学习技术。我们特别关注以下三个方面:(1)全面回顾了近年来在探索知识迁移的力量方面取得的进展,特别是在元学习方面;(2)介绍了将人类/专家知识纳入机器学习模型的前沿技术;(3)确定了开放的挑战数据增强技术,如生成性对抗网络。

百度网盘下载: 链接: https://pan.baidu.com/s/1j-xvPMB4WwSdiMoDsaR8Sg 提取码: 8v7y 目录:

  • 引言 Introduction

  • 从模型进行迁移知识 Transfer knowledge from models

    • 迁移学习 Transfer learning
    • 多任务学习 Multi-task learning
    • 元学习 Meta-learning
    • 应用 Applications
  • 领域专家知识迁移 Transfer knowledge from domain expert

    • Enrich representations using knowledge graph
    • Regularizing the loss function by incorporating domain knowledge
  • 数据增广 Data augmentation

    • Augmentation using labeled data
    • Augmentation using unlabeled data

地址

https://sites.psu.edu/wsdm20/

讲者介绍: Zhenhui Li 是宾夕法尼亚州立大学信息科学与技术终身副教授。在加入宾夕法尼亚州立大学之前,她于2012年在伊利诺伊大学香槟分校获得了计算机科学博士学位,当时她是数据挖掘研究小组的成员。她的研究重点是挖掘时空数据,并将其应用于交通、生态、环境、社会科学和城市计算。她是一位充满激情的跨学科研究人员,一直积极与跨领域研究人员合作。她曾担任过许多会议的组织委员会或高级项目委员会,包括KDD、ICDM、SDM、CIKM和SIGSPATIAL。自2012年以来,她一直定期开设数据组织和数据挖掘课程。她的课程经常受到学生的好评。她获得了NSF职业奖、研究院青年教师优秀奖和乔治J.麦克默里教学院青年教师优秀奖。

https://faculty.ist.psu.edu/jessieli/Site/index.html

成为VIP会员查看完整内容
0
109

This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning ($S^4L$) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that $S^4L$ and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.

0
4
下载
预览
小贴士
相关论文
Ting Chen,Simon Kornblith,Mohammad Norouzi,Geoffrey Hinton
15+阅读 · 2020年2月13日
Self-Supervised Learning For Few-Shot Image Classification
Da Chen,Yuefeng Chen,Yuhong Li,Feng Mao,Yuan He,Hui Xue
11+阅读 · 2019年11月14日
Continual Unsupervised Representation Learning
Dushyant Rao,Francesco Visin,Andrei A. Rusu,Yee Whye Teh,Razvan Pascanu,Raia Hadsell
5+阅读 · 2019年10月31日
Deep Co-Training for Semi-Supervised Image Segmentation
Jizong Peng,Guillermo Estrada,Marco Pedersoli,Christian Desrosiers
3+阅读 · 2019年10月30日
Zhenzhong Lan,Mingda Chen,Sebastian Goodman,Kevin Gimpel,Piyush Sharma,Radu Soricut
9+阅读 · 2019年10月30日
Xiaohua Zhai,Avital Oliver,Alexander Kolesnikov,Lucas Beyer
4+阅读 · 2019年5月9日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
8+阅读 · 2018年12月10日
Fahim Irfan Alam,Jun Zhou,Alan Wee-Chung Liew,Xiuping Jia,Jocelyn Chanussot,Yongsheng Gao
10+阅读 · 2017年12月27日
Andrew K. Lampinen,James L. McClelland
5+阅读 · 2017年10月27日
Top