题目主题: Small Data Challenges in Big Data Era: Unsupervised and Semi-Supervised Methods

简介: 在本教程中,我们将回顾在训练深度神经网络中使用有限带注释的数据克服小数据挑战的最新进展。我们将以无监督和半监督的方法来复习文献,包括基本原理,标准,考虑因素和网络设计,并希望对如何有效利用大量未标记的数据促进模型训练和推断提供一些启示。

小数据挑战已经在许多学习问题中出现,因为深度神经网络的成功通常依赖于大量标记数据的可用性,而这些数据收集起来很昂贵。为了解决这些挑战,以无监督和半监督的方式训练带有小数据的复杂模型方面已经做出了很多努力。在本教程中,我们将回顾这两种主要方法的最新进展。各种各样的小型数据模型将被概括为一幅大图,在这里我们将展示它们如何相互作用。具体来说,我们将回顾学习变换等,自我监督和半监督表示形式的标准,这些标准为最近的发展奠定了基础。

作者介绍: Guo-Jun Qi是华为的首席科学家,领导并监督着多个智能云服务领域的国际研发团队,包括智能城市,视觉计算服务,医疗智能服务和互联车辆服务。 他自2014年8月起担任佛罗里达大学计算机科学系的教授,并担任机械感知与学习(MAPLE)实验室的主任。在此之前,他还是研究人员在IBM TJ纽约州约克敦高地的沃森研究中心。他的研究兴趣包括从多模式数据源(例如图像,视频,文本和传感器)中进行机器学习和知识发现,以构建智能,可靠的信息和决策系统。他的研究得到了政府机构和行业合作者(包括NSF,IARPA,微软,IBM和Adobe)的资助和项目的赞助。

Jiebo Luo在柯达研究实验室工作了十五年多之后,于2011年秋天加入罗切斯特大学,在那里他是负责研究和先进开发的高级首席科学家。 他参加过许多技术会议,并担任ACM Multimedia 2010,IEEE CVPR 2012,ACM ICMR 2016和IEEE ICIP 2017的程序联席主席。研究方向为智能系统和技术交易,模式识别,机器视觉和应用,知识和信息系统以及电子成像杂志。 罗博士是SPIE,IAPR,IEEE,ACM和AAAI的会员。

大纲介绍:

  • 回顾:小样本数据
  • 无监督
    • TER
      • 等价图卷积
      • 自编码器转换
    • 生成表示
      • 自编码器介绍
      • 基于GAN的表示
      • 生成模型
    • 自监督方法
  • 半监督
    • 半监督生成模型
      • 半监督自编码器
      • 半监督GAN
      • 半监督Disentangled 表示
    • teacher-student模型
      • 嘈杂teacher
      • teacher集成
      • 对抗teacher
成为VIP会员查看完整内容
29

相关内容

现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高。很自然地,我们希望计算机能代我们完成这些工作,或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习
最新《生成式对抗网络》简介,25页ppt
专知会员服务
167+阅读 · 2020年6月28日
CNCC技术论坛 | 计算机视觉行业的挑战与契机
中国计算机学会
6+阅读 · 2018年10月21日
多媒体大数据分析研究进展综述导读
专知
8+阅读 · 2018年3月19日
【深度】多媒体计算国际团队:从单通道感知到跨媒体认知
中国科学院自动化研究所
73+阅读 · 2017年8月14日
Advances and Open Problems in Federated Learning
Arxiv
17+阅读 · 2019年12月10日
Deep Learning for Deepfakes Creation and Detection
Arxiv
6+阅读 · 2019年9月25日
Arxiv
14+阅读 · 2019年9月11日
Semantics of Data Mining Services in Cloud Computing
Arxiv
4+阅读 · 2018年10月5日
Arxiv
5+阅读 · 2016年1月15日
VIP会员
相关VIP内容
最新《生成式对抗网络》简介,25页ppt
专知会员服务
167+阅读 · 2020年6月28日
微信扫码咨询专知VIP会员