多模态机器学习(MMML)是一个充满活力的多学科研究领域,通过整合和建模多种交流模态(包括语言、声音和视觉信息)来实现人工智能的一些原始目标。随着对视听语音识别的初步研究,以及最近的语言和视觉项目,如图像和视频字幕,这个研究领域给多模态研究人员带来了一些独特的挑战,因为数据的异质性和模式之间经常发现的偶然性。本课程将教授与MMML相关的基本数学概念,包括多模态对齐与融合、异质表示学习和多流时间建模。我们还将回顾最近描述最先进的MMML概率模型和计算算法的论文,并讨论当前和即将面临的挑战。

本课程将介绍机器学习和深度学习中与多模态机器学习中的五个主要挑战相关的基本数学概念:(1)多模态表示学习,(2)平移与映射,(3)模态对齐,(4)多模态融合和(5)协同学习。这些包括但不限于,多模态自动编码器,深度典型相关分析,多核学习,注意力模型和多模态递归神经网络。本课程还将讨论MMML的许多最新应用,包括多模式的情感识别、图像和视频字幕以及跨模式的多媒体检索。

课程目录:

  • 课程导论
  • 多模态应用与数据集
  • 基本概念:神经网络
  • 网络优化
  • 视觉单模态表示学习
  • 语言单模态表示学习
  • 多模态表示学习
  • 多模态对齐
  • 结构化表示
  • 概率图模型
  • 判别性图模型
  • 神经生成模型
  • 强化学习
  • 多模态强化学习
  • 融合与协同学习
  • 多语言表示学习
成为VIP会员查看完整内容
1
50

相关内容

我们对世界的体验是多模态的——我们看到物体,听到声音,感觉到纹理,闻到气味,尝到味道。模态是指某件事情发生或经历的方式,一个研究问题如果包含多个模态,就被称为多模态。为了让人工智能在理解我们周围的世界方面取得进展,它需要能够一起解释这种多模态信号。多模态机器学习旨在建立能够处理和关联来自多种模式的信息的模型。这是一个日益重要和具有非凡潜力的充满活力的多学科领域。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

http://www.math.arizona.edu/∼hzhang/math574.html

随着信息技术的飞速发展,在各个领域产生了大量的科学和商业数据。例如,人类基因组数据库项目已经收集了千兆字节的人类遗传密码数据。万维网提供了另一个例子,它拥有由数百万人使用的文本和多媒体信息组成的数十亿Web页面。

本课程涵盖了现代数据科学技术,包括基本的统计学习理论及其应用。将介绍各种数据挖掘方法、算法和软件工具,重点在概念和计算方面。将涵盖生物信息学、基因组学、文本挖掘、社交网络等方面的应用。

本课程着重于现代机器学习的统计分析、方法论和理论。它是为学生谁想要实践先进的机器学习工具和算法,也了解理论原理和统计性质的算法。主题包括回归、分类、聚类、降维和高维分析。

成为VIP会员查看完整内容
0
15

印尼机器学习暑期学校(MLSS- indo)是MLSS系列(MLSS .cc)的一部分,该系列于2002年在德国图宾根的马普智能系统研究所启动。这是一个为期7天的活动,参与者有机会学习更多的基础知识和当前的艺术在机器学习和深度学习,包括相关应用的数据科学,计算机视觉,和自然语言处理。

https://mlss.telkomuniversity.ac.id/

内容目录:

  • 深度学习
  • 梯度消失问题
  • 学习理论
  • 神经架构
成为VIP会员查看完整内容
0
22

高级的深度学习。本讲座重点介绍计算机视觉的前沿深度学习技术,重点介绍统计学背景、递归神经网络(RNNs)和生成模型(GANs)。课程的一部分是一个贯穿整个学期的项目,深入学习现代DL方法。

https://dvl.in.tum.de/teaching/adl4cv-ss20/

目录内容:

  • 课程及专题简介
  • 神经网络可视化和可解释性
  • 相似的学习
  • 注意力机制和transformers
  • 图神经网络
  • Autoencoders & VAE
  • 生成式模型I
  • 生成式模型 II
  • 视频,自回归模型,多维度
  • 领域适应和迁移学习
成为VIP会员查看完整内容
0
32

本课程将涵盖深度学习中不需要标注数据的两个领域:深度生成模型和自监督学习。生成模型的最新进展使得对自然图像、音频波形和文本语料库等高维原始数据进行真实建模成为可能。自监督学习的进步已经开始缩小监督表示学习和非监督表示学习之间的差距,本课程将涵盖这些主题的理论基础以及它们的新应用。

课程目录

  • 第1a讲: 课程安排;
  • 第1b讲: 课程动机;
  • 第1c讲: 基于似然的模型 Part I: 自回归模型
  • 第2a讲: 基于似然的模型 Part I: 自回归模型 (ctd)
  • 第2b讲: 无损压缩(Lossless Compression)
  • 第2c讲: 基于似然的模型 Part II: 流模型
  • 第3a讲:基于似然的模型 Part II:流模型(ctd)
  • 第3b讲:隐变量模型
  • 第4a讲:隐变量模型(ctd)(与第3周ppt相同)
  • 第5讲:隐式模型/生成对抗网络
  • 第六讲:非生成性表征学
  • 第7a讲:非生成表征学习(ctd)
  • 第7b讲:半监督学习
  • 第8讲:表征学习+其他问题
  • 第9a讲:无监督分布对齐
  • 第9b讲:客座讲座:Ilya Sutskever
  • 第10a讲:无监督分配对齐(ctd)
  • 第10b讲:客座讲座:Durk Kingma
  • 第11讲:语言模型(Alec Radford)
  • 第12a讲:无监督的表征学习
  • 第12b讲:客座讲座Alyosha Efros
  • 第13a讲:待定(TBD)
  • 第13b讲:客座讲座Aaron van den Oord
成为VIP会员查看完整内容
Lecture 5c+6a - Implicit Models (GANs).pdf
1a-4b_merged.pdf
6b-11_merged .pdf
0
18

人工智能领域最顶级国际期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE TPAMI,影响因子为 9.455),2019年1月最新一期发表了关于多模态机器学习综述论文。我们周围的世界涉及多种形式 - 我们看到物体,听到声音,感觉质地,闻到异味等等。 一般而言,模态指的是事物发生或经历的方式。 大多数人将形态与感觉方式联系起来,这些感觉方式代表了我们主要的交流和感觉渠道,例如视觉或触觉。 因此,当研究问题或数据集包括多个这样的模态时,其特征在于多模态。 本文主要关注但不仅仅关注三种形式:自然语言既可以是书面的,也可以是口头的; 视觉信号,通常用图像或视频表示; 和声音信号,编码声音和口头信息,如韵律和声音表达。

成为VIP会员查看完整内容
Multimodal Machine Learning A Survey and Taxonomy.pdf
0
44
小贴士
相关论文
Chao Zhang,Zichao Yang,Xiaodong He,Li Deng
45+阅读 · 2019年11月10日
Yash Srivastava,Vaishnav Murali,Shiv Ram Dubey,Snehasis Mukherjee
4+阅读 · 2019年8月27日
Learning latent representations for style control and transfer in end-to-end speech synthesis
Ya-Jie Zhang,Shifeng Pan,Lei He,Zhen-Hua Ling
3+阅读 · 2019年2月14日
Analysis Methods in Neural Language Processing: A Survey
Yonatan Belinkov,James Glass
4+阅读 · 2019年1月14日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
15+阅读 · 2019年1月3日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Farzaneh Mahdisoltani,Guillaume Berger,Waseem Gharbieh,David Fleet,Roland Memisevic
7+阅读 · 2018年4月24日
Jingwen Wang,Wenhao Jiang,Lin Ma,Wei Liu,Yong Xu
4+阅读 · 2018年4月3日
Zhang-Wei Hong,Chen Yu-Ming,Shih-Yang Su,Tzu-Yun Shann,Yi-Hsiang Chang,Hsuan-Kung Yang,Brian Hsi-Lin Ho,Chih-Chieh Tu,Yueh-Chuan Chang,Tsu-Ching Hsiao,Hsin-Wei Hsiao,Sih-Pin Lai,Chun-Yi Lee
4+阅读 · 2018年3月18日
Ju Dai,Pingping Zhang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Top