This book is the result of a seminar in which we reviewed multimodal approaches and attempted to create a solid overview of the field, starting with the current state-of-the-art approaches in the two subfields of Deep Learning individually. Further, modeling frameworks are discussed where one modality is transformed into the other, as well as models in which one modality is utilized to enhance representation learning for the other. To conclude the second part, architectures with a focus on handling both modalities simultaneously are introduced. Finally, we also cover other modalities as well as general-purpose multi-modal models, which are able to handle different tasks on different modalities within one unified architecture. One interesting application (Generative Art) eventually caps off this booklet.


翻译:这本书是一次研讨会的结果,我们在这次研讨会上审查了多式联运办法,并试图对实地进行坚实的概述,首先从深学习两个子领域的当前最新方法开始,然后逐个讨论一个模式转化为另一个模式的模型框架,以及使用一个模式加强另一个模式代表学习的模式。最后,在第二部分结束时,同时引入了侧重于处理两种模式的结构。最后,我们还涵盖了其他模式以及通用多模式模型,这些模式和模式能够在一个统一的架构内处理不同模式的不同任务。一个有趣的应用(General Art)最终将这本小册子封盖起来。

18
下载
关闭预览

相关内容

专知会员服务
55+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
129+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
118+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
125+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
69+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
69+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
31+阅读 · 2019年10月9日
ACM MM 2022 Call for Papers
CCF多媒体专委会
4+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium8
中国图象图形学学会CSIG
0+阅读 · 2021年11月16日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
13+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
35+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
12+阅读 · 2022年11月8日
Arxiv
53+阅读 · 2022年9月7日
A Survey on Bayesian Deep Learning
Arxiv
53+阅读 · 2020年7月2日
Arxiv
47+阅读 · 2018年12月11日
Arxiv
144+阅读 · 2017年8月1日
VIP会员
相关VIP内容
专知会员服务
55+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
129+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
118+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
125+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
69+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
69+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
31+阅读 · 2019年10月9日
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
4+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium8
中国图象图形学学会CSIG
0+阅读 · 2021年11月16日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
13+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
35+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员