Transformer is a promising neural network learner, and has achieved great success in various machine learning tasks. Thanks to the recent prevalence of multimodal applications and big data, Transformer-based multimodal learning has become a hot topic in AI research. This paper presents a comprehensive survey of Transformer techniques oriented at multimodal data. The main contents of this survey include: (1) a background of multimodal learning, Transformer ecosystem, and the multimodal big data era, (2) a theoretical review of Vanilla Transformer, Vision Transformer, and multimodal Transformers, from a geometrically topological perspective, (3) a review of multimodal Transformer applications, via two important paradigms, i.e., for multimodal pretraining and for specific multimodal tasks, (4) a summary of the common challenges and designs shared by the multimodal Transformer models and applications, and (5) a discussion of open problems and potential research directions for the community.

21
下载
关闭预览

相关内容

最新《Transformers模型》教程,64页ppt
专知会员服务
146+阅读 · 2020年11月26日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
107+阅读 · 2020年3月18日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
27+阅读 · 2019年10月16日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
98+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
56+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
57+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
25+阅读 · 2019年10月9日
ACM MM 2022 Call for Papers
CCF多媒体专委会
3+阅读 · 3月29日
IEEE TII Call For Papers
CCF多媒体专委会
1+阅读 · 3月24日
AIART 2022 Call for Papers
CCF多媒体专委会
0+阅读 · 2月13日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
1+阅读 · 2021年12月20日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
11+阅读 · 2月23日
Arxiv
14+阅读 · 2021年9月21日
Arxiv
12+阅读 · 2021年8月5日
Arxiv
77+阅读 · 2021年6月8日
Arxiv
40+阅读 · 2021年5月3日
Arxiv
14+阅读 · 2020年12月23日
A Comprehensive Survey on Transfer Learning
Arxiv
103+阅读 · 2019年11月7日
Arxiv
44+阅读 · 2018年12月11日
小贴士
相关论文
Arxiv
11+阅读 · 2月23日
Arxiv
14+阅读 · 2021年9月21日
Arxiv
12+阅读 · 2021年8月5日
Arxiv
77+阅读 · 2021年6月8日
Arxiv
40+阅读 · 2021年5月3日
Arxiv
14+阅读 · 2020年12月23日
A Comprehensive Survey on Transfer Learning
Arxiv
103+阅读 · 2019年11月7日
Arxiv
44+阅读 · 2018年12月11日
相关VIP内容
最新《Transformers模型》教程,64页ppt
专知会员服务
146+阅读 · 2020年11月26日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
107+阅读 · 2020年3月18日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
27+阅读 · 2019年10月16日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
98+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
56+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
57+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
25+阅读 · 2019年10月9日
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
3+阅读 · 3月29日
IEEE TII Call For Papers
CCF多媒体专委会
1+阅读 · 3月24日
AIART 2022 Call for Papers
CCF多媒体专委会
0+阅读 · 2月13日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
1+阅读 · 2021年12月20日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员