在过去的十年中,创新型人工神经网络模型取得了非凡的发展。这些模型大多只能处理一种模式,而模式可以被认为是一种通信渠道或一种数据类型,如文本或图像。然而,在过去几年中,基于新型变压器架构的机器学习模型在需要联合处理两种或多种模态的任务中取得了令人瞩目的成果。多模态能力使这些模型更适合处理多模态世界中出现的各种问题。

迄今为止,最著名的多模态模型是那些结合文本和图像的模型,例如根据文本提示生成图像或回答有关图像的问题。同样,结合文本和视频的模型也在不断进步。还有一些模型将文本和声音结合起来,用于生成音乐,或用于文本到语音和语音到文本的转换。此外,还有一些模型能够结合两种以上的模式,为数据融合和机器人等领域复杂问题的新解决方案奠定了基础。例如,虽然工业机器人在受控环境中运行良好,但在非受控环境中的多功能机器人需要能够根据来自各种传感器的输入执行敏捷的任务和运动规划。机器人多模态模型的早期工作就体现了这种能力。

本报告概述了多模态神经网络模型领域的最新发展。报告精选了近年来开发的多模态模型。重点是处理媒体数据的模型,其中媒体数据应理解为主要用于人类交流的数据,如文本、图像、声音和视频。

虽然目前使用的多模态模型有其局限性,但它们自动进行多模态推理的部分能力令人印象深刻,以至于我们不得不问自己,多模态机器学习模型在未来几年会以何种方式影响我们的生活。

成为VIP会员查看完整内容
82

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
《大模型对齐方法》最新综述
专知会员服务
80+阅读 · 3月8日
张潼新书《机器学习算法数学分析》,477页pdf
专知会员服务
200+阅读 · 2023年7月6日
《攻击性人工智能》最新62页报告
专知会员服务
115+阅读 · 2023年3月29日
【普林斯顿博士论文】神经符号机器学习推理,133页pdf
专知会员服务
47+阅读 · 2023年2月1日
可信任机器学习,34页ppt
专知会员服务
49+阅读 · 2022年11月29日
最新《可解释机器学习》报告,164页ppt建模阐述XAI进展
专知会员服务
106+阅读 · 2022年8月25日
【Jon Paul Janet】机器学习化学应用,153页ppt
专知会员服务
45+阅读 · 2021年12月5日
最新《可解释机器学习:原理与实践》综述论文,33页pdf
专知会员服务
159+阅读 · 2020年10月10日
【硬核书】数据科学,282页pdf
专知
23+阅读 · 2022年11月29日
【2022新书】生命科学的数据分析,511页pdf
专知
13+阅读 · 2022年11月15日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
404+阅读 · 2023年3月31日
Arxiv
67+阅读 · 2023年3月26日
Arxiv
143+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
《大模型对齐方法》最新综述
专知会员服务
80+阅读 · 3月8日
张潼新书《机器学习算法数学分析》,477页pdf
专知会员服务
200+阅读 · 2023年7月6日
《攻击性人工智能》最新62页报告
专知会员服务
115+阅读 · 2023年3月29日
【普林斯顿博士论文】神经符号机器学习推理,133页pdf
专知会员服务
47+阅读 · 2023年2月1日
可信任机器学习,34页ppt
专知会员服务
49+阅读 · 2022年11月29日
最新《可解释机器学习》报告,164页ppt建模阐述XAI进展
专知会员服务
106+阅读 · 2022年8月25日
【Jon Paul Janet】机器学习化学应用,153页ppt
专知会员服务
45+阅读 · 2021年12月5日
最新《可解释机器学习:原理与实践》综述论文,33页pdf
专知会员服务
159+阅读 · 2020年10月10日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员