会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。

精品内容

多模态对话情感识别：方法、趋势、挑战与前景综述
多模态对话情感识别：方法、趋势、挑战与前景综述
专知会员服务
18+阅读 · 5月28日
【ICML2025】迈向多模态通用人工智能之路：通用级别与通用基准
【ICML2025】迈向多模态通用人工智能之路：通用级别与通用基准
专知会员服务
22+阅读 · 5月8日
【博士论文】交互式与多模态深度表示学习：在计算机视觉、生物力学与化学信息学中的应用
【博士论文】交互式与多模态深度表示学习：在计算机视觉、生物力学与化学信息学中的应用
专知会员服务
13+阅读 · 4月18日
《多模态适应与泛化》进展综述：从传统方法到基础模型
《多模态适应与泛化》进展综述：从传统方法到基础模型
专知会员服务
28+阅读 · 1月31日
【AAAI2025】基于检索增强的动态提示调优在不完整多模态学习中的应用
【AAAI2025】基于检索增强的动态提示调优在不完整多模态学习中的应用
专知会员服务
11+阅读 · 1月3日
多模态可解释人工智能综述：过去、现在与未来
多模态可解释人工智能综述：过去、现在与未来
专知会员服务
42+阅读 · 2024年12月20日
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU等团队发布医疗多模态技术最新综述
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU等团队发布医疗多模态技术最新综述
专知会员服务
17+阅读 · 2024年11月25日
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU团队发布医疗多模态技术最新综述
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU团队发布医疗多模态技术最新综述
专知会员服务
12+阅读 · 2024年11月23日
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
专知会员服务
27+阅读 · 2024年11月5日
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
专知会员服务
20+阅读 · 2024年10月11日
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
专知会员服务
19+阅读 · 2024年9月14日
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
专知会员服务
30+阅读 · 2024年9月13日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
17+阅读 · 2024年9月1日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
10+阅读 · 2024年9月1日
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
专知会员服务
51+阅读 · 2024年7月28日
参考链接
微信扫码咨询专知VIP会员
Top