项目名称: 基于结构约束的多模态学习理论和方法

项目编号: No.61473289

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 其他

项目作者: 赫然

作者单位: 中国科学院自动化研究所

项目金额: 83万元

中文摘要: 多模态数据的跨模态整合与分析是模式识别和计算机视觉的热点研究内容之一。由于不同模态数据的语义表达能力不同,使得数据的跨模态整合与分析极具挑战。本项目以互网络中的图像和文本两个模态为研究对象,以多模态数据中隐含的先验结构信息为切入点,研究基于结构约束的多模态学习理论和方法。 在理论方面,结合信息理论学习和隐含正则化算子,研究多模态数据的结构约束的数学形式,以及多模态数据的相关性度量方式;特别地,研究基于隐含正则化算子的结构化稀疏和矩阵低秩约束,建立统一的半二次优化框架。在方法方面,研究高维多模态数据的低维隐含子空间的性质,分析不同子空间结构对学习结果的影响;把结构约束作为正则项,研究多模态数据的耦合学习问题,包括耦合特征选择、耦合哈希编码和耦合聚类分析,进而研究多模态数据的跨模态整合和分析技术。

中文关键词: 模式识别;多模态学习

英文摘要: The integration and analysis of multi-modal data has drawn much attention in the pattern recognition and computer vision communities. It is still a challenging and ongoing issue because the data from different modalities have different semantic representation ability. This project makes use of the text-image pairs in web pages as an example of multi-modal data, and focuses on the structure prior behind multi-modal data. We aim to propose new multi-modal learning theory and methods via structure prior. For the multi-modal theory, based on information theoretic learning and implicit regularizers, we study the mathematic formulation of structure prior, and the measurement of correlation between multi-modal data. In particular, we study structured sparsity and low-rank matrix constraints based on implicit regularizers, and develop a half-quadratic framework for both of them. For multi-modal methods, we study the properties of the low-dimensional subspace of original high-dimensional multi-modal data, and analyze the influence of different subspace structures for multi-modal learning. And taking structure constraints as regularization terms, we further study coupled feature selection, coupled hashing and coupled clustering for multi-modal data. Finally, we study the integration and analysis technique for multi-modal data.

英文关键词: Pattern Recognition;Multi-modal Learning

成为VIP会员查看完整内容
6

相关内容

模式识别 Pattern Recognition
专知会员服务
33+阅读 · 2021年9月18日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
68+阅读 · 2021年3月29日
专知会员服务
58+阅读 · 2021年3月25日
专知会员服务
25+阅读 · 2020年12月17日
专知会员服务
43+阅读 · 2020年11月13日
专知会员服务
214+阅读 · 2020年5月6日
多模态深度学习综述,18页pdf
专知会员服务
209+阅读 · 2020年3月29日
基于机器学习的自动化网络流量分析
CCF计算机安全专委会
4+阅读 · 2022年4月8日
首个视觉-语言预训练综述来了!
夕小瑶的卖萌屋
6+阅读 · 2022年3月29日
【TPAMI2022】关联关系驱动的多模态分类
专知
3+阅读 · 2022年3月22日
AAAI2022 预训练中的多模态信息融合与表征探究
RUC AI Box
3+阅读 · 2022年3月15日
基于规则的建模方法的可解释性及其发展
专知
4+阅读 · 2021年6月23日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年5月3日
Arxiv
0+阅读 · 2022年5月3日
Arxiv
0+阅读 · 2022年5月2日
Arxiv
30+阅读 · 2021年6月30日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
小贴士
相关VIP内容
专知会员服务
33+阅读 · 2021年9月18日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
68+阅读 · 2021年3月29日
专知会员服务
58+阅读 · 2021年3月25日
专知会员服务
25+阅读 · 2020年12月17日
专知会员服务
43+阅读 · 2020年11月13日
专知会员服务
214+阅读 · 2020年5月6日
多模态深度学习综述,18页pdf
专知会员服务
209+阅读 · 2020年3月29日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员