多模态学习方法综述

摘要：大数据是多源异构的。在信息技术飞速发展的今天，多模态数据已成为近来数据资源的主要形式。研究多模态学习方法，赋予计算机理解多源异构海量数据的能力具有重要价值。本文归纳了多模态的定义与多模态学习的基本任务，介绍了多模态学习的认知机理与发展过程。在此基础上，重点综述了多模态统计学习方法与深度学习方法。此外，本文系统归纳了近两年较为新颖的基于对抗学习的跨模态匹配与生成技术。本文总结了多模态学习的主要形式，并对未来可能的研究方向进行思考与展望。