专家报告 | 零样本跨模态检索：对抗学习+知识迁移

随着不同类型的多媒体数据（如文本、图片、视频、音频、传感器数据等）的增加，如何实现不同模态间的数据检索已经成为多媒体检索领域的研究热点，这一问题通常被称为“跨模态检索”。

消除不同模态数据间的“语义鸿沟”和“异构鸿沟”是跨模态检索的核心挑战。近年来，生成对抗网络（GAN）展现了其对数据潜在分布进行建模的强大能力。受此启发，利用跨模态生成对抗网络（Cross-Modal GAN）对不同模态数据联合分布进行建模也成为多模态学习领域的研究热点。

Cross-Model Retrieval:

Given a query from one modality,search the closest matches in another modality

图图推荐电子科技大学徐行副教授在PRCV 2020多模态数据感知与学习论坛上所做的报告——对抗学习及知识迁移在跨媒体检索中的应用，徐老师在报告中详细介绍了跨模态生成对抗网络在跨模态检索任务中的具体应用，以及一些利用知识迁移技术探究“零样本跨模态检索”这一新兴研究课题的方法。

专家介绍

徐行，电子科技大学计算机科学与工程学院，副教授。主要研究方向为：多媒体信息处理、计算机视觉和机器学习。近五年已在多媒体、计算机视觉及人工智能相关领域的国内外学术期刊和会议累计发表论文 80 余篇，Google学术引用2100余次。

获得包含 2020年IEEE多媒体汇刊（TMM）年度最佳论文奖，2017 年国际多媒体大会 ACM MM (CCF-A)最佳论文奖，2017 年国际多媒体展览会 ICME（CCF-B）的最佳会议论文铂金奖等国际会议奖项 6 项。获得 2019 年度 IEEE 计算机协会大数据技术委员会颁发的“杰出青年研究员”荣誉。

E-mail：xing.xu@uestc.edu.cn

个人主页：

https://interxuxing.github.io/

报告内容

团队介绍

电子科技大学计算机科学与工程学院（网络空间安全学院）大媒体智能团队，成立于2014年，凝聚了一支由国家领军人才申恒涛教授领衔，包括国家领军人才朱晓峰教授、国家青年人才杨阳教授、宋井宽教授、沈复民教授等11位全职科研人员的高水平科研队伍，主要从事人工智能、多媒体、计算机视觉、信息检索、数据库等领域的研究，以国家重大战略需求为导向，力争在人工智能领域不断实现重大突破。

近年来团队在人工智能领域CCF A类/中科院JCR二区以上的顶级会议和期刊上发表论文200余篇，获得10余项国际会议最佳论文奖（含提名奖）,主持了国家科技创新2030—“新一代人工智能”重大项目，国家自然基金重点等20余项国家及省部级科研项目。

团队以科技创新驱动国家发展为导向，积极推动科研成果转化与产学研一体化平台建设，研发出“智慧城市安防系统”、“工业设计外观生成系统”、“未来教育云课堂服务系统”等实际应用系统，为人工智能领域人才培养、关键核心技术突破、跨域关联的合作研究贡献力量。

点击了解大媒体智能团队详细介绍：

“明星团队”-电子科技大学大媒体智能团队

学报相关论文

杨雪鹤, 刘欢喜, 肖建力. 2020. 多模态生物特征提取及相关性评价综述. 中国图象图形学报, 25(8): 1529-1538

刘颖, 程美, 王富平, 李大湘, 刘伟, 范九伦. 2020. 深度哈希图像检索方法综述. 中国图象图形学报, 25(7): 1296-1317

张剑华, 陈嘉伟, 张少波, 郭建双, 刘盛. 2019. 多模态深度神经网络的固废对象分割. 中国图象图形学报,24(7): 1136-1147

赵轩, 郭蔚, 刘京. 20108. RGB-D图像中的分步超像素聚合和多模态融合目标检测. 中国图象图形学报, 23(8): 1231-1241

于玉海, 林鸿飞, 孟佳娜, 郭海, 赵哲焕. 2018. 跨模态多标签生物医学图像分类建模识别. 中国图象图形学报, 23(6): 917-927

"图图Seminar" 直播回放

回放平台

知网平台：

http://k.cnki.net/Room/Home/Index/181822

B站：

https://space.bilibili.com/27032291

往期目录

汪荣贵——机器学习基本知识体系与入门方法

陈强——从Cell封面论文谈AI研究中的实验数据问题

石争浩——从先验到深度：低见度图像增强

行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题

孙显——遥感图像智能分析：方法与应用

章国锋——视觉SLAM在AR应用上的关键性问题探讨

林宙辰——机器学习中优化算法前沿简介

白相志，冯朝路——“医学图像与人工智能”主题论坛

李雷达——以人为中心的图像感知评价：从质量到美学

汪荣贵——深度强化学习系列课程1-4讲

张明敏，郭诗辉——“人工智能与虚拟现实”主题论坛

高连如——高光谱遥感图像处理与信息提取

杨杨——“出身决定论”？看科研之路如何逆袭

于仕琪——步态识别新动向：基于人体模型的方法与数据

CCF YOCSEF南京——深度学习可解释性论坛

     好文推荐

前沿进展 | 多媒体信号处理的数学理论

中国卫星遥感回首与展望

单目深度估计方法：现状与前瞻

目标跟踪40年，什么才是未来？

10篇CV综述速览计算机视觉新进展

算法集锦 | 深度学习在遥感图像处理中的六大应用

封面故事 | 从传统到深度：火灾烟雾识别综述

封面故事 | 光场数据压缩综述

学者观点 | 结合深度学习和半监督学习的遥感影像分类

编辑推荐 | 视频 + 地图！四维信息助力实景中国

深度学习+图像降噪，如何解决“卡脖子”问题？

❂ 专家报告

专家推荐|高维数据表示：由稀疏先验到深度模型

专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用

专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！

学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】

专家报告|深度学习+图像多模态融合

专家报告 | 类脑智能与类脑计算

实战例题！200+PPT带你看懂监督学习

118页PPT！机器学习模型参数与优化那些事儿~

专家开讲 | 机器学习究竟是什么？

❂ 论文写作

羡慕别人中了顶会？做到这些你也可以！

如何阅读一篇文献？

共享 | SAR图像船舶切片数据集

资源分享| 不知道如何获取最新的算法资讯？快来这里看一看

资源分享|热门IT资讯号推荐

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：秀   秀

指导：梧桐君

审校：夏薇薇

总编辑：肖   亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

我就知道你“在看”