摘要:近年来,跨模态研究吸引了越来越多学者的关注,尤其是连接视觉和语言的相关课题。该文针对跨视觉和语言模态研究中的核心任务——图像描述生成,进行文献综述。该文从基于视觉的文本生成框架、基于视觉的文本生成研究中的关键问题、图像描述生成模型的性能评价和图像描述生成模型的主要发展过程四个方面对相关文献进行介绍和总结。最后,该文给出了几个未来的重点研究方向,包括跨视觉和语言模态的特征对齐、自动化评价指标的设计以及多样化图像描述生成。

http://jcip.cipsc.org.cn/CN/abstract/abstract2995.shtml

成为VIP会员查看完整内容
0
33

相关内容

句法分析的目标是分析输入句子并得到其句法结构,是自然语言处理领域的经典任务之一。目前针对该任务的研究主要集中于如何通过从数据中自动学习来提升句法分析器的精度。该文对句法分析方向的前沿动态进行了调研,分别从有监督句法分析、无监督句法分析和跨领域跨语言句法分析三个子方向梳理和介绍了2018—2019年发表的新方法和新发现,并对句法分析子方向的研究前景进行了分析和展望。

http://jcip.cipsc.org.cn/CN/abstract/abstract2996.shtml

成为VIP会员查看完整内容
0
10

行人再识别的主要任务是利用计算机视觉对特定行人进行跨视域匹配和检索。相比于传统算法,由数据驱 动的深度学习方法所提取的特征更能表征行人之间的区分性。对行人再识别的背景及研究历史、主要面临的挑 战、主要方法、数据集及评价指标进行了梳理和总结。主要从特征表达、局部特征、生成对抗网络三个方面对行人 再识别的算法进行分析,列举了行人再识别9个常用数据集、3个评价标准和14种典型方法在 Market1501数据集 上取得的准确率,最后对行人再识别的未来研究方向进行展望。

成为VIP会员查看完整内容
0
11

摘要: 图像内容自动描述是计算机视觉和自然语言处理领域的一个重要任务,在生活娱乐、智慧 交通以及帮助视觉障碍者理解视觉内容等领域有着广泛而重要的应用价值.相比于图像分类和目标 检测等感知任务,图像内容自动描述是一种更高级别、更复杂的认知任务,对帮助分析和理解图像有 着重要的意义.旨在对现有的图像自动描述技术进行全面的综述.讨论图像内容自动描述中常用的数 据集和评价指标,以及现有图像自动描述技术的性能、优点和局限性。

关键词: 图像内容描述;卷积神经网络;循环神经网络;注意力机制;深度学习

成为VIP会员查看完整内容
0
39

报告主题: 多模态--基于视觉的跨模态文本生成

报告摘要: 此次报告主要讲述了多模态中基于视觉的跨模态文本生成,首先介绍了语言-视觉的跨模态任务,并提出了视觉的语义表示、视觉-语言的跨模态对齐等研究问题及其相关解决方案,然后介绍了几种基于视觉的文本生成方法以及基于视觉的文本生成的其他关注点,最后提出了对未来的一些看法。

邀请嘉宾: 魏忠钰,博士,复旦大学副教授。主要研究领域为自然语言处理,机器学习和社会媒体处理,专注于自动化文本生成、论辩挖掘和交叉学科应用研究。于哈尔滨工业大学获得学士和硕士学位,于香港中文大学获得博士学位,2015-2016年于美国德州大学达拉斯分校从事博士后工作,现任中文信息学会社交媒体处理专委会常务委员兼秘书,中国中文信息学会青年工作委员会委员。在自然语言处理、人工智能领域的国际会议、期刊如CL,ACL,SIGIR,EMNLP,AAAI,IJCAI, Bioinformatics等发表学术论文40余篇。担任多个重要国际会议及期刊评审。获得2017年度上海市青年扬帆计划,2019年度全国社会媒体处理大会新锐奖。

成为VIP会员查看完整内容
基于视觉的跨模态文本生成.pdf
0
44

AutoML: A Survey of the State-of-the-Art

深度学习已经渗透到我们生活的方方面面,给我们带来了极大的便利。然而,针对某一特定任务构建高质量的深度学习系统的过程不仅耗时,而且需要大量的资源和人力,阻碍了深度学习在产业界和学术界的发展。为了缓解这一问题,越来越多的研究项目关注于自动化机器学习(AutoML)。在本文中,我们提供了一个全面的和最新的研究,在最先进的汽车。首先,根据机器学习的特点,详细介绍了自动化技术。在此基础上,总结了神经结构搜索(NAS)的研究现状,这是目前自动化领域研究的热点之一。我们还将NAS算法生成的模型与人工设计的模型进行了比较。最后,提出了有待进一步研究的几个问题。

成为VIP会员查看完整内容
0
43
小贴士
相关VIP内容
专知会员服务
10+阅读 · 9月11日
专知会员服务
11+阅读 · 8月19日
专知会员服务
34+阅读 · 7月19日
专知会员服务
58+阅读 · 5月6日
专知会员服务
35+阅读 · 4月24日
机器翻译深度学习最新综述
专知会员服务
34+阅读 · 2月20日
 图像内容自动描述技术综述
专知会员服务
39+阅读 · 2019年11月17日
自动机器学习:最新进展综述
专知会员服务
43+阅读 · 2019年10月13日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
33+阅读 · 2019年10月12日
相关资讯
无参考图像质量评价研究进展综述
人工智能前沿讲习班
34+阅读 · 2019年2月15日
AI综述专栏|多模态学习研究进展综述
人工智能前沿讲习班
51+阅读 · 2018年7月13日
【教程】如何使用深度学习为照片自动生成文本描述?
GAN生成式对抗网络
16+阅读 · 2017年11月19日
基于对偶学习的跨领域图片描述生成
PaperWeekly
6+阅读 · 2017年11月7日
VALSE2017系列之七:视觉与语言领域年度进展概述
深度学习大讲堂
9+阅读 · 2017年7月11日
相关论文
A survey on deep hashing for image retrieval
Xiaopeng Zhang
6+阅读 · 6月10日
Mamdouh Farouk
5+阅读 · 2019年10月6日
Tencent ML-Images: A Large-Scale Multi-Label Image Database for Visual Representation Learning
Baoyuan Wu,Weidong Chen,Yanbo Fan,Yong Zhang,Jinlong Hou,Junzhou Huang,Wei Liu,Tong Zhang
8+阅读 · 2019年1月7日
Jianfeng Dong,Xirong Li,Cees G. M. Snoek
5+阅读 · 2018年7月14日
CIRL: Controllable Imitative Reinforcement Learning for Vision-based Self-driving
Xiaodan Liang,Tairui Wang,Luona Yang,Eric Xing
4+阅读 · 2018年7月10日
Alexander Mathews,Lexing Xie,Xuming He
5+阅读 · 2018年5月18日
Xiaoxiao Guo,Hui Wu,Yu Cheng,Steven Rennie,Rogerio Schmidt Feris
5+阅读 · 2018年5月1日
Erhan Gundogdu,A. Aydin Alatan
8+阅读 · 2018年3月10日
Zuxuan Wu,Ting Yao,Yanwei Fu,Yu-Gang Jiang
8+阅读 · 2018年2月22日
B. V. Patel,B. B. Meshram
3+阅读 · 2012年11月20日
Top