Video Description视频描述综述论文-方法、数据集和评估指标,UWA

2020 年 3 月 5 日 专知

https://arxiv.org/abs/1806.00186


视频描述是自动生成描述给定视频内容的自然语言句子 它广泛适用于人类机器交互,帮助视力受损和视频标题生成。 由于计算机视觉和自然语言处理的深度学习取得了前所未有的成功,过去几年来该领域的研究大量增加。研究 文献中提出了许多方法,数据集和评估指标,呼吁需要进行全面调研综述,以将研究工作集中在这一蓬勃发展的新方向上。 本文通过调研最先进的方法填补了这一空白,重点是深度学习模型; 比较基准数据集的域,类别数和存储库大小; 并确定各种评估指标的优缺点,如SPICE,CIDEr,ROUGE,BLEU,METEOR和WMD。 经典的视频描述方法将主题,对象和动词检测与基于模板的语言模型相结合以生成句子。 然而,大型数据集的发布表明,这些方法无法应对无约束开放域视频的多样性。 经典方法之后是一个非常短暂的统计方法时代,很快被深度学习所取代,深度学习是视频描述的现有技术 我们的调研显示,尽管发展速度很快,但由于以下原因,视频描述研究仍处于起步阶段。 对视频描述模型的分析具有挑战性,因为难以确定最终描述中视觉特征和所采用的语言模型对准确性或错误的贡献。 现有数据集既不包含足够的视觉多样性也不包含语言结构的复杂性。 最后,当前的评估指标未能衡量机器生成的描述与人类描述之间的一致性。 我们通过列出有希望的未来研究方向来结束我们的调研。




专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“VDS” 就可以获取Video Description视频描述综述论文》专知下载链接


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
37

相关内容

最新《深度半监督学习》综述论文,43页pdf
专知会员服务
152+阅读 · 2020年6月12日
 图像内容自动描述技术综述
专知会员服务
84+阅读 · 2019年11月17日
深度学习视频中多目标跟踪:论文综述
专知会员服务
89+阅读 · 2019年10月13日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
77+阅读 · 2019年10月12日
零样本图像识别综述论文
专知
20+阅读 · 2020年4月4日
【旷视出品】细粒度图像分析综述
专知
15+阅读 · 2019年7月11日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
【资源】图像分割/显著性检测数据集列表
专知
13+阅读 · 2019年5月22日
Object Detection in 20 Years: A Survey
Arxiv
48+阅读 · 2019年5月13日
Arxiv
6+阅读 · 2019年4月4日
Arxiv
7+阅读 · 2018年12月5日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
VIP会员
Top
微信扫码咨询专知VIP会员