Current movie captioning architectures are not capable of mentioning characters with their proper name, replacing them with a generic "someone" tag. The lack of movie description datasets with characters' visual annotations surely plays a relevant role in this shortage. Recently, we proposed to extend the M-VAD dataset by introducing such information. In this paper, we present an improved version of the dataset, namely M-VAD Names, and its semi-automatic annotation procedure. The resulting dataset contains 63k visual tracks and 34k textual mentions, all associated with character identities. To showcase the features of the dataset and quantify the complexity of the naming task, we investigate multimodal architectures to replace the "someone" tags with proper character names in existing video captions. The evaluation is further extended by testing this application on videos outside of the M-VAD Names dataset.


翻译:当前电影字幕结构无法用其正确名称提及字符, 代之以通用的“ 某人” 标签。 缺少带有字符视觉说明的电影描述数据集, 必然在这种短缺中起到相关作用 。 最近, 我们提议通过引入这种信息来扩展M- VAD数据集 。 在本文中, 我们展示了一个改进的数据集版本, 即 M- VAD 名称及其半自动注释程序 。 由此产生的数据集包含63k 直观路径和34k 文本标签, 都与字符身份相关 。 为了展示数据集的特征并量化命名任务的复杂性, 我们调查多式结构, 在现有视频标题中以正确的字符名称取代“ 某人” 标记 。 通过在 M- VAD 名称数据集外测试此应用程序, 评估会进一步扩展 。

0
下载
关闭预览

相关内容

视频描述生成(Video Caption),就是从视频中自动生成一段描述性文字

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【论文推荐】小样本视频合成,Few-shot Video-to-Video Synthesis
专知会员服务
23+阅读 · 2019年12月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
文字描述生成视频的开源项目
CreateAMind
5+阅读 · 2017年12月31日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
Arxiv
6+阅读 · 2019年4月4日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
Arxiv
6+阅读 · 2018年5月22日
Arxiv
7+阅读 · 2018年4月24日
VIP会员
相关资讯
相关论文
Top
微信扫码咨询专知VIP会员