【ACM Multimedia 2020】双时间存储网络有效的视频对象分割

录用论文的题目为《Dual Temporal Memory Network for Efficient Video Object Segmentation》，为半监督视频目标分割方面的研究工作，旨在给定初始帧掩模标注的前提下，持续分割出后续帧中的特定目标，在多媒体领域具有重要的应用价值。现有工作往往只通过光流等技术利用短时时序信息或者通过RNN捕捉长时时序信息，没有充分利用这两种信息之间的互补特性。本工作提出了双时空记忆网络来实现视频中指定目标的分割。亮点在于：第一，提出了短时记忆子网络，利用新颖的图(Graph)结构捕捉短时时序；第二，提出了长时记忆子网络，利用匹配(Matching)方法捕捉长时时序；第三，通过分割子网络，融合短时、长时子网络的时序信息，生成分割结果。最终结果在该领域的多个公开数据集上均达到了先进水准。下图是本文的整体研究思路。