智能视频监控(IVS)是当前计算机视觉和机器学习领域的一个活跃研究领域,为监控操作员和取证视频调查者提供了有用的工具。人的再识别(PReID)是IVS中最关键的问题之一,它包括识别一个人是否已经通过网络中的摄像机被观察到。PReID的解决方案有无数的应用,包括检索显示感兴趣的个体的视频序列,甚至在多个摄像机视图上进行行人跟踪。文献中已经提出了不同的技术来提高PReID的性能,最近研究人员利用了深度神经网络(DNNs),因为它在类似的视觉问题上具有令人信服的性能,而且在测试时执行速度也很快。鉴于再识别解决方案的重要性和广泛的应用范围,我们的目标是讨论在该领域开展的工作,并提出一项最先进的DNN模型用于这项任务的调查。我们提供了每个模型的描述以及它们在一组基准数据集上的评估。最后,我们对这些模型进行了详细的比较,并讨论了它们的局限性,为今后的研究提供了指导。

成为VIP会员查看完整内容
0
36

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

多模态表示学习旨在缩小不同模态之间的异质性差距,在利用普遍存在的多模态数据方面起着不可或缺的作用。基于深度学习的多模态表示学习由于具有强大的多层次抽象表示能力,近年来受到了广泛的关注。在本文中,我们提供了一个全面的深度多模态表示学习的综述论文。为了便于讨论如何缩小异质性差距,根据不同模态集成的底层结构,我们将深度多模态表示学习方法分为三种框架:联合表示、协调表示和编解码。此外,我们回顾了该领域的一些典型模型,从传统模型到新开发的技术。本文强调在新开发的技术的关键问题,如encoder-decoder模型,生成对抗的网络,和注意力机制学习的角度来看,多通道表示,我们所知,从来没有审核之前,即使他们已经成为当代研究的主要焦点。对于每个框架或模型,我们将讨论其基本结构、学习目标、应用场景、关键问题、优缺点,以使新研究者和有经验的研究者都能从中受益。最后,提出了今后工作的一些重要方向。

成为VIP会员查看完整内容
0
68

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
88

尽管在深度学习方面取得了最近的进展,但大多数方法仍然采用类似“筒仓”的解决方案,专注于孤立地学习每个任务:为每个单独的任务训练一个单独的神经网络。然而,许多现实问题需要多模态方法,因此需要多任务模型。多任务学习(MTL)旨在利用跨任务的有用信息来提高模型的泛化能力。在这个综述中,我们提供了一个最先进的在深度神经网络的背景下MTL技术的全面观点。我们的贡献涉及以下方面。首先,我们从网络架构的角度来考虑MTL。我们包括了一个广泛的概述,并讨论了最近流行的MTL模型的优缺点。其次,我们研究了解决多任务联合学习的各种优化方法。我们总结了这些工作的定性要素,并探讨了它们的共性和差异。最后,我们在各种数据集上提供了广泛的实验评估,以检查不同方法的优缺点,包括基于架构和优化的策略。

https://arxiv.org/abs/2004.13379

概述

在过去的十年中,神经网络在许多任务中都显示了令人印象深刻的结果,例如语义分割[1],实例分割[2]和单目深度估计[3]。传统上,这些任务是单独处理的,即为每个任务训练一个单独的神经网络。然而,许多现实世界的问题本质上是多模态的。例如,一辆自动驾驶汽车应该能够检测场景中的所有物体,定位它们,了解它们是什么,估计它们的距离和轨迹,等等,以便在它的周围安全导航。同样的,一个智能广告系统应该能够在它的视点上检测到人们的存在,了解他们的性别和年龄,分析他们的外貌,跟踪他们正在看的地方,等等,从而提供个性化的内容。与此同时,人类非常擅长同时解决许多任务。生物数据处理似乎也遵循多任务处理策略: 不同的处理过程似乎共享大脑中相同的早期处理层,而不是将任务分开单独处理。上述观察结果促使研究人员开发了多任务学习(MTL)模型,即给定一个输入图像可以推断出所有所需的任务输出。

在深度学习时代之前,MTL工作试图对任务之间的共同信息进行建模,希望通过联合任务学习获得更好的泛化性能。为了实现这一点,他们在任务参数空间上放置了假设,例如:任务参数应该彼此靠近w.r.t.一些距离度量[5],[6],[16]0,[16]2,共享一个共同的概率先验[16]1,[10],[11],[12],[13],或驻留在一个低维子空间[14],[15],[16]或流形[17]。当所有任务都是相关的[5]、[14]、[18]、[19]时,这些假设可以很好地工作,但是如果在不相关的任务之间发生信息共享,则可能导致性能下降。后者是MTL中已知的问题,称为负转移。为了缓解这一问题,其中一些研究人员选择根据先前对任务的相似性或相关性的认识将任务分组。

在深度学习时代,MTL转化为能够从多任务监控信号中学习共享表示的网络设计。与单任务情况下,每个单独的任务由自己的网络单独解决相比,这种多任务网络理论上给表带来了几个优点。首先,由于它们固有的层共享,结果内存占用大大减少。其次,由于他们明确地避免重复计算共享层中的特征,每次都要计算一次,因此他们的推理速度有所提高。最重要的是,如果相关的任务能够分享互补的信息,或者互相调节,它们就有可能提高绩效。对于前者,文献已经为某些对任务提供了证据,如检测和分类[20],[21],检测和分割[2],[22],分割和深度估计[23],[24],而对于后者,最近的努力指向了那个方向[25]。这些工作导致了第一个深度多任务网络的发展,历史上分为软或硬参数共享技术。

在本文中,我们回顾了在深度神经网络范围内的MTL的最新方法。首先,我们对MTL基于架构和优化的策略进行了广泛的概述。对于每种方法,我们描述了其关键方面,讨论了与相关工作的共性和差异,并提出了可能的优点或缺点。最后,我们对所描述的方法进行了广泛的实验分析,得出了几个关键的发现。我们在下面总结了我们的一些结论,并提出了未来工作的一些可能性。

  • 首先,MTL的性能在很大程度上取决于任务字典。它的大小、任务类型、标签源等等,都影响最终的结果。因此,最好根据每个案例选择合适的架构和优化策略。尽管我们提供了具体的观察结果,说明为什么某些方法在特定设置中工作得更好,但是MTL通常可以从更深的理论理解中获益,从而在每种情况下最大化预期收益。例如,这些收益似乎取决于多种因素,例如数据量、任务关系、噪音等。未来的工作应该尝试分离和分析这些不同因素的影响。

  • 其次,当使用单一MTL模型处理多个密集预测任务时,基于解码器的架构目前在多任务性能方面提供了更多优势,与基于编码器的架构相比,其计算开销有限。如前所述,这是由于基于解码器的体系结构促进了常见的跨任务模式的对齐,这自然很适合密集的预测任务。基于编码器的架构在密集预测任务设置中仍然具有一定的优势,但其固有的层共享似乎更适合处理多个分类任务。

  • 最后,我们分析了多种任务均衡策略,并分离出对任务均衡学习最有效的要素,如降低噪声任务的权重、平衡任务梯度等。然而,许多优化方面仍然缺乏了解。与最近的研究相反,我们的分析表明避免任务之间的梯度竞争会损害性能。此外,我们的研究显示,一些任务平衡策略仍然存在不足,突出了现有方法之间的一些差异。我们希望这项工作能促进对这一问题的进一步研究。

成为VIP会员查看完整内容
0
51

对自然图像中的文本进行检测和识别是计算机视觉领域的两个主要问题,在体育视频分析、自动驾驶、工业自动化等领域都有广泛的应用。他们面临着共同的具有挑战性的问题,即文本如何表示和受几种环境条件的影响的因素。当前最先进的场景文本检测和/或识别方法利用了深度学习体系结构的进步,并取得了在处理多分辨率和多方向文本时基准数据集的卓越准确性。然而,仍然有几个挑战影响自然图像中的文本,导致现有的方法表现不佳,因为这些模型不能泛化到看不见的数据和不足的标记数据。因此,不同于以往的综述,这个综述的目标如下: 首先,提供读者不仅回顾最近场景文字检测和识别方法,但也用一个统一的评估框架来呈现广泛开展实验的结果, 评估pre-trained模型选择的方法上具有挑战性的情况下,这些技术适用于相同的评估标准。其次,识别在自然图像中检测或识别文本存在的几个挑战,即平面内旋转、多方向和多分辨率文本、透视失真、光照反射、部分遮挡、复杂字体和特殊字符。最后,本文还提出了这一领域的潜在研究方向,以解决场景文本检测和识别技术仍面临的一些挑战。

成为VIP会员查看完整内容
0
30

本文综述了元学习在图像分类、自然语言处理和机器人技术等领域的应用。与深度学习不同,元学习使用较少的样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类: 黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
107

随着高计算设备的发展,深度神经网络(DNNs)近年来在人工智能(AI)领域得到了广泛的应用。然而,之前的研究表明,DNN在经过策略性修改的样本(称为对抗性样本)面前是脆弱的。这些样本是由一些不易察觉的扰动产生的,但可以欺骗DNN做出错误的预测。受图像DNNs中生成对抗性示例的流行启发,近年来出现了针对文本应用的攻击DNNs的研究工作。然而,现有的图像扰动方法不能直接应用于文本,因为文本数据是离散的。在这篇文章中,我们回顾了针对这一差异的研究工作,并产生了关于DNN的电子对抗实例。我们对这些作品进行了全面的收集、选择、总结、讨论和分析,涵盖了所有相关的信息,使文章自成一体。最后,在文献回顾的基础上,我们提出了进一步的讨论和建议。

成为VIP会员查看完整内容
0
36

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
101

论文题目: Deep Learning in Video Multi-Object Tracking: A Survey

论文摘要: 多目标跟踪(MOT)的问题在于遵循序列中不同对象(通常是视频)的轨迹。 近年来,随着深度学习的兴起,提供解决此问题的算法得益于深度模型的表示能力。 本文对采用深度学习模型解决单摄像机视频中的MOT任务的作品进行了全面的调查。 确定了MOT算法的四个主要步骤,并对这些阶段的每个阶段如何使用深度学习进行了深入的回顾。 还提供了对三个MOT数据集上提出的作品的完整实验比较,确定了表现最好的方法之间的许多相似之处,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
0
53

多目标跟踪(MOT)的问题在于在一个序列中跟踪不同目标的轨迹,通常是视频。近年来,随着深度学习的兴起,为这一问题提供解决方案的算法受益于深度模型的表示能力。本文对利用深度学习模型解决单摄像机视频MOT任务的作品进行了全面的综述。提出了MOT算法的四个主要步骤,并对深度学习在每个阶段的应用进行了深入的回顾。本文还对三种MOTChallenge数据集上的现有工作进行了完整的实验比较,确定了一些最优的方法之间的相似性,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
0
45

题目: Deep Learning in Video Multi-Object Tracking: A Survey

简介: 多对象跟踪(MOT)的问题在于遵循序列中不同对象(通常是视频)的轨迹。 近年来,随着深度学习的兴起,提供解决此问题的算法得益于深度模型的表示能力。 本文对采用深度学习模型解决单摄像机视频中的MOT任务的作品进行了全面的调查。 确定了MOT算法的四个主要步骤,并对这些阶段的每个阶段如何使用深度学习进行了深入的回顾。 还提供了对三个MOTChallenge数据集上提出的作品的完整实验比较,确定了表现最好的方法之间的许多相似之处,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
DEEP LEARNING IN VIDEO MULTI-OBJECT TRACKING.pdf
0
25
小贴士
相关论文
Image Segmentation Using Deep Learning: A Survey
Shervin Minaee,Yuri Boykov,Fatih Porikli,Antonio Plaza,Nasser Kehtarnavaz,Demetri Terzopoulos
22+阅读 · 1月15日
Fréderic Godin,Anjishnu Kumar,Arpit Mittal
3+阅读 · 2019年2月26日
Omni-directional Feature Learning for Person Re-identification
Di Wu,Hong-Wei Yang,De-Shuang Huang
3+阅读 · 2018年12月13日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
6+阅读 · 2018年9月13日
Hanxiao Wang,Shaogang Gong,Xiatian Zhu,Tao Xiang
3+阅读 · 2018年5月4日
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
7+阅读 · 2018年3月30日
Holger R. Roth,Chen Shen,Hirohisa Oda,Masahiro Oda,Yuichiro Hayashi,Kazunari Misawa,Kensaku Mori
4+阅读 · 2018年3月23日
Mingyue Yuan,Dong Yin,Jingwen Ding,Yuhao Luo,Zhipeng Zhou,Chengfeng Zhu,Rui Zhang
6+阅读 · 2018年3月8日
Ju Dai,Pingping Zhang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Xiangyu Zhao,Liang Zhang,Zhuoye Ding,Dawei Yin,Yihong Zhao,Jiliang Tang
12+阅读 · 2018年1月5日
Top