The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

人脸识别是计算机视觉领域中最基本、最长期存在的研究课题之一。随着深度卷积神经网络和大规模数据集的发展,深度人脸识别取得了显著的进展,并在实际应用中得到了广泛的应用。以自然图像或视频帧作为输入,端到端深度人脸识别系统输出人脸特征进行识别。为了实现这一目标,整个系统通常由三个关键要素构建:人脸检测、人脸预处理和人脸表示。人脸检测在图像或帧中定位人脸。然后,对人脸进行预处理,将人脸标定为标准视图,并将其裁剪为标准化像素大小。最后,在人脸表示阶段,从预处理后的人脸中提取识别特征进行识别。深度卷积神经网络满足了这三个要素。摘要随着深度学习技术的蓬勃发展,端到端深度人脸识别技术的能力得到了极大的提高,本文对端到端深度人脸识别技术中各个方面的最新进展进行了综述。首先,我们介绍端到端深度人脸识别的概述,如前所述,它包括人脸检测、人脸预处理和人脸表示。然后,我们分别回顾了基于深度学习的每个元素的进展,包括许多方面,如最新的算法设计、评估指标、数据集、性能比较、存在的挑战和未来的研究方向。我们希望这一调查可以为我们更好地理解端到端人脸识别的大图和更系统的探索带来有益的想法。

https://arxiv.org/abs/2009.13290

成为VIP会员查看完整内容
0
55

相关内容

人脸识别,特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。生物特征识别技术所研究的生物特征包括脸、指纹、手掌纹、虹膜、视网膜、声音(语音)、体形、个人习惯(例如敲击键盘的力度和频率、签字)等...

深度学习算法已经在图像分类方面取得了最先进的性能,甚至被用于安全关键应用,如生物识别系统和自动驾驶汽车。最近的研究表明,这些算法甚至可以超越人类的能力,很容易受到对抗性例子的攻击。在计算机视觉中,与之相对的例子是恶意优化算法为欺骗分类器而产生的含有细微扰动的图像。为了缓解这些漏洞,文献中不断提出了许多对策。然而,设计一种有效的防御机制已被证明是一项困难的任务,因为许多方法已经证明对自适应攻击者无效。因此,这篇自包含的论文旨在为所有的读者提供一篇关于图像分类中对抗性机器学习的最新研究进展的综述。本文介绍了新的对抗性攻击和防御的分类方法,并讨论了对抗性实例的存在性。此外,与现有的调查相比,它还提供了相关的指导,研究人员在设计和评估防御时应该考虑到这些指导。最后,在文献综述的基础上,对未来的研究方向进行了展望。

https://www.zhuanzhi.ai/paper/396e587564dc2922d222cd3ac7b84288

成为VIP会员查看完整内容
0
44

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
103

深度学习利用多个处理层来学习具有多个层次特征的数据表示。自2014年以来,随着Deepface和DeepID方法的突破,这一新兴技术已经重塑了人脸识别的研究领域。从那时起,深度人脸识别(FR)技术,利用层次结构学习区分的人脸表示,已经极大地提高了最先进的性能,并培养了许多成功的现实世界的应用。在这篇论文中,我们提供了一个全面深度学习人脸识别综述。首先,我们总结了在快速发展的深度FR方法中提出的不同的网络结构和损耗函数。其次,相关的人脸处理方法被分为两个类:“一对多增强”和“多对一归一化”。然后,对常用的模型训练和评价数据库进行了总结和比较。第三,对跨因素场景、异质场景、多媒体场景和行业场景进行了深入分析。最后,指出了现有方法的潜在不足和未来的发展方向。

成为VIP会员查看完整内容
0
42

多模态表示学习旨在缩小不同模态之间的异质性差距,在利用普遍存在的多模态数据方面起着不可或缺的作用。基于深度学习的多模态表示学习由于具有强大的多层次抽象表示能力,近年来受到了广泛的关注。在本文中,我们提供了一个全面的深度多模态表示学习的综述论文。为了便于讨论如何缩小异质性差距,根据不同模态集成的底层结构,我们将深度多模态表示学习方法分为三种框架:联合表示、协调表示和编解码。此外,我们回顾了该领域的一些典型模型,从传统模型到新开发的技术。本文强调在新开发的技术的关键问题,如encoder-decoder模型,生成对抗的网络,和注意力机制学习的角度来看,多通道表示,我们所知,从来没有审核之前,即使他们已经成为当代研究的主要焦点。对于每个框架或模型,我们将讨论其基本结构、学习目标、应用场景、关键问题、优缺点,以使新研究者和有经验的研究者都能从中受益。最后,提出了今后工作的一些重要方向。

成为VIP会员查看完整内容
0
114

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
173

由于计算和存储效率的提高,哈希被广泛应用于大规模数据库检索中的近似近邻搜索。深度哈希技术是一种利用卷积神经网络结构来挖掘和提取图像语义信息或特征的技术,近年来受到越来越多的关注。在这个综述中,我们对几种图像检索的深度监督哈希方法进行了评估,总结出深度监督哈希方法的三个主要不同方向。最后提出了几点意见。此外,为了突破现有哈希方法的瓶颈,我提出了一种影子周期性哈希(SRH)方法作为尝试。具体来说,我设计了一个CNN架构来提取图像的语义特征,并设计了一个loss function来鼓励相似的图像投影接近。为此,我提出了一个概念: CNN输出的影子。在优化的过程中,CNN的输出和它的shadow互相引导,尽可能的达到最优解。在数据集CIFAR-10上的实验表明,该算法具有良好的性能。

https://arxiv.org/abs/2006.05627

成为VIP会员查看完整内容
0
39

对自然图像中的文本进行检测和识别是计算机视觉领域的两个主要问题,在体育视频分析、自动驾驶、工业自动化等领域都有广泛的应用。他们面临着共同的具有挑战性的问题,即文本如何表示和受几种环境条件的影响的因素。当前最先进的场景文本检测和/或识别方法利用了深度学习体系结构的进步,并取得了在处理多分辨率和多方向文本时基准数据集的卓越准确性。然而,仍然有几个挑战影响自然图像中的文本,导致现有的方法表现不佳,因为这些模型不能泛化到看不见的数据和不足的标记数据。因此,不同于以往的综述,这个综述的目标如下: 首先,提供读者不仅回顾最近场景文字检测和识别方法,但也用一个统一的评估框架来呈现广泛开展实验的结果, 评估pre-trained模型选择的方法上具有挑战性的情况下,这些技术适用于相同的评估标准。其次,识别在自然图像中检测或识别文本存在的几个挑战,即平面内旋转、多方向和多分辨率文本、透视失真、光照反射、部分遮挡、复杂字体和特殊字符。最后,本文还提出了这一领域的潜在研究方向,以解决场景文本检测和识别技术仍面临的一些挑战。

成为VIP会员查看完整内容
0
48

智能视频监控(IVS)是当前计算机视觉和机器学习领域的一个活跃研究领域,为监控操作员和取证视频调查者提供了有用的工具。人的再识别(PReID)是IVS中最关键的问题之一,它包括识别一个人是否已经通过网络中的摄像机被观察到。PReID的解决方案有无数的应用,包括检索显示感兴趣的个体的视频序列,甚至在多个摄像机视图上进行行人跟踪。文献中已经提出了不同的技术来提高PReID的性能,最近研究人员利用了深度神经网络(DNNs),因为它在类似的视觉问题上具有令人信服的性能,而且在测试时执行速度也很快。鉴于再识别解决方案的重要性和广泛的应用范围,我们的目标是讨论在该领域开展的工作,并提出一项最先进的DNN模型用于这项任务的调查。我们提供了每个模型的描述以及它们在一组基准数据集上的评估。最后,我们对这些模型进行了详细的比较,并讨论了它们的局限性,为今后的研究提供了指导。

成为VIP会员查看完整内容
0
56

模态是指事物发生或存在的方式,如文字、语言、声音、图形等。多模态学习是指学习多个模态中各个模态的信息,并且实现各个模态的信息的交流和转换。多模态深度学习是指建立可以完成多模态学习任务的神经网络模型。多模态学习的普遍性和深度学习的热度赋予了多模态深度学习鲜活的生命力和发展潜力。旨在多模态深度学习的发展前期,总结当前的多模态深度学习,发现在不同的多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成,以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各问题进行子分类和论述,同时列举了为解决各问题产生的神经网络模型。最后论述了实际多模态系统,多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。

成为VIP会员查看完整内容
0
119

论文主题: Recent Advances in Deep Learning for Object Detection

论文摘要: 目标检测是计算机视觉中的基本视觉识别问题,并且在过去的几十年中已得到广泛研究。目标检测指的是在给定图像中找到具有精确定位的特定目标,并为每个目标分配一个对应的类标签。由于基于深度学习的图像分类取得了巨大的成功,因此近年来已经积极研究了使用深度学习的对象检测技术。在本文中,我们对深度学习中视觉对象检测的最新进展进行了全面的调查。通过复习文献中最近的大量相关工作,我们系统地分析了现有的目标检测框架并将调查分为三个主要部分:(i)检测组件,(ii)学习策略(iii)应用程序和基准。在调查中,我们详细介绍了影响检测性能的各种因素,例如检测器体系结构,功能学习,建议生成,采样策略等。最后,我们讨论了一些未来的方向,以促进和刺激未来的视觉对象检测研究。与深度学习。

成为VIP会员查看完整内容
0
67
小贴士
相关VIP内容
专知会员服务
44+阅读 · 2020年9月10日
专知会员服务
103+阅读 · 2020年9月7日
专知会员服务
42+阅读 · 2020年8月10日
专知会员服务
114+阅读 · 2020年6月21日
专知会员服务
173+阅读 · 2020年6月16日
专知会员服务
39+阅读 · 2020年6月14日
专知会员服务
48+阅读 · 2020年6月10日
专知会员服务
56+阅读 · 2020年5月5日
专知会员服务
119+阅读 · 2020年3月29日
相关资讯
最新《动态网络嵌入》综述论文,25页pdf
专知
18+阅读 · 2020年6月17日
多模态深度学习综述,18页pdf
专知
28+阅读 · 2020年3月29日
图数据表示学习综述论文
专知
32+阅读 · 2019年6月10日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
10+阅读 · 2019年2月27日
深度学习目标检测算法综述
AI研习社
15+阅读 · 2019年2月1日
自动驾驶最新综述论文(31页PDF下载)
专知
101+阅读 · 2019年1月15日
深度学习综述(下载PDF版)
机器学习算法与Python学习
20+阅读 · 2018年7月3日
一文综述人脸检测算法(附资源)
数据派THU
7+阅读 · 2018年5月8日
相关论文
Recent Advances and Challenges in Task-oriented Dialog System
Zheng Zhang,Ryuichi Takanobu,Minlie Huang,Xiaoyan Zhu
15+阅读 · 2020年3月19日
A Comprehensive Survey on Transfer Learning
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
87+阅读 · 2019年11月7日
AutoML: A Survey of the State-of-the-Art
Xin He,Kaiyong Zhao,Xiaowen Chu
39+阅读 · 2019年8月14日
Sparse2Dense: From direct sparse odometry to dense 3D reconstruction
Jiexiong Tang,John Folkesson,Patric Jensfelt
9+阅读 · 2019年3月21日
Deep Face Recognition: A Survey
Mei Wang,Weihong Deng
13+阅读 · 2019年2月12日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
17+阅读 · 2019年1月3日
Hyeonwoo Noh,Andre Araujo,Jack Sim,Tobias Weyand,Bohyung Han
3+阅读 · 2018年2月3日
Jiankang Deng,Jia Guo,Stefanos Zafeiriou
5+阅读 · 2018年1月23日
Feng Wang,Weiyang Liu,Haijun Liu,Jian Cheng
10+阅读 · 2018年1月18日
Ferdinando Fioretto,Enrico Pontelli,William Yeoh
4+阅读 · 2018年1月11日
Top