山东大学贲晛烨：步态识别三部曲

2019 年 5 月 15 日 中国图象图形学报

《碟中谍5》惊鸿一瞥的步态识别技术

随着智能监控需求的日益增加，常常需要从远距离来进行人的身份识别，步态识别是目前能做到远距离的身份识别技术之一。

与人脸、指纹、虹膜等广为熟知的生物特征相比，步态特征具有哪些特点和优势，识别过程中存在什么挑战和难题？如何解决这些问题？带着这些疑问，我们拜访了山东大学信息科学与工程学院贲晛烨副教授。

贲老师致力于跨视角步态识别的相关研究，针对传统度量学习算法无法做到图像形态存在较大差异时的匹配问题，发展了耦合度量学习方法，并于近期在Pattern Recognition、IEEE Transactions on Circuits and Systems for Video Technology等国际期刊上发表了系列研究成果，显著提高了跨视角步态的识别精度。

韩编辑

请您简单介绍现有的生物特征及其特点？步态特征与之相比有什么优势？

贲老师

现有的生物特征包括生理特征和行为特征。生理特征包括人脸、指纹、静脉、虹膜、人耳、手形、掌纹、视网膜、唇形、DNA、体味等；行为特征包括步态、语音、击键、签名笔迹等，这些特征都具有可采集性、普遍性、唯一性和稳定性，因此均可用于不同场合的身份识别与认证。目前，人脸、指纹、静脉、虹膜和掌纹等识别技术已有成型产品。

步态识别具有低分辨率、受环境影响小、易采集等优点，而且是在个体没有觉察的情况下采集到身份信息的，个体行走姿势也不易模仿和伪装，这些都使得步态识别越来越受到研究人员的关注。不同个体间的步态不一样，步态识别的目的就在于根据人们走路姿势的不同来区分个体身份。

韩编辑

步态识别主要影响因素有哪些？

贲老师

步态识别的影响因素包括穿衣戴帽、携带物品、行走速度、注册步态与待识别步态存在差异等，其中视角变化对步态识别的影响是最具有挑战性的攻克难题。

韩编辑

主流的步态识别方法包括什么？

贲老师

主流的步态识别方法大致可分为以下两类：

（1）基于模型的方法可以提取鲁棒的步态特征并避免噪声干扰，全身的变化可以用一个低维矢量来表征，但是建模及其匹配过程都很复杂。

（2）基于运动的方法避开了建立复杂模型的过程，这种方法可以在无需拟合模型参数的情况下表征人体的运动模式。但当观察方向移动时，同一人的运动外观会发生显著变化，导致基于运动的步态识别方法表现不佳。

韩编辑

如何解决运动导致步态识别效果不佳的问题？

贲老师

张量是矩阵的高阶推广，这有助于减少判别子空间选择中的小样本问题，并已成功应用于固定视角下的步态识别。

受张量表示成功的启发，我们提出了通用的跨视角耦合张量表示框架，可解决当视角发生变化时，仅学习一组多线性投影矩阵不足以完成高维数据的识别任务的问题，并对此提出了三种准则，这项成果发表在2019年的Pattern Recognition期刊上。

步态识别第一部

Highlights

提出了一种用于跨视图步态识别的一般张量表示框架，并引出三个张量耦合映射的标准：

耦合多线性局部保持准则（CMLP）旨在通过保留局部信息来检测基本张量流形结构。
耦合多线性边际Fisher标准（CMMF）旨在将类内紧凑性和类间可分性与局部关系进行编码。
耦合多线性判别分析准则（CMDA）旨在最小化类内散度并最大化类间散度。

对于跨视角步态的三个张量映射算法，使用交替投影优化过程迭代地学习两组多线性投影矩阵。

点击下载PDF全文

韩编辑

针对步态识别受观察方向和运动的影响较大的问题，还有其他的解决方案吗？

贲老师

目前大多数方法将步态能量图像（GEI）连接成一维矢量，形成步态的高维特征。这些方法忽略了底层结构信息（例如行和列之间的相关性）和GEI的空间信息。

对此，我们提出的耦合双线性判别投影（CBDP）算法直接利用GEI的二维特征，此方法不但保留空间结构信息，而且能够避免小样本问题。这项成果发表IEEE Transactions on Circuits and Systems for Video Technology期刊上。

步态识别第二部

Highlights

1. 提出耦合双线性判别投影（CBDP）的方式来克服传统投影学习方式的不足。具体而言，CBDP使用两组双线性变换矩阵为两个视角生成匹配的步态矩阵特征，从而可以保留原始步态GEI的空间结构信息。通过迭代地最大化类间距离和类内距离的比值，学习最佳矩阵子空间。这使得CBDP能够在样本不足的情况下发挥作用。

2. 在理论上证明了CBDP的目标函数序列的上下界都是单调递增的，因此CBDP具有一定的收敛性。

3. 在跨视角步态识别数据库（CASIA（B）和OUISIR ）上的实验结果表明该方法优于现有先进的方法。将视角差异最大、最具挑战性的侧面视角步态与正面视角步态相匹配，也能获得不错的表现。

点击下载PDF全文

韩编辑

现有的跨视角步态识别方法有哪些？主要存在哪些问题？

贲老师

现有的跨视角步态识别主要可以归结为三类。

第一类是通过全景相机或多个校准相机构建3D步态信息的跨角度识别。基于3D信息的方法对摄像机的设置和控制非常复杂，这在实践中难以实现。另一方面，这种方法计算负荷巨大，进一步限制了其实际应用。

第二类是基于视角转换模型（VTM）的跨视角识别。这种方法利用来自其他视角的信息集中使用诸如奇异值分解和回归等技术来构建步态特征。当探测步态的视角与训练样本的视角差别很大时，这些基于VTM的方法通常性能不佳。

第三类是提取具有视角不变性的步态特征。其中最具代表性的方法是由Goffredo等人提出的四肢及姿势的自我校准技术，估计了在图像参考系中的下肢姿势，并重建了肢体姿势，以便在矢状面上进行识别。另外，深度卷积神经网络已经在跨视角步态识别任务中取得了极高的准确度，但是受限于步态数据跨视角步态标签不足的问题。此类别的方法都可以在一定程度上减少由视角不同引起的差异，但是大多数方法不考虑相邻视角间步态变化的情况，因此不同视角间可能共享的信息未被充分利用。

韩编辑

如何利用不同视角间共享的信息？

贲老师

为了探索不同步态样本的邻近信息，我们使用分块对齐框架，包含分块优化和整体对齐两部分。基于这个框架，提出了一种新的监督算法，称为耦合块对齐（CPA）。 该成果发表在

IEEE Transactions on Image Processing期刊上。

步态识别第三部

微信图片_20190514231249.png

Highlights

1. 提出了一种耦合块对齐（CPA）算法，可以有效地匹配两个视角中同一行人的步态。首先构建一定数量的局部块，每个局部块都由一个样本及其类内和类间最近邻样本组成。然后为每个局部块设计一个目标函数，以平衡跨视角类内样本的紧凑性和跨视角类间样本的可分离性。最后，将所有局部块组合在一起，获得统一的目标函数。

2. 从理论层面证明了提出的CPA与典型相关分析有密切关系。

3. 将CPA扩展到可以处理任意数量步态角度的“多维局部块对齐”方法。

点击下载PDF全文

主要作者简介