AAAI 2020 | SynSig2Vec:无需任何真实仿冒签名数据亦可训练高性能笔迹鉴别模型

2020 年 1 月 22 日 CVer

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自：CSIG文档图像分析与识别专委会

本文简要介绍被AAAI 2020录用的来自华南理工大学相关团队的论文”SynSig2Vec: Learning Representations from Synthetic Dynamic Signatures for Real-world Verification”。该论文针对联机签名认证任务中真实签名数据难以获取的难题，提出了一种基于书写运动学理论的签名合成方法，可以基于模板签名合成出不同形变程度的签名样本，并通过优化签名相似度排序的平均准确率（Average Precision，AP）指标进行特征学习，本文提出的SynSig2Vec方法在两个公开的联机签名认证数据集上比之前最好方法大幅度地降低了签名认证错误率。该方法的一个主要亮点是无需任何随机仿冒或专业仿冒的真实负样本数据，也可训练一个高性能的笔迹鉴别模型。

图 1 针对给定模板签名生成的不同形变程度的合成签名

一、研究背景

手写签名是社会认可度最高、应用最为广泛的身份认证方式，在行政管理、银行办公等场景中十分常见。手写签名认证研究的一个最大难点在于伪造签名攻击（Skilled Forgery Attacks），即他人刻意伪造某一用户的签名以实施诈骗。随着深度学习的发展，联机签名认证方法开始逐步从基于特征工程与模板匹配的方法向深度学习方法过渡[1][2]，在降低伪造签名认证错误率方面取得了一定进展。然而，这些方法存在着几点不足。首先，它们需要伪造签名作为训练数据。我们理应知道，手写签名作为一种生物信息以及个人隐私数据，其采集十分困难；伪造签名的采集，更是需要书写者反复练习其需要仿造的签名，成本十分昂贵。因此，利用伪造签名作为训练数据不具备可拓展性。其次，这些方法缺乏一个合适的数据增广方式。常规的数据增广方式，例如仿射变换等，无法对联机签名的动态特性做出合理调整，也无法反映实际签名过程的固有变化。此外，目前的损失函数没有考虑细粒度的相似度信息，制约着特征学习的有效性。该论文针对上述存在的问题，提出了SynSig2Vec的解决方案。

二、方法原理简述

联机签名合成的关键在于书写运动学理论及其Sigma Lognormal模型[3]。该理论认为，人的神经肌肉系统具有对数高斯脉冲响应；当人在进行快速书写的时候，笔尖的速度由一系列对数高斯信号叠加而成，其中每个信号由6个参数进行控制。如图2所示，一个联机签名的速度信号可以分解为多个对数高斯信号；通过算法获取对数高斯信号的参数之后，可以重构出原始的速度和轨迹信息。通过对参数引入适当程度的扰动，则可以实现签名的合成。参数的扰动范围通过视觉图灵测试和一些初步实验确定。

图 2 联机签名可分解为多个对数高斯信号，并借由其参数实现重构。

该论文利用合成签名进行特征学习的关键思路如下。对于一个给定的真实签名样本，可以选取两个不同的参数扰动范围，从而生成两组不同形变程度的合成签名。显然地，高形变程度的签名（称为G2）与原始签名相似度较低，低形变程度的签名（称为G1）与原始签名相似度则较高，可以分别将其视为仿造签名和数据增广后的真签名。利用这个信息，便可以使用测度学习、孪生网络等学习方法。为了充分利用细粒度的签名相似度信息，SynSig2Vec提出使用排序学习的方法进行特征学习，并优化签名相似度排序的AP指标。这么做的好处有两点，一是可以在排序列表中保留和利用相对的相似度信息，不易过拟合，二是AP指标与认证性能直接相关，优化AP指标能够提升认证性能。由于AP指标对于神经网络参数不可微，该论文借助了[4]中提出的广义梯度理论计算近似梯度。

论文中使用了6层的一维卷积网络作为特征提取器，能够从任意长度的联机签名序列提取定长的特征向量。除了优化AP指标，文中还优化签名分类交叉熵损失函数。前者目的在于提升对于仿造签名的认证性能，后者目的则在于提升对于随机假签名的认证性能。

三、主要实验结果

该论文使用了MCYT-100和SVC-Task2两个基准数据集，测试时录入1个或5个真实签名作为参照样本（T1和T5），探究了AP损失函数和签名合成的有效性。

首先，基于合成签名，分别使用AP、BCE、Triplet损失函数进行特征学习。实验结果如图3所示：在整个训练阶段，AP损失函数始终能够取得更低的认证错误率，这说明它能学到更为有效的特征。

图 3 AP、BCE与Triplet 损失函数的对比

然后，基于AP损失函数，为了探究签名合成的有效性，论文对比了如下四种情形：1.分别将G1和G2替换为真实签名与仿造签名；2.保留G1为合成签名,将G2替换为仿造签名；3.保留G2为合成签名,将G1替换为真实签名；4.G1、G2均为合成签名。实验结果如图4所示：合成签名比真实采集的签名对于特征学习更为有效，原因在于，合成签名能够反映真实书写过程中神经肌肉系统的固有变化。

图4 真实签名与合成签名四种使用情形的对比

表1列出了SynSig2Vec方法与当前领先方法的结果对比，可以看到，在MCYT-100和SVC-Task2两个基准数据集上，SynSig2Vec均较大幅度地降低了认证错误率，特别是在只有一个签名作为参照样本的情形下。

表1 SynSig2Vec方法与当前领先方法的结果对比

四、总结与讨论

该论文针对联机签名认证任务中签名数据难以获取的难题，提出了一种基于书写运动学理论的签名合成方法，并且提出使用排序学习的方法进行特征学习，以更好的利用细粒度的签名相似度信息。论文的方法在两个基准数据集上均取得了领先的结果。

该论文存在几个可以改进的点。一是签名合成的参数扰动范围存在优化空间，二是卷积网络结构应能进一步改进，三是优化AP指标的算法稍显复杂，可以考虑对其进行简化，或者采用其他排序学习方法，例如ListNet等。

五、相关资源

论文地址：https://arxiv.org/abs/1911.05358

参考文献

[1] Tolosana R, Vera-Rodriguez R, Fierrez J, et al. Exploring recurrent neural networks for on-line handwritten signature biometrics[J]. IEEE Access, 2018, 6: 5128-5138.

[2] Lai S, Jin L. Recurrent adaptation networks for online signature verification[J]. IEEE Transactions on Information Forensics and Security, 2019, 14(6): 1624-1637.

[3] Plamondon R. A kinematic theory of rapid human movements[J]. Biological cybernetics, 1995, 72(4): 295-307.

[4] Song Y, Schwing A, Urtasun R. Training deep neural networks via direct loss minimization[C]//International Conference on Machine Learning. 2016: 2169-2177.

原文作者: Songxuan Lai, Lianwen Jin, Luojun Lin, Yecheng Zhu, Huiyun Mao

撰稿：赖松轩编排：高学

审校：殷飞发布：金连文

重磅！CVer-学术交流群已成立

扫码可添加CVer助手，可申请加入CVer大群和细分方向群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索等群。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群