人脸重建 | 联合局部约束的邻域嵌入人脸超分辨率重建

2018 年 7 月 2 日 中国图象图形学报

引用格式

Huang F Z, Zhou C X, He L W . Face super-resolution reconstruction method based on joint local constraint neighbor embedding[J]. Journal of Image and Graphics, 2018, 23(6): 792-801. 黄福珍, 周晨旭, 何林巍. 联合局部约束的邻域嵌入人脸超分辨率重建[J]. 中国图象图形学报, 2018, 23(6): 792-801.

DOI: 10.11834/jig.170393

原文链接

http://www.cjig.cn/html/jig/2018/6/weixin/20180602.htm

　导语　

现有的基于邻域嵌入的人脸超分辨率重建算法只利用了低分辨率图像流形空间的几何结构，而忽略了原始高分辨率图像的流形几何结构，不能很好地反映高低分辨率图像流形几何结构的关系。如何充分利用原始高分辨率图像空间的几何结构信息呢？

快来阅读这篇论文吧↓↓

专家推荐

本文描述了一个基于联合局部约束的邻域嵌入人脸超分辨率重建方法，它将输入低分辨率图像与低分辨率样本之间的距离作为一项约束，输入低分辨率图像插值得到的初始高分辨率图像与高分辨率样本之间的距离作为另一项约束，希望联合这两项约束来重构几何结构保持的高分辨率图像，体现了一定的创新性。

论文看点

1、针对同一幅图像中的不同图像块选取固定的最近邻数目，从而导致重建质量下降的问题，本文引入自适应邻域选择的方法。

2、相较于传统的基于邻域嵌入的人脸超分辨率重建方法，本文算法在PSNR和SSIM上分别提升了0.39dB和0.02。

本文方法

图1 本文算法流程图

该方法结合待重构图像与低分辨率图像样本库的相似性约束与初始高分辨图像与高分辨率图像样本库的相似性约束，形成约束低分辨率图像块的重构权重，并利用该重构权重估计出高分辨率的人脸图像，同时引入自适应邻域选择的方法。

实验结果

图2 不同图像块大小的PSNR和SSIM

图3 不同方法的平均PSNR和SSIM

在CAS-PEAL-R1人脸库上的实验结果表明，相较于传统的基于邻域嵌入的人脸超分辨率重建方法，本文算法在PSNR和SSIM上分别提升了0.39 dB和0.02。相较于LSR重建方法，在PSNR和SSIM上分别提升了0.63 dB和0.01；相较于LcR重建方法，在PSNR和SSIM上分别提升了0.36 dB和0.003 2；相较于TRNR重建方法，在PSNR和SSIM上分别提升了0.33 dB和0.001 1。

本文重建方法在现有人脸数据库上进行实验，在主观视觉和客观评价指标上均取得了较好的结果，可进一步适用于现实监控视频中人脸图像的高分辨率重建。

扩展知识

基于邻域嵌入的超分辨重建方法

假设高分辨图像块与其对应的低分辨率图像块具有相似的局部几何结构。根据上述假设，求取输入的低分辨率图像块与训练样本库中的低分辨率图像块之间的线性关系，并将其映射到高分辨率图像块上，进而重构出高分辨率的图像块。基于邻域嵌入的超分辨率重建主要分为两部分，样本库的建立和匹配重建。

图4 基于邻域嵌入的图像超分辨率重建流程

参考文献：Chang H, Yeung D Y, Xiong Y M. Super-resolution through neighbor embedding[C]//Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2004: 275-282. [DOI:10.1109/CVPR.2004.1315043]

第一作者

黄福珍，女，副教授，1976 年生。2003 年 12 月毕业于上海交通大学控制理论与控制工程专业，获博士学位。主要研究方向为视觉信息处理、电力系统规划、电力设备状态监测与故障诊断等。参与完成上海市曙光计划项目、教育部博士点基金项目、国家自然科学基金项目、上海市启明星计划等多个科研项目，负责完成上海市教育委员会科研项目一项。发表论文 30 余篇，其中被 SCI 收录论文 4 篇、EI 收录论文 15篇，出版专著 1 部。

E-mail：huangfzh@shiep.edu.cn

通信作者