基于深度学习的图像超分辨率重建

基于深度学习的图像超分辨率重建

超分辨率(Super Resolution,SR)重建技术是指由一些低分辨率(Low Resolution,LR)模糊的图像或视频序列来估计具有更高分辨率(High Resolution,HR)的图像或视频序列,同时能够消除噪声以及由有限检验器尺寸和光学元件产生的模糊,是提高降质图像或序列分辨率的有效手段。深度学习近年来在图像领域发展迅猛,它的引入为单张图片超分辨率重构带来了新的发展前景。本文主要对当前基于深度学习的图片超分辨率重构方法的研究现状和发展趋势进行总结梳理:首先对超分辨问题的原理和发展进行梳理,之后引入基于深度学习的超分辨技术,以卷积神经网络和对抗生成网络为例,对图像超分辨技术在深度学习方面的工作进行分析和总结。


Image Super Resolution Reconstruction Based on Deep Learning

Abstract: Super resolution (SR) reconstruction technology is to estimate the image or video sequence with higher resolution (HR) from some low resolution (LR) blurred images or video sequences, while eliminating noise and blurring caused by limited detector size and optical elements, In recent years, deep learning has developed rapidly in the field of image, In this paper, the current research status and development trend of image super-resolution reconstruction based on deep learning are summarized: firstly, the principle and development of super-resolution problem are sorted out, and then the super-resolution technology based on deep learning is introduced, taking convolution neural network and countermeasure generation network as examples, The work of image super-resolution technology in deep learning is analyzed and summarized

Key words: Image Super-resolution; Deep learning; Machine learning; Convolution Neural Network; Generative Adversarial Network

图像是人类获取信息的重要手段。随着计算机多媒体技术和数字图像处理技术的发展,人们对数字图像的分辨率要求越来越高。高分辨率意味着图像的像素密度高,能够提供更多的图像细节。所谓一图胜千言,随着数字图像处理和传输技术的飞速发展,人们对高分辨率图像的需求日趋提高[1]。高分辨率图像在医疗、生物、遥感等诸多领域有非常广泛的应用。但是由于数字图像的分辨率受限于下面两个因素:

(1)由于图像传感器是由像敏单元阵列组成,这就从原理上决定了数字图像的空间分辨率受限于像敏单元的大小(物理因素);

(2)数字图像的灰度分辨率受成像系统的传递函数影响算法因素。

因此有待于出现一种有效方法来克服这两个限制。超分辨率恢复技术(Super Resolution,简写SR)是目前解决上述问题的最热门的数字信号处理技术,它是指从模糊的低分辨率观测图像(一幅或多幅)来构造出清晰的高分辨率图像的分辨率增强技术,主要涉及图像配准、图像恢复和信息生成与融合三个方面的技术。

1 研究意义及背景

受资金和技术的限制,我们获取的图片在多数情况下难以达到期望的分辨率。然而图像在获取处理过程中受到多方面制约,如数字成像过程中的散焦、衍射等造成的光学模糊[2],快门速度有限造成的运动模糊,传感单元的密度将影响混叠效应,图像感光器内或图像传输过程中的随机噪声等,这些因素都会影响图像的生成质量。因此,寻找一种增强当前分辨率水平的方法是非常必须的。

因此,如何在现有的硬件水平下提高图像的空间分辨率成为亟需解决的一个问题,超分辨技术孕育而生。超分辨率是指从模糊的低分辨率观测图像(一幅或多幅)来构造出清晰的高分辨率图像的分辨率增强技术。该技术采用基于信号处理的软件方法,研究如何从一幅或多幅低分辨率图像中恢复出高分辨率图像。图像超分辨率重建技术是图像处理领域的重要研宄课题,用于从低分辨率恢复重建高分辨率图像,已广泛应用于医学、遥感、安防以及消费电子等应用。

我们选用基于深度学习的算法来进行超分辨的处理,深度学习是一种学习方式,也是一种采用多个非线性信息处理层建模数据中高阶抽象信息的机器学习技术。同时人们对人工神经网络的研究造就了深度学习。深度学习经历过一次没落,随着计算机硬件水平的急速发展,再次进入人们的视线,而且其受关注的另一个原因是这种算法模式的精度针对某些应用,如图像处理、语音识别、人脸识别等,其效果要超过很多目前已有的算法,对于我们所关注的图像超分辨能起到很大的作用,进行超分辨的图像精度更高,对于解放人力、获取更高精度、更小成本的超分辨率图像具有重大的科研价值和应用意义。[3-6]

2 国内外研究现状

图像SR重建技术是计算视觉和机器学习等领域重要的课题,研究者从不同的视角,如信号处理、计算视觉和机器学习等,提出许多代表性的重建方法。早期的图像SR重建方法是以数字信号处理以基础,利用傅里叶变换或者小波变换将图像变换到频域进行HR重建。但是由于频域对图像退化描述不足,导致其不能很好解决复杂退化因素的图像SR重建问题。近年来,随着对图像退化模型研究的深入,图像SR重建的研究逐渐从频域转变到图像空间域,特别是机器学习方法的引入,基于空间域的重建方法表现出更多优势。

分辨率就是图像的像素有多少,对于图像来说,决定着信息的存储量,是衡量图像质量的一个重要指标,同时在应用与处理图像的过程中也是必须要考虑的一个重要参数。在实际应用中,高分辨率的图像往往具有很高的应用价值,而且许多领域在某些情况下对分辨率的要求都是很苛刻的,例如遥感卫星领域和医学领域。

近些年来,国内外图像超分辨研究比较活跃,超分辨率图像重建技术又有了新的进展。于国外来说,Nguyen[7]和Bose[8]等人针对多分辨率思想提出了一些超分辨率重建的建议,在这个基础上Kim[9]提出基于多分辨率思想的超分辨率重建算法;Capel等人[10]提出基于连续全变差模型的文本图像序列超分辨率重建算法,该方法利用双预测适应增强文本图像:在Huber先验估计和使用总变差模的预估正规化的基础的最大后验图,并证明了改进的噪声鲁棒性要优于文献[11]中Irani和Peleg的算法;Farsiu等人[12]提出基于双边全变差模型的快速鲁棒超分辨率算法,该方法在图像超分辨复原过程中抑制噪声影响,而且能锐化图像中的边缘信息;建立了关系模型并利用梯度下降法推导迭代计算公式;另外,IEEE Signal Processing Magazine也专门对超分辨率图像重建的一些算法、技术、概况做了专题报道[13],其中有多篇文献从不同的角度对图像超分辨率技术的历史和发展作了回顾与展望。2015年,Deng xin Dai,Radu Timofte和LucVan Gool提出了联合优化模型的图像超分辨率方法[14-17]。

于国内来说,许多研究院与大学在超分辨率图像复原上的进行研究,其中频谱外推、混叠效应的消除是我国研究的主要部分,其他列如无损检测、成像探测元的阵列改进等方法并不是国内首创,而是对国外某些超分辨率算法的改进,例如韩玉兵等人[18,19]在研究最大后验概率估计以及加权最小二乘之后,提出动态自适应滤波的视频序列超分辨率重建算法;孟庆武[20]基于Gaussian-MRF的图像先验对应关系模型,提出了联合估计帧间位移和高分辨率图像的预估计混叠度MAP超分辨率重建算法;在这方面上,国内研究水平于深度与广度上,与国外相比都存在着一定的差距。

3 图像超分辨率应用状况

超分辨率图像重建技术在以下领域具有十分重要的应用价值和广阔的应用前景:

3.1 视频图像的静止帧

在高速视频图像上,由于人眼瞬间掩盖的视觉效果而使噪声可能不被察觉,但要想从运动的视频图像中获得一幅静止的图像(静止帧或凝固帧),噪声就可以被看到。噪声使图像视觉效果下降,而且可能掩盖了重要的图像细节,所以不适于硬拷贝和打印输出。增强一幅静止帧的输出效果,可以通过超分辨率算法将多幅连续图像合并到一起来做到。为了用隔行视频来获取一幅高质量的打印结果,视频图像需要去隔行和去模糊(消除运动模糊)。它将生成一幅没有运动虚像的更清晰的打印结果。这一技术在视频图像的捕捉方面起到至关重要的作用。

3.2 计算机视觉领域

超分辨率图像重建技术有可能使图像实现从检出水平(detection level)分辨率向 粗 识 水 平 (recognition level) 分 辨 率 的 转 化 , 或 更 进 一 步 实 现 向 细 辨 水 平(identification level)分辨率的转化。超分辨率图像重建技术可提高对图像的识别能力和识别精度,也可以实现目标物的分析,从而可以获取关注区域的更高分辨率的图像,而不必直接采用数据量巨大的高分辨率图像配置。

3.3 卫星遥感应用领域

目前,遥感图像数据量存在着一个“既多又少”的矛盾——获取的数据量多,有用的信息却很少。地球资源卫星每天大约绕地球旋转14圈,18天左右就能对地面同一区域覆盖一次。这样,获得同一地区多次重复的图像数据量是巨大的,但由于成像设备的硬件技术原因,往往得不到想要的更高分辨率图像;同时,由于高分辨率相机造价昂贵,体积和重量都很大。因此,若能利用低分辨率相机成像,再对这些重复图像数据进行超分辨率重建,生成高分辨率图像,便能够降低风险和成本,同时提高现有图像资料的应用价值和军事目标的识别能力。超分辨率图像重建技术采用现有的遥感图像就能够达到所需要的对地物的识别精度。因此过去依靠光学处理图像的领域,正在逐步变成以计算机处理为主流。

3.4 天文学领域

天文学家为了更好地认识和理解宇宙,正努力在他们的天文学图像中寻找更多更好的细节。通过增加望远镜镜面或无线电天线的大小,可以获得较好的细节,或者通过后处理的方法对收集的图像进行细节复原。在有限的预算下,使用后处理技术比建造昂贵的新设备更为实际。

3.5 医学成像领域

医学上不管是基础医学还是临床医学,都需要大量的医学图像处理。人们所熟知的X射线图像、显微镜图像、放射线同位素图像、超声波图像、磁共振成像等各种各样的图像,都成为辅助诊断中模式识别的对象。所以从该领域研究的开始,图像的质量和精度以及图像的重建问题,就已经成为医学图像研究的重要目标之一。尤其是在染色体分析、血球的自动分类、胸部X射线照片的鉴别、眼底照片的处理、利用荧光染料的血管造影分析等方面都有着广泛的应用。CT技术就是利用多方向投影实现断层图像重建的成功实例。由于CT技术的特殊机理,超分辨率图像重建技术可以在该领域获得重要应用。采用超分辨率技术对CT图像的质量改善和变以及图像精度的提高等仍然是今天医学图像处理中正在讨论的课题。

4 图像超分辨率数学模型

由于成像设备和环境的限制,人们获取的图像通常是多种退化因素所导致的低质图像,也称为低分辨率图像。图像SR重建的目标是消除这些退化因素影响,从低分辨率图像中恢复出不受成像系统硬件条件限制和外界环境影响的原始HR图像。因此,对图像成像系统获取图像的过程及其数学描述模型的研究就显得极其重要。图1是考虑到成像设备限制和环境因素影响下,连续场景的成像过程。

图1 成像设备和环境限制下,图像成像过程

Fig.1 The imaging process under the limitation of imaging equipment and environment.


如上述可知,图像成像过程中,受各种环境和设备因素的限制和影响,导致人们观测到的图像都是下采样、模糊、噪声污染的低质图像,如图1.5(d)所示。依据对图像成像设备的物理成像过程的研究,图像成像过程也是原始HR图像退化成包含下采样、模糊和噪声的LR图像,其过程可用式(4.1)描述:

Y=SHx+v (4.1)

其中,Y是表示LR图像,x表示原始的HR图像,v是加性的高斯噪声,S表示下采样算子,H表示为模糊算子。从图像退化的数学模型式(1.1)可知,图像SR重建的是依据观测到的LR图像x,消除由成像系统和成像环境所引起的下采样S、模糊H及噪声v的影响,恢复所期望的HR图像Y。图像SR重建的本质是图像退化正向过程的一个逆向过程,其核心是对反问题的求解。对于一个反问题,只有其解同时满足存在性、唯一性和稳定性,反问题的求解才是适定问题。由图像的退化模型试(4.1)可知,一幅LR图像可能同时受多种退化因素的影响,并且图像SR重建过程中事先并不知道图像的退化是由特定的一种或多种因素引起,所以图像SR重建的解不具备唯一性。即同一LR图像,可能是不同HR图像受不同退化因素引起而来。因此,图像SR重建是一个不适定问题,也称为病态问题,其求解需要引入外部约束和先验,限制其解的空间。

5 深度学习

深度学习是机器学习研究领域中的一个新热点,其动机在于模拟人脑,它建立模型来进行神经网络的分析与学习,并通过模仿人脑的机制来解释数据信息。其目的是通过组合低层的数据特征来形成更加抽象的高层表示(属性类别或特征),以发现数据的分布式特征表示。

神经网络的历史最早可以追溯到上世纪的40年代,然后在20世界的80年代,Rumelhart,Hinton和Williams在《自然》杂志发表了用于人工神经网络的BP(Back-Propagation,反向传播)算法[21],掀起了一阵机器学习的浪潮,但是由于各种原因,神经网络被许多学者放弃。20世纪90年代左右,更多的学者开始采用浅层学习模型,例如SVM(Support Vector Machines,支持向量机),最近邻等分类器,Boosting等。这些模型都曾取得了巨大的成功,但是同时由于理论分析难度大,训练方法复杂,这个时期神经网络陷入了沉寂。最简单的单层前馈神经网络是由F.Rosenblatt提出的[22],但随后M.Minsky等[23]证明只有单层的感知机是无法解决异或线性不可分的问题,这个研究使得人们对神经网络领域的研究陷入了一个瓶颈,之后神经网络领域陷入一个低迷期,一直到有研究人员发现深度多层的感知机可以被用来解决线性不可分问题。

深度学习在图像领域的发展过程中具有重要作用。随着神经网络在图像分类领域的发展,图像超分辨率重构方法也受经典的神经网络模型启发并取得了重大进步。这些方法以标准的卷积神经网络、残差网络ResNet[24]、生成对抗网络GAN[25]及其他网络结构为基础,并针对图像超分辨率重构的特定需求,发展形成了一系列重构效果优异的网络模型。2012年,AlexNet[26]的引入使得图像分类效果有了大幅提升,同时掀起了深度学习的浪潮,超分辨率重构技术引入神经网络之初,即采用了标准的卷积神经网络,构建了SRCNN等经典网络模型;随着卷积神经网络的发展,ResNet、DenseNet[27]等网络模型以及跳跃连接、递归监督等策略解决了深层网络的难以训练的问题,超分辨率重构网络模型也随之过渡到了深度神经网络模型阶段;GAN模型的提出为图片生成提供了思路,同时也为生成高分辨率图像提供了模型基础,应用GAN至图像超分辨率重构技术中,获得了较高的图像视觉质量,成为了基于深度学习的单张图片超分辨率重构的重要组成部分;同时,一些模型采用深度学习策略如密集连接、记忆机制、蒸馏机制、迭代投影等,以实现更好的重构效果。接下来以卷积神经网络和对抗生成网络为例,对图像超分辨技术在深度学习方面的工作进行分析和总结。

6 基于卷积神经网络的超分辨率重建算法

基于卷积神经网络(Convolution Neural Network,CNN)的超分辨率算法可以直接在低分辨率图像块与高分辨率图像块之间建立“端到端”的映射,并且网络采用传统的梯度下降进行训练。网络前层的神经元可以从图像中提取出像素级别的低级特征,后层的神经元利用前层提取到的低级特征合成出一些图像高级特征,从而恢复出图像在降采样中丢失的高频细节信息。本章首先介绍基于卷积神经网络的超分辨率重建技术的模型,然后再介绍它的训练情况。

6.1 网络架构

对于单幅的低分辨图像,首先用双三次插值将其进行三倍放缩,为方便表述,我们将插值后的图像称为X,将原始的高分辨图像记为Y,网络模型的输出结果就是F(X),网络的训练目标就是使恢复出来图像F(X)尽可能的接近于Y。在这里使用Bicubic插值,不仅仅是因为Bicubic插值的效果最好,也为了方便与其他方法进行比较。网络要实现的映射在逻辑上大致可分为特征提取、非线性映射、重建3个部分。首先在输入的低分辨图像上进行卷积以得到一些低分辨特征图,然后在非线性映射部分将这些低分辨特征图映射到高分辨图像块上,最后利用这些高分辨图像块重建出最终的高分辨图像。网络模型结构如图2所示。

(1)图像块提取与表示在低分辨率图像X上按照一定的步长提取出固定大小的低分辨图像块,并将每个图像块都表示为一个高维向量,然后由这些向量组成低分辨图像的特征图,以上过程与卷积操作等价,因此可以使用以下公式表示,其中*表示卷积运算。

C1 =W1* X +B 1 (6.1)

F1(X) =f1(C1) (6.2)

(2)非线性映射

将每个高维向量非线性映射到另外一个高维向量上,这些映射后的向量在逻辑上就是一个高分辨率图像块,这些高维向量组成高分辨图像的特征图。非线性映射过程可以如下公式表示。

C2 =W2*C1 +B2 (6.3)

F2(X) =f2(C2) (6.4)

(3)重建

将高分辨率图像块依照一定的顺序聚合起来,最终得到一副完整高分辨图像。重建操作与卷积等价,因此可以用如下公式表示。

C3 =W2* F2(X) +B2 (6.5)

F3(X) =f3(C3) (6.6)

6.2 目标函数

从刚才的分析中可以看出基于卷积神经网络的图像超分辨的训练过程就是在输入的低分辨图像X与原始高分辨图像Y之间学习一个端到端映射模型F,记映射模型的参数θ={W1,B1,W2,B2,W3,B3},当重建图像F(X;θ)与原始图像F(Y)之间的误差达到预期时,就可以利用学习到的映射F对任给的图像进行超分辨重建。图像在经过处理后,输出的影像都会在某种程度上与原始影像不一样。为了衡量算法处理后的品质,我们通常会使用均方误差来评估处理后的图像与原始图像的偏差。通常偏差越小越接近于原始图像,因此在这里使用均方误差来定义目标函数。给定训练数据集{(x1,y1),...,(xn,yn)},目标函数有如下公式的定义,其中n是训练数据集的样本数。

(6.5)

训练时采用随机梯度下降(Stochastic Gradient Descent)来最小化目标函数。具体步骤如下:首先对网络参数θ进行随机初始化,然后参数θ按照以下更新规则来最小化目标函数:

(6.6)

(6.7)

其中∇wL(w,b)、∇bL(w,b)分别是目标函数关于参数w、b偏导数。

6.3 训练集的构造

先对原始图像Y进行一定倍数的降采样,再使用双三次插值法对降采样图像进行相同倍数的放大以得到与原始图像Y大小相同的图像X。为方便表述,记X为低分辨图像,Y为对应的高分辨图像。然后在低分辨图像X上以固定的步长逐行提取固定大小的低分辨图像块xi,同时在图像Y上与xi的对应位置的中心处也提取图像块作为其目标输出yi,然后将使用低分辨图像块xi与其相应的高分辨图像块yi组合起来构成训练集中的一个样本{xi,yi}。给定一个图像集,按照以上步骤,可以构造出数据-标签对这种结构的训练数据集{(x1,y1),...,(xn,yn)}。图2展示了其中一个训练样本的构造过程,其中虚线框为参考位置,实线框为实际的提取范围。

图2 数据集构造示意图

Fig.2 Schematic diagram of data set construction



7 基于生成对抗网络的图像超分辨算法

7.1 引言

由于基于CNN的超分辨重建算法是以PSNR作为优化目标,而PSNR则是对两幅图像进行逐像素计算误差。这种基于像素级别的误差评定,忽略了人眼的视觉感受,造成最终的重建图像虽然具有较高的PSNR值,但缺乏良好的视觉效果。因此本章将生成对抗网络引入到图像超分辨问题的处理当中,对对抗生产网络的基本知识进行梳理,。

7.2 生成对抗网络基本模型

生成对抗网络GAN[28](Generative Adversarial Networks,GAN)是当前热门的一种网络架构,其基本思想来自博弈论中的零和博弈,GAN模型中则由生成器(Generator)和判别器(Discriminator)来充当博弈双方。生成器用于捕捉真实数据样本的潜在分布,并生成新的数据样本,同时使生成的数据样本总是尽可能地接近于真实样本。判别器是一个二分类器,用于计算所接收到的输入属于真实数据样本的概率。因此,判别器需要尽可能正确地判别输入数据的类别,即输入数据来自于真实数据,还是由生成器所生成出来的。这样,整体训练的过程就变成了判别器和生成器两方博弈的过程。同时,博弈双方需要不断调整各自的参数,以提高自身的生成能力或判别能力。整个参数调整的过程就是在二者之间寻找一个纳什均衡[29]。我们用G和D来分别表示生成器和判别器,用G(z)表示由生成器生成的样本。如果判别器D的输入来自真实数据x,则标注为1;如果判别器D的输入来自生成样本为G(z),则标注为0。而生成器G的目标是使自己生成的数据G(z)在判定器上的表现D(G(z))和真实数据x在D上的表现D(x)尽可能地一致。这两个相互对抗并迭代优化的流程如图3所示:


图3 GAN网络模型结构示意图

Fig.3 GAN network model structure diagram


7.3 网络结构

基于生成对抗网络的超分辨率重建模型主要由生成器和判定器组成,其示意图如图4所示。在训练阶段,低分辨率图像先经由生成器而生成超分辨率图像,然后由判别器对生成器所生成的超分辨率图像进行判别,判断所生成的图像是否为真实图像,如果判定结果为真,则输出重建后的高分辨率图像。否则调整生成器的参数使之生成的图像尽可能使判定器的输出结果为真。当训练完成后就可以对新输入的图像进行超分辨率重建。


图4 超分辨重建网络示意图

Fig. 4 Schematic diagram of super resolution reconstruction network


7.3.1生成器的结构

生成器用于提取低分辨率图像中的高频信息,这些特征信息将应用在插值图像的重建中。生成器的中间层使用大小为3×3的卷积核,并使用K-近邻插值算法进行上采样,由于输入到网络中的图像并没有进行上采样,因此网络的计算开销将大为降低,为了使网络训练的过程收敛的更加平稳,我们在上采样之前的网络层中设置4个残差块(Residulblock)。

7.3.2判定器的结构判定器

用于判断所接收到的输入图像是来自于真实数据还是由生成器所合成的,因此判定器实际上是一个二分类器。由于判定器的作用是分类。因此,我们采用与VGG[30]类似的网络结构,即在卷积层中使用大小为3×3的卷积核,激活函数使用LeakyReLU。最后在输出层增加2个全连接层,激活函数采用Sigmoid,最后输出层所输出的概率值作为分类标签。

GAN通过生成模型产生高分辨率的图像来迷惑判别模型,随着判别模型的学习加深,生成模型就能生成更高分辨率的图像。与传统方法比,GAN生成的图像具有更丰富的细节。SRGAN(super-resolution generative adversarial network)[31]是GAN在图像超分辨率应用上的一个成功案例。SRGAN基于相似性感知方法[32]提出了一种新的损失函数,有效解决了恢复后图像丢失高频细节的问题,并使人能有良好视觉感受。SRGAN从特征上定义损失,它将生成样本和真实样本分别输入VGG-19网络,然后根据得到的特征图的差异来定义损失项,最后将对抗损失、图像平滑项(生成图像的整体方差)和特征图差异这3个损失项作为模型的损失函数,得到了很好的效果。

References:
[1] 张春田, 苏育挺. 数字图像压缩编码/信号与信息处理丛书[M]. 清华大学出版社有限公司, 2006.
[2] Xiao C, Yu J, Xue Y. A high-efficiency super-resolution reconstruction algorithm from image/video sequences[C]//Signal-Image Technologies and Internet-Based System, 2007. SITIS'07. Third International IEEE Conference on. IEEE, 2007: 573-580.
[3] 邓宗权. 刑侦数字影像处理系统的设计[D]. 天津大学, 2013.
[4] Ashikaga H, Estner H L, Herzka D A, et al. Quantitative assessment of single-image super-resolution in myocardial scar imaging[J]. IEEE journal of translational engineering in health and medicine, 2014, 2: 1-12.
[5] Pan Z, Yu J, Huang H, et al. Super-resolution based on compressive sensing and structural self-similarity for remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(9): 4864-4876.
[6] Lei S, Shi Z, Zou Z. Super-resolution for remote sensing images via local–global combined network[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(8): 1243-1247.
[7] Nguyen NX. Numerical algorithms for image superresolution[J]. California: Stanford University, 2000.
[8] Bose NK, Lertrattanapanich S, Chappalli MB. Super-resolution with second generation wavelets[J]. Signal Processing: Image Communication, 2004,19:387-391.
[9] Kim H, Hong KS. Variational approaches to super-resolution with contrast enhancement and anisotropic diffusion[J]. Journal of Electronic Imaging, 2003,12(2):244-251.
[10] Capel D, Zisserman A. Super-resolution enhancement of text image sequences[A]. In: Proceedings of 15thInternational Conference on Pattern Recognition. Washington DC: IEEE Computer Society, 2000, 600-605.
[11] M.Irani, S.Peleg. Improving Resolution by Image Registration.CVGIP Graphical Models and Image Processiag,1991,53(3):231-239
[12] Farsiu S, Robinson MD. Fast and robust multiframe super resolution[J]. IEEE Transactions on Image Processing,2004,13(10):1327-1344.
[13] Ng MK, Bose NK. Mathematical analysis of super resolution methodology[J]. IEEE Signal Processing Magazine,2003,20(3):62-74.
[14] Sigil CA, Molina R, and Katsaggelos AK. High-resolution images from low-resolution compressed video[J].IEEE Signal Processing Magazine,2003,20(3):37-48.
[15] Rajan D, Chaudburi S, and Joshi MV. Multi-objective super resolution: concepts and examples[J]. IEEE Signal Processing Magazine, 2003, 20(3):49-61.
[16] Park SC, Park MK, and Kang MG. Super-resolution image reconstruction–a technical overview[J]. IEEESignal Processing Magazine, 2003,20(3):21-36.
[17] Dai D, Timofte R, Gool L V. Jointly Optimized Regressors for Image Super-resolution[J]. 2015, 34(2) :95–104.
[18] 韩玉兵,陈小蔷,吴乐南.一种视频序列的超分辨率重建算法[J].电子学报,2005,33(01):126-130.
[19] 韩玉兵,吴乐南.基于自适应滤波的视频序列超分辨率重建[J].计算机学报,2006,29(04):642-647.
[20] 孟庆武.预估计混叠度的 MAP 超分辨率处理算法[J].软件学报,2004,15(02):207-214.
[21] D.E.Rumelhart, G.E.Hinton, and R.J.Williams, “Learning representations by back-propagating errors,” Nature,vol.323, no.6088, pp.533–536,1986.
[22] LeCun Y,BOSER B,DENKER J S,etal. Handwritten digit recognition with a backpropagation network[C].Advances in Neural Information Processing Systems.SanFrancisco, CA: Morgan Kaufmann Publishers,1990:396-404.
[23] LeCun Y,BOTTOU L,BENGIO Y,etal. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE,1998,86(11):2278-2324.
[24] He K M, Zhang X Y, Ren S Q. Deep residual learning for image recognition. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: CVPR, 2016. 770−778
[25] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, WardeFarley D, Ozair S. Generative adversarial networks. Advances in Neural Information Processing Systems, 2014: 1110−1121
[26] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of International Conference on Neural Information Processing Systems. Nevada, USA: NIPS, 2012. 1097−1105
[27] Huang G, Liu Z, Maaten L. Densely connected convolutional networks. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hawaii, USA: CVPR, 2017. 2261−2269
[28] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.
[29] Ratliff L J, Burden S A, Sastry S S. Characterization and computation of local nash equilibria in continuous games[C]//Communication, Control, and Computing (Allerton), 2013 51st Annual Allerton Conference on. IEEE, 2013: 917-924.
[30] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
[31] Ledig C, Theis L, Huszar F, et al. Photorealistic single image superresolution using a generative adversarial network[J]. arXiv:1609.04802, 2016.
[32] Alexey D, Brox T. Generating images with perceptual similarity metrics based on deep networks[J]. arXiv:1602.02644, 2016.

Cloudboxer专业软件开发商,官方网址:cloudboxer.cn,联系我们:cloudboxer@yeah.net

发布于 2021-01-02 20:45