光学 精密工程  2018, Vol.26 Issue (11): 2814-2826   PDF    
基于自相似性与多任务高斯过程回归的单帧图像超分辨率重建
李键红1, 吴亚榕2, 吕巨建3     
1. 广东外语言外贸大学 语言工程与计算实验, 广东 广州 510006;
2. 仲恺农业工程学院 仲恺科技服务公司, 广东 广州 510225;
3. 广东技术师范学院 计算机学院, 广东 广州 510665
摘要: 在单帧图像超分辨率问题中,基于高斯过程回归的超分辨率算法没有挖掘相似图像片间的关联关系或者无差别地用相似图像片来扩充训练集合,都会导致重建的高分辨率图像中存在明显的噪声和伪影。对此提出了一种基于多任务高斯过程回归的超分辨率算法。该算法通过引入多任务学习思想,将输入的低分辨率图像进行分片处理,把每一个图像片的超分辨率过程视为一个任务。在对相似任务建模的过程中,通过最优化求解的参数集合来体现任务间的共性及差异,从而使模型的泛化能力和预测精度得以提高,在重建高分辨率图像清晰锐利的同时,噪声和伪影受到明显抑制。用常见的测试图像以及公开的图像测试集合进行的大量试验表明该算法在主观评价和客观评价两个方面均优于同类型算法及当前经典算法,峰值信噪比较其它常见超分辨率算法可提高约0.5 dB。
关键词: 单帧图像超分辨率      多任务学习      高斯过程回归      图像自相似性      最优化估计     
Single image super-resolution reconstruction algorithm based on image self-similarity and multi-task Gaussian process regression
LI Jian-hong1 , WU Ya-rong2 , LÜ Ju-jian3     
1. Laboratory of Language Engineering and Computing, Guangdong University of Foreign Studies, Guangzhou 510006, China;
2. Science and Technology Department, Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China;
3. School of Computing, Guangdong Polytechnic Normal University, Guangzhou 510665, China
*Corresponding author: WU Ya-rong, E-mail:wyrljh@163.com
Abstract: In the domain of single image super-resolution, algorithms based on Gaussian process regression neither exploit the association relationships among similar patches, nor do they discriminate between these patches with similar properties to augment the volume of the training set, which leads to obvious noise and artifacts in reconstructed high-resolution images. To overcome this problem, a new super-resolution algorithm based on multi-task Gaussian process regression is proposed. This algorithm introduces the idea of multi-task learning to partition the input low-resolution image into overlapped patches and considers the super-resolution process of each patch as a task. In the process of modeling similar tasks, the parameter set obtained by optimal solving for representing the commonness and difference gives generalization ability, improves prediction accuracy improved, makes the reconstructed high-resolution image clear and sharp, and suppresses noise and artifacts significantly. A large number of experiments to process common testing images and a public image test set subjectively and objectively demonstrate that this algorithm is superior to similar state of the art algorithms, and the peak signal to noise ratio is approximately 0.5 dB higher than that of other common super-resolution algorithms.
Key words: single image super-resolution     multi-task learning     Gaussian process regression     image self-similarity     optimal estimation    
1 引言

图像超分辨率(Super-Resolution,SR)是指利用已获取到的一幅或多幅同一场景的低分辨率图像,通过软件计算的方式得到一幅分辨率高于任意一幅输入图像、且能够显示更多细节信息的高分辨率图像。在实际应用中,输入图像仅为一帧的情况具有更普遍的意义,即单帧图像超分辨率(Single Image Super-Resolution,SISR)重建算法。已有的SISR算法大致可分为三类:基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法通常假定图像在局部结构上是分片平滑的[1-2],基于这一假设,将低分辨率图像中的像素点映射到高分辨率图像网格中,然后用插值核来逼近高分辨率网格中的像素点,使得离散的图像变为连续的曲面,进而在连续曲面中估计出未知点像素值。这类方法简单、高效,缺点在于不能恢复图像在降质过程中丢失的高频信息,在图像显著边缘位置容易产生模糊和噪声。

基于重建的方法将图像超分辨率过程视为一个病态逆问题。在求解的过程中要求得到的高分辨率图像在通过图像降质模型处理后,其结果与输入的低分辨率图像尽可能相似,同时要求得到的高分辨率图像满足指定的先验知识。常见的先验知识包括:总变分模型[3]、梯度直方图[4]、边先验[5]等。这些先验知识往往是通过大量统计或直接观察高分辨率图像的边缘而来,因此对于图像中边缘的处理有着很好的效果,然而当放大倍数增大时,先验知识所能提供的有效信息越来越少,高频信息的恢复能力在很大程度上受到制约。

基于学习的超分辨率算法使用输入图像外界收集到的高分辨率图像建立学习集,尝试找到高/低分辨率图像的映射关系,使先验知识以一种隐含的方式包含在映射关系当中,最后利用这种映射关系来求解高分辨率图像。

Yang等[6-7]提出了基于稀疏表示的超分辨率算法,将训练集合中的高/低分辨率图像片进行联合训练,得到两个对应不同分辨率的字典,先使用低分辨率字典得到输入图像片的稀疏系数,再利用高分辨率字典和稀疏系数恢复对应的高分辨率图像片。然而这一方法在求解稀疏系数的过程中,会以一种近似随机的方式来选择字典中的‘原子’,这种方式往往会使字典中与输入图像片差异很大的‘原子’参与到拟合中来,使重建结果在显著边缘附近存在噪声[8]。针对这一问题,Dong等[9]提出了自适应稀疏域选择算法,在训练字典的过程中,对图像数据集合做预分类处理,每一类数据构建一个字典。在重建步骤中,选择与输入图像片结构最为接近的一类字典来求取稀疏系数。这种方式在一定程度上缓解了显著边缘附近存在噪声这一问题。近年来,深度学习也被应用到超分辨率中来[10-14],但深度学习需要借助大量的图像样本进行复杂训练才能确定各个神经节点的权值。这种训练异常耗时,通常需要借助图形处理器加速完成。随着算法的日益复杂,基于样本学习的方法对所需样本的数量也呈现出指数级的增长趋势,这对普通用户是一个极大的挑战。因此近年来,基于自相似性的超分辨率算法日益引起了人们的兴趣。

图像自相似性指的是对于绝大多数的自然图像,当考察小的局部时,每一个小局部即图像片在这幅图像自身的其他位置或在其他尺度内都极易找到与之相似的图像片。基于自相似性的超分辨率算法利用图像的自相似性,用输入图像本身构造训练集合,求取高分辨率图像。Glasner等[15]首次利用自相似性,将图像自身重复出现的图像片视为来自同一场景的图像,利用多帧图像超分辨率的方法构建高分辨率图像片。Yang等[16]把超分辨率重建看作一个回归问题,对回归函数进行泰勒展开,在结果中找到了更多的高频信息,但这种方法在确定回归函数的过程中摆脱不了对外界数据的依赖,导致算法的复杂度增加。He等[17]为了解决自相似性算法中的小样本问题,引入了高斯过程回归(Gaussian Process Regression,GPR)这一工具。GPR算法首先将图像分片处理,为每一个图像片构建训练集合,训练GPR参数,然后用输入图像双三次上采样结果的对应区域构造测试集合,代入到GPR模型中,得到高分辨率图像片。显然在这一方法中待放大的图像片之间是独立的,并没有挖掘图像片间的关联关系,同时由于该算法只用图像一个小区域进行训练,参与计算的有效样本不足,这导致在重建结果中存在明显的噪声和伪影。针对这一算法的改进算法[18-21],利用图像的自相似性调整每个训练集合的样本数量,而样本内容或相似图像片间的差异却并未被考虑,因此没有从根本上解决问题。Huang等针对利用自相似性的超分辨率算法样本不足这一问题,提出了一种通过对待放大图像片做空间几何变形的办法来扩充图像片的样本空间。这一算法对结构性明显的城市街区图片有着明显的质量提升,但对于自然风景、人物等图片,其重建图像的边缘仍然存在着噪声。

本文提出了一种基于多任务高斯过程回归(Multi-Task Gaussian Process Regression,MT-GPR)的图像超分辨率算法。该算法通过一系列参数来描述相似图像片超分辨率过程的共性及差异,使得这些相似图像片的超分辨率过程在能保持自身特性的同时又可“互通信息”,从而提高重建图像的质量。

首先,该算法把多任务学习的思想引入到图像超分辨率重建过程中来,将每一个低分辨率图像片的超分辨率过程视为一个任务,利用任务间的共性和差异来提升算法的泛化能力和和预测精度,使得图像的超分辨率质量得以提高。

其次,该算法无需外界任何信息辅助,仅利用自相似性质,通过输入图像本身构造训练集。同时,该算法并不是利用相似图像片对训练集的简单扩充,而是对这些相似图像片的共性和差异进行建模。通过查阅文献,我们发现截至目前这一方式在已有的超分辨率算法中未曾使用过。

最后,这一算法无需人工设置任何参数,所有参数都以最优化的方式求解,且原理简单,易于操作,可在很多实际场景中加以应用。

2 高斯过程回归

近年来,随着计算机计算能力的增强,高斯过程回归引起了人们的重视,并逐渐在计算机视觉、图像处理领域中得到应用[22-25]。一般的回归问题通常需要指定函数f(x)的具体形式,如二次方程式或多项式。如果指定函数f(x)的形式与观察数据集合相匹配,用户就能够从函数f(x)中得到高质量的解,反之,如果指定的函数f(x)的形式与观察数据集合不匹配,用户所得到的解就不准确。因此,回归函数形式的选择在回归问题中就显得非常重要。高斯过程回归能够以隐含的形式表示回归函数,让数据本身来确定函数,是能够在高维空间准确近似映射函数的一个有力工具。

给定带标签的数据点集合{xiyi}i=1n,其中xiRd,对应的输出yiRn为数据集合中样本点的总个数。在这样的数据集合下,高斯过程回归模型由它的均值向量和协方差矩阵唯一确定,即:

(1)

其中:X是由数据集{xi}i=1n构造的设计矩阵(Design Matrix),它的第i行输入向量与数据点xi对应。f是一个由函数值构成的向量,第i个元素的值是f(xi),K(XX)表示设计矩阵X的协方差矩阵,尺寸为n×n。协方差矩阵K的第i行第j列位置的元素为Kij=k(xixj),k是核函数。

在高斯过程回归模型中,假定由函数值f(xi)构造的输出向量f(X)=[f(x1),f(x2),…,f(xn)]T符合高斯过程,向量Y=[y1y2,…,yn]T表示带噪声ε的标签集合构成的向量,其模型表达式如下:

(2)

其中:0n表示维度为n0向量,σ2用于表示标签集合的噪声方差,In表示尺寸为n×n的单位矩阵。给定用于测试的设计矩阵X*,那么训练标签向量Y和测试输出f*的联合概率分布就可以表示为:

(3)

其中XX*分别是给定的训练数据和测试数据构造的设计矩阵。根据公式(1)能够得到测试输出f*的概率分布:

(4)

其中:表示f*的估计值,V(f*)表示测试数据集的协方差矩阵,具体形式如下:

(5)
(6)

在式(5)和式(6)中,矩阵K(X*X)、K(XX*)以及K(X*X*)的运算方式与K(XX)相同。公式(6)表明预测向量中的每一个元素都由训练标签向量Y中的元素加权而来。一般来说,高斯过程回归暗含着“相近的输入产生相似的输出”这一假设,因此训练数据集合中的样本点和测试数据点结构越相似被赋予的权值就越高。

高斯过程回归的性能主要取决于核函数形式的选择和参数的求解。高斯过程回归是典型的贝叶斯核方法,和其他的核方法相比较,它的一个很大的优点就是所有的模型参数都能够在学习过程中自动地最优化求解,避免了用模型选择的方法多次训练带来的高时间复杂度。本文将高斯过程回归中的核函数设定为高斯核函数:

(7)

其中:exp代表指数操作,σf2表示信号方差(Signal Variance),l2用于定义特征尺度(Characteristic Length Scale)。高斯过程回归中的学习过程其本质就是如何最优化的求取协方差函数中的参数θ={σflσ}。经验贝叶斯理论通过最大化边界似然函数为参数的最优化求解提供了一个高效的工具。在高斯过程回归模型中,边界似然函数为:

(8)

根据式(1)可知p(Y|f)~N(fσ2I),在高斯过程先验下,p(f|X)~N(0K),其中KK(XX)的简写。求解积分式(6),可以得到关于θ的对数似然函数:

(9)

其中:KY表示标签向量Y的协方差矩阵K(XX)+σ2I。在式(7)中,对θ中的每一个元素求偏导,其形式如下:

(10)

其中:L表示对数边界似然函数,tr表示求解矩阵的迹操作,θi表示集合θ中的第i个元素。对于不同θi的偏导数,用梯度下降法求解它的最优值。

3 多任务高斯过程回归图像超分辨率

基于高斯过程回归的图像超分辨率算法首先将图像有重叠的分成图像片,对于每一个图像片,利用这个图像片的不同尺度的结果来构造训练集合,训练高斯过程回归模型参数,然后用这个图像片的上采样结果构造测试集合,并作为该高斯过程回归模型的输入,以逐点的形式求解出这个输入图像片所对应的高分辨率图像片。可以发现在这种方法中,待放大的图像片之间是完全独立的,即一个图像片可以在不与其它任何图像片产生关联的情况下独立完成超分辨率过程(如图 1左侧所示)。然而,实际的情况是大多数自然图像内部存在着极强的自相似性,即图像片在图像本身的其他位置或同一幅图像的不同尺度间存在着大量重现。本节将利用这些相似的片构造训练集合,通过多任务学习这一工具使得相似的图像片间能够“互通信息”,以提高重建超分辨率图像的质量(如图 1右侧所示)。

图 1 高斯过程回归与多任务高斯过程回归在超分辨率重建中的差异 Fig.1 Difference between SR algorithms based on GPR and MT-GPR

左侧为高斯过程回归(GPR)算法[17],所有图像片都在同一个函数下进行超分辨率;右侧为本文的多任务高斯过程回归算法,相似图像片的超分辨率过程用{θφμρ,{σi}}来描述。

3.1 问题构造

本节将讨论如何把多任务学习思想应用到图像的超分辨率重建中。图 2是我们方法的框架示意图。如图 2所示,L0RK1×K2是一幅尺寸为k1×k2的低分辨率输入图像.对它进行低通滤波处理,得到输入图像的低频成分L1RK1×K2,然后将L0用双三次插值方法上采样s倍,得到图像H1Rsk1×sk2,假定H0是未知的高分辨率图像。实际上,H1可以近似看作高分辨率图像H0的低频成分。图像超分辨率重建的目标就是利用已知的L0L1建立图像低频成分到高分辨图像的映射关系函数,将H1代入到该关系函数中来估计未知的高分辨率图像。然而,由于图像自身内容多样,这种直接的映射关系往往极难找到。为了解决这一问题,通常人们将图像有重叠的分割成小图像片,对任意一个图像片而言,它的内容变得简单,且易于在图像自身尺度内重复出现,这种映射关系也相对容易被发现。

图 2 基于多任务高斯过程回归的图像超分辨率算法框架 Fig.2 Framework of MT-GPR based SR algorithm

接下来,将低分辨率输入图像L0和它的低频成分L1有重叠的分割成尺寸为a×a的图像片,对两幅图像中对应位置的一对图像片而言,应该存在一个映射函数,使得L1中的图像片通过该映射函数转换成L0中对应位置的图像片,进而把找到映射函数的过程看作一个有待完成的任务。L0中的每一个图像片都可以在L0所构成的图像片集合中找到包含它自身在内的k个最近邻域pi(i=1,…,k)。在这k个图像片中,对于每一个图像片pi,抽取像素点yijij分别表示第i个图像片中的第j个像素点。对于每一个像素点yij,抽取L1对应位置处的特征向量xij。为便于处理,抽取的特征向量为对应像素点位置的八邻域。排列所有特征向量构造第i个任务的数据矩阵Xi=[xi1xi2,…,xini],ni是在图像片pi中抽取的像素点个数,链接这k个任务的数据矩阵,得到X=[X1X2,…,Xk],其中X中特征向量的总个数。第i个任务中抽取的像素点排列成列向量为Yi=[yi1yi2,…,yini]T,连结所有列向量得到Y=[Y1TY2T,…,YkT]T。实际上Y相当于X的标签。进而图像片pi的超分辨率重建过程转换成了寻找XiYi映射的任务。找到映射函数后,将这个片对应的位置在H1中找到,对该图像片的每一个像素点同样用这个像素点的八邻域构造特征向量,链接特征向量构造数据矩阵X*,将X*代入到映射函数后得到对应的超分辨率图像片的估计,最后对输入图像中的所有图像片进行上述操作(重叠位置取所有重叠片的均值作为最终结果)得到超分辨率图像H0。最后,将H0通过反向映射操作,以确保重建的超分辨率图像与输入的低分辨率图像在内容上保持一致。

3.2 多任务高斯过程回归模型

对于每一个待放大的图像片pi,在多任务框架下考虑它的放大过程,找到包含这个图像片在内的k个最近邻域后,构造多任务学习框架中的输入矩阵X和对应的目标向量Y。对于输入矩阵中的每一个数据点xij,与之对应定义一个隐藏变量fij,假定f=[f11,…,f1n1,…,fk1,…,fknk]满足高斯过程,即:

(11)

其中:K即为前述的参数为θ的协方差矩阵。在现实环境中,标签向量Y通常不满足高斯过程的假定,同文献[26-27]类似,引入隐藏变量zij,令zij=g(yij),g是用参数φ刻画的函数,它的具体形式在实验部分给出。z=[z11,…,z1n1,…,zk1,…,zknk]的先验概率分布定义为:

(12)

其中:D是一个对角矩阵,当特征向量xij属于第i个任务的时候,Dii=σi2σi用于描述噪声的等级,这与高斯过程回归模型有这本质的区别。在高斯过程回归模型中,所有的数据点有着相同的噪声等级σ,在多任务高斯过程回归模型中,不同的任务所对应的噪声等级是不同的,而后一种假设显然更符合实际应用中遇到的问题。多任务学习指的是利用任务间的相互关系来提高回归函数的泛化能力。本文用到的数据源自k个内容相似的图像片,显然这k个任务间存在着极强的共性,因此对{σi}i=1k施加一个对数高斯先验,以确保他们彼此之间差异不会过大。

(13)

其中LN(μρ2)表示对数高斯分布,它的概率密度函数表示如下:

(14)

对数高斯分布的本质是对{ln σi}i=1k施加一个高斯先验。至此,通过式(11)、式(12)和式(13)就能定义出整个多任务高斯过程回归模型。其中θφμρ用来刻画这k个由最近邻域图像片构造的任务得共性,称之为全局参数,对于不同的任务,用于描述它的噪声等级的参数σi是存在差异的,称之为专用参数。第i个任务的超分辨率过程如图 3所示,其中虚线框外的是全局参数,虚线框内是用于描述第i个任务的求解步骤。根据式(11)和式(12)能够推导出:

(15)
图 3 多任务高斯过程回归算法图模型 Fig.3 Graphical model of multi-task Gaussian process regression

代入zij=g(yij)和p(σi)~LN(μρ2),训练数据的回归函数能够写成为:

(16)

其中g(Y)=[g(y11),…,g(y1n1),…,g(yk1),…,gnkyk]。

3.3 模型参数学习

在式(16)中,希望通过最大化回归函数来获得涉及参数的最优值,为了获得稳定的最优解,将方程等价变换,即对回归函数做负对数操作,然后求解变换式的最小值来求取参数的最优解。变换式如下:

(17)

用梯度下降法求解式(17),方程中所涉及的参数的导数如式(18)~(22):

(18)
(19)
(20)
(21)
(22)

式(18)中INi表示一个N×N的0-1二值矩阵,当数据点属于第i个任务的时候,对应的对角元素设置为1,其余情况设置为0。φq是参数φ的第q个元素。函数g的形式为aln(bx+c)+d,其中abcR+dR,进而φ的向量形式为φ=[abcd]T

由于整个模型参数的数量过多,采用迭代的方法来最小化式(17)。初始化参数值后,先固定θφμρ,用梯度下降法计算{σi}i=1k并更新,继而固定{σi}i=1k,仍然采用梯度下降法求解参数θφμρ并更新。两个步骤交替进行,直至收敛。整个参数求解的过程如算法1所示。

3.4 超分辨率图像重建

对于L0中每一个待放大的图像片,在训练完成多任务高斯过程回归模型后,按照位置对应关系在H1中找到与之对应的图像片,对这个图像片中的每一个像素点抽取其八邻域构造特征向量并排列成输入矩阵X*。定义z*=g(Y*)。虽然无法估计输入矩阵X*对应任务的噪声等级σ*,但可以得到zz*的联合概率密度估计。

算法1:Parameters of MT-GPR model
Input: small image L1
Output: the parameters {θφμρ,{σi}}
1:  Function {θφμρ,{σi}} = Training(L1)
2:    Partitioning L1 into n patches p1,…,pn
3:    for t=1:n do
4:      Sampling pixel in patch pt to obtain yt;
5:        Extracting the feature Xt in pt for each element in yt
6:    end for
7:    Concentrating all yt and Xt separately to get the training set {Xiyi}i=1n
8:    Calculating the parameters {θφμρ,{σi}};
9:    return {θφμρ,{σi}};
10:end function

算法2:SISR using MT-GPR
Input: small image L1
Output:HR image H1
1:  H0 = Bicubic (L1);
2:  {θφμρ,{σi}}=Training(L1)
3:  [MN]= size(H0);
4:  for i = 1:M do
5:    for j=1:N do
6:      Extracting feature vector of the pixel pij in X*;
7:      Calculating the predictive value;
8:      Saving the predictive value in H1(ij)
9:    end for
10:end for
11:return H1
(23)

其中:K*=K(XX*),K**=K(X*X*),与K(XX)的计算方式类似。预测分布p(z*|X*XY)仍然符合均值向量是m*,协方差矩阵式P*的高斯分布,其中m*P*的表达式为:

(24)
(25)

基于最大概率的考虑,把m*作为z*的预测值。由式(24)可以看出m*σi是彼此独立的。因为真实环境中对任务的分类是很困难的,而多任务高斯过程回归模型对于任何一个新的测试数据点都无需确定它属于哪一个任务,这成为该方法的一个显著优势。根据Yz的关系z=g(Y)和z*=g(Y*),高分辨率图像片Y*的估计值可以表示为:

(26)

其中g-1(·)表示对向量中的每一个元素求反函数。遍历L0生成的图像片,估计出整幅图像H0。估计超分辨率完整过程如算法2所示。

4 实验结果及分析 4.1 参数设置

本文选取BSD500 (Berkeley Segmentation Dataset 500)数据库的部分图像和在图像处理领域一些常见的图像作为原始的高分辨率图像,并对它们做双三次下采样操作,得到算法的输入图像L0,对输入图像做标准差为0.5的高斯低通滤波操作,得到它的低频近似成分L1,对这些输入图像进行双三次上采样操作,得到原始高分辨率图像的低频近似成分H1,把L0L1H1代入到多任务高斯过程回归模型,得到高分辨率图像的估计结果H0,将估计结果和原始的高分辨率图像过视觉观察或PSNR、SSIM等方式的比较来判断估计结果的质量对于较大的放大倍数,算法先将输入图像放大2倍,然后将2倍的结果作算法的输入继续用该算法处理,直到得到目标放大倍数。对于彩色图像而言,算法先将彩色图像转换到图像的YUV空间,由于人眼对亮度通道更加敏感,因此对图像的亮度通道用该算法处理,对于人眼不那么敏感的颜色通道UV,用双三次上采样的方法直接放大到目标倍数。

4.2 实验结果

对输入的低分辨率图像分片化处理时,抽取的图像片尺寸a对重建高分辨率图像的质量有着重要的影响。若图像片选取过小,在查找最近邻域的过程中,容易引入误差,同时每一片所构造的样本数量也较少,不能够充分发挥多任务模型的优势;若图像片选取过大,除了需要进行复杂的计算查找最近邻域外,还容易引入差异较大的任务,影响图像的重建质量。本文在BSD500数据库中随机抽取两组数据,每组包含10幅图像,把抽取图像片尺寸设定16×16、24×24、…、72×72分别用多任务高斯过程回归模型的超分辨率进行3×放大处理,并分别计算两组数据的PSNR、SSIM的平均值,结果如图 4所示。由图 4可以发现,两组图像的变化趋势大致类似,在图像片尺寸设定为40×40时,评价图像质量的参数PSNR以及SSIM取得了最大值,因此在下述的实验中每一幅图像抽取的图像片尺寸均设定为40×40。

图 4 抽取图像片尺寸与图像超分辨率质量关系 Fig.4 Relationship between size of extracted patch and quality of reconstructed SR result

图 5图 6给出了一些实验对比结果,图 5中给出了当前典型的基于自相似性质的超分辨率算法和我们算法的对比结果,其中双三次方法没有利用图像的自相似性质,但它在放大图像的过程中没有用到外界信息,将双三次的放大结果也在此类中给出。图 6中给出了一些利用外界训练图像进行超分辨率的前沿算法和本文算法的比对结果。

图 5 基于自相似性质算法将图像放大3倍结果比较 Fig.5 Comparisons of 3×super-resolution results on these algorithms based on the property of self-similarity

图 6 通过外界图像训练集的算法和本文算法放大4倍结果比较 Fig.6 Comparisons of 4×super-resolution results with the algorithms based external training set

图 5顶端列出了图像“koala”放大3倍的结果,图像“koala”包含丰富的纹理信息,从胳膊位置的局部图可以看出,双三次方法和GPR方法[17]产生的结果都较为模糊,而Glasner方法[15]、Self-Ex方法[31]和本文方法对图像纹理信息做到了很好地保持。图 5第二排是“girl”图像放大3倍的比较结果,图像“girl”既有纹理信息又包含边缘、结构等复杂的内容。从结果来看,双三次方法和Glasner方法[15]结果比较模糊,Self-Ex方法[31]和GPR方法[17]在眼睛位置处引入了大量的噪声,影响了图像的质量,本文方法对眼睛位置边缘和结构信息都起到了很好的放大效果。图 5第3排是图像“chip”放大4倍的比较结果,图像“chip”包含锐利的边缘且边缘的方向各异,双三次方法得到的结果仍然存在模糊,Glasner方法[15]和GPR方法[17]的结果存在伪影,其中GPR方法[17]的伪影较为严重,以至于影响了图像内容,Self-Ex方法[31]和本文方法取得了很好的效果。图 5第四排列出了图像“baby”放大4倍的比较结果,图像“baby”内容复杂,包含帽子、人脸、眼睛等丰富的纹理、边缘信息的。从比较结果来看,本文方法产生的结果边缘锐利、纹理清晰自然,且在复杂区域未产生明显噪声,质量要优于其他方法。观察图 6能够得出与图 5类似的结论。

进而选择8幅尺寸为128×128常用图像,如图 7所示。这8幅图像有的包含丰富的纹理,有的包含锐利的边缘,是图像处理领域常用的实验对象。将这8幅图像通过本文方法放大3倍后和原图像比较,计算PSNR和SSIM两个图像质量评价参数,并和其他方法做比较。比较结果如表 1所示,在表 1中,每一幅图像中的第1行表示评价参数PSNR的结果,第2行表示评价参数SSIM的结果。其中PSNR和SSIM的最大值用黑体标出(PSNR和SSIM数值越大,代表图像的质量越好)。从表 1中可以看出本文算法在大多数图像中都取得了优于或等同于参与比较算法的结果。

图 7 PSNR和SSIM结果比较所用图像 Fig.7 Image set used to compare the parameters of PSNR and SSIM

表 1 PSNR和SSIM放大3倍结果比较 Tab. 1 Comparisons of 3×SR results of PSNR and SSIM
4.3 结果分析

从上述实验可以看出,基于多任务高斯过程回归的图像超分辨率重建算法取得了优于主流算法的效果,同时这种算法原理简单,易于实现。多任务高斯过程回归模型和GPR模型[17]的主要差异在于,多任务高斯过程回归模型考虑了图像片与图像间的关系,用全局参数来描述最近邻域图像片的共同性质,用噪声等级来刻画图像片之间的差异,从而使得模型更接近于实际情况。同时,多任务高斯过程回归模型并不是“non-local”算法[28-29]的简单推广,它是为每一个图像片都构造了输入矩阵和标签向量,并不是用整个图像片去参与计算。

另外,多任务高斯过程的时间复杂度也是一个需要讨论的问题。在训练参数阶段,这种方法的时间复杂度是O (N3),N是输入图像所有任务的数据点总和。当输入图像尺寸很大的时候,算法很难在短时间内完成。为了加快参数训练时间,引入信息向量机(Informative Vector Machine,IVM)[30]这一工具。信息向量机是稀疏化了的高斯过程回归模型变种,它能够在训练数据中选择一些有代表性的点来代替训练数据集,进而使用这些有代表性的点来训练全局参数和特定参数。这种方式使得时间复杂度由O (N3)下降到O (N×l2),l是选择有代表性的特征点的数量(lN)。这种方法的时间复杂度在预测阶段是O(m),m是超分辨率图像中的总像素点数,这一步骤可以快速完成。因此总的来说本文方法在时间消耗上是可以接受的。

5 结论

本文在高斯过程回归模型中引入了多任务学习的概念,建立了多任务高斯过程回归模型,并将此模型用于图像超分辨率重建。这种超分辨率重建方法是将图像超分辨率构造成多个任务,并利用相似的任务来提高估计模型的泛化能力。实验表明这种方法重建的超分辨率图像视觉效果自然,边缘和纹理都得到了很好地保持。PSNR和SSIM表明这种方法等同于或优于当前最流行的一些超分辨率方法。

参考文献
[1]
LI X, ORCHARD M T. New edge-directed interpolation[J]. 2001, 10(10): 1521-1527. http://med.wanfangdata.com.cn/Paper/Detail/PeriodicalPaper_PM18255495
[2]
符冉迪, 周颖, 颜文, 等. 基于TV-L1分解的红外云图超分辨率算法[J]. 光学 精密工程, 2016, 24(4): 937-944.
FU R D, ZHOU Y, YAN W, et al. Infrared nephogram super-resolution algorithm based on TV-L1 decomposition[J]. Opt. Precision Eng., 2016, 24(4): 937-944. (in Chinese)
[3]
CHAN T, ESEDOGLU S, PARK F, et al. Total Variation Image Restoration: Overview and Recent Developments[M]. Handbook of Mathematical Models in Computer Vision, 2006: 17-31.
[4]
SHAN Q, LI Z, JIA J, et al.. Fast image/video up-sampling[C]. ACM SIGGRAPH Asia, 2008: 153. https://www.researchgate.net/publication/220184280_Fast_ImageVideo_Upsampling
[5]
TAI Y W, LIU S, BROWN M S, et al.. Super resolution using edge prior and single image detail synthesis[C]. Computer Vision and Pattern Recognition, 2010: 2400-2407. https://www.researchgate.net/publication/224164286_Super_Resolution_using_Edge_Prior_and_Single_Image_Detail_Synthesis
[6]
YANG J, WANG Z, LIN Z, et al. Coupled dictionary training for image super-resolution[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3467-3478. DOI:10.1109/TIP.2012.2192127
[7]
YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873. DOI:10.1109/TIP.2010.2050625
[8]
韩玉兰, 赵永平, 王启松, 等. 稀疏表示下的噪声图像超分辨率重构[J]. 光学 精密工程, 2017, 25(6): 1619-1626.
HAN Y, ZHAO Y, WANG Q, et al. Reconstruction of super resolution for noise image under the sparse representation[J]. Opt. Precision Eng., 2017, 25(6): 1619-1626. (in Chinese)
[9]
DONG W, ZHANG L, SHI G, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838. DOI:10.1109/TIP.2011.2108306
[10]
KIM J, LEE J K, LEE K M. Deeply-recursive convolutional network for image super-resolution[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1637-1645. http://www.oalib.com/paper/4055025
[11]
KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1646-1654. http://www.oalib.com/paper/4055028
[12]
DONG C, CHEN C L, HE K, et al.. Learning a deep convolutional network for image super-resolution[C]. European Conference on Computer Vision, 2014: 184-199. https://rd.springer.com/chapter/10.1007/978-3-319-10593-2_13
[13]
WANG Z, LIU D, YANG J, et al.. Deep networks for image super-resolution with sparse prior[C]. IEEE International Conference on Computer Vision, 2015: 370-378. http://www.oalib.com/paper/4049782#.XCApUvk6vWY
[14]
GU S, ZUO W, XIE Q, et al.. Convolutional sparse coding for image super-resolution[C]. IEEE International Conference on Computer Vision., 2015: 1823-1831. https://www.researchgate.net/publication/300412580_Convolutional_Sparse_Coding_for_Image_Super-Resolution
[15]
GLASNER D, BAGON S, IRANI M. Super-resolution from a single image[C]. International Conference on Computer Vision, 2009: 349-356. https://www.researchgate.net/publication/224135979_Super-Resolution_from_a_Single_Image?ev=auth_pub
[16]
YANG J, LIN Z, COHEN S. Fast image super-resolution based on in-place example regression[C]. Computer Vision and Pattern Recognition, 2013: 1059-1066. https://www.researchgate.net/publication/261259210_Fast_Image_Super-Resolution_Based_on_In-Place_Example_Regression
[17]
HE H, SIU W C. Single image super-resolution using Gaussian process regression[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2011: 449-456. https://www.researchgate.net/publication/221363736_Single_image_super-resolution_using_Gaussian_process_regression
[18]
LI J, QU Y, LI C, et al. Learning local Gaussian process regression for image super-resolution[J]. Neurocomputing, 2015, 154(C): 284-295.
[19]
WANG H, GAO X, ZHANG K, et al. Image super-resolution using non-local Gaussian process regression[J]. Neurocomputing, 2016, 194: 95-106. DOI:10.1016/j.neucom.2016.01.073
[20]
KWON Y, KIM K I, TOMPKIN J, et al. Efficient learning of image super-resolution and compression artifact removal with semi-local Gaussian processes[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(9): 1.
[21]
袁其平, 林海杰, 陈志宏, 等. 用支持向量回归法实现单帧图像超分辨率重建[J]. 光学 精密工程, 2016, 24(09): 2302-2309.
YUAN Q P, LIN H J, CHEN ZH H, et al. Single image super-resolution reconstruction using support vector regression[J]. Opt. Precision Eng., 2016, 24(9): 2302-2309. (in Chinese)
[22]
WANG S, ZHANG L, URTASUN R. Transductive Gaussian processes for image denoising[C]. IEEE International Conference on Computational Photography, 2014: 1-8. https://www.researchgate.net/publication/269302160_Transductive_Gaussian_processes_for_image_denoising
[23]
CHENG K W, CHEN Y T, Fang W H. Video anomaly detection and localization using hierarchical feature representation and Gaussian process regression[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2015: 2909-2917. https://www.researchgate.net/publication/282615597_Video_Anomaly_Detection_and_Localization_Using_Hierarchical_Feature_Representation_and_Gaussian_Process_Regression
[24]
LONG C, HUA G. Multi-class multi-annotator active learning with robust Gaussian process for visual recognition[C]. IEEE International Conference on Computer Vision, 2015: 2839-2847. https://www.researchgate.net/publication/304409747_Multi-class_Multi-annotator_Active_Learning_with_Robust_Gaussian_Process_for_Visual_Recognition
[25]
RASMUSSEN C E, Williams C K I. Gaussian processes for machine learning (adaptive computation and machine learning)[M]. The MIT Press, 2005.
[26]
ZHANG Y, YEUNG D Y. Multi-task warped Gaussian process for personalized age estimation[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2010: 2622-2629. https://www.researchgate.net/publication/221362463_Multi-Task_Warped_Gaussian_Process_for_Personalized_Age_Estimation
[27]
SNELSON E, RASMUSSEN C E, GHAHRAMANI Z. Warped Gaussian processes[C]. International Conference on Neural Information Processing Systems, 2004: 2003. https://www.semanticscholar.org/paper/Warped-Gaussian-Processes-Snelson-Rasmussen/13292517cd09abacba4a3ab42a79cb97c2e7526d
[28]
MAIRAL J, BACH F, PONCE J, et al.. Non-local sparse models for image restoration[C]. IEEE International Conference on Computer Vision, 2009: 2272-2279. https://www.researchgate.net/publication/221110774_Non-local_sparse_models_for_image_restoration
[29]
BUADES A, COLL B, MOREL J M. A non-local algorithm for image denoising[C]. Computer Vision and Pattern Recognition, 2005: 60-65. https://www.researchgate.net/publication/4156453_A_non-local_algorithm_for_image_denoising
[30]
LAWRENCE N, SEEGER M, HERBRICH R. Fast sparse Gaussian process methods: the informative vector machine[C]. International Conference on Neural Information Processing Systems, 2002: 625-632. https://www.researchgate.net/publication/221618434_Fast_Sparse_Gaussian_Process_Methods_The_Informative_Vector_Machine
[31]
HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2015: 5197-5206. Single image super-resolution from transformed self-exemplars
[32]
TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution[C]. Asian Conference on Computer Vision, 2014: 111-126. https://link.springer.com/chapter/10.1007/978-3-319-16817-3_8