图像超分辨率重建技术研究综述

ISSN1009-3044

ComputerKnowledgeandTechnology

电脑知识

电脑知识

与技术

与技术

Vol.17,No.15

May

2021

E-mail：*************.cn

第17卷第15期(2021年5月)

http：//

Tel：+86-551-6569

图像超分辨率重建技术研究综述

刘郭琦，刘进锋

*

（宁夏大学信息工程学院，宁夏银川750021)

摘要：图像超分辨率重建技术一直是计算机视觉中一个十分受重视和关注的热点问题，在医疗、遥感、监控等领域都有着

十分重要的研究价值。近年来，伴随着深度学习技术的蓬勃发展，图像超分辨率重建技术被广泛开始应用于更多计算机

视觉的相关领域。本文首先梳理了图像超分辨率重建的发展与现状，然后对比总结了基于传统技术与基于深度学习技术

的相同点与不同点。最后讨论了目前图像超分辨率重建技术所面临的潜在问题，并对未来的发展方向做出了全新的

展望。

关键词：深度学习；热点问题；图像超分辨率重建技术；传统技术；计算机视觉

中图分类号：TP18文献标识码：A

开放科学（资源服务）标识码（OSID）：

ReviewofResearchonImageSuper-resolutionReconstructionTechnology

LIUGuo-qi,LIUJin-feng

*

(SchoolofInformationEngineering,NingxiaUniversity,Ningxia750021,China)

文章编号：1009-3044(2021)15-0014-03

Abstract:Imagesuper-resolutionreconstructiontechnologyhasalwaysbeenahotissuethathasreceivedgreatattentionandatten⁃

eryimportantresearchvalueinmedical,remotesensing,nt

years,withthevigorousdevelopmentofdeeplearningtechnology,imagesuper-resolutionreconstructiontechnologyhasbeenwide⁃

ticlefirstcombsthedevelopmentandcurrentsituationofimagesuper-resolu⁃

tionreconstruction,andthencomparesandsummarizesthesimilaritiesanddifferencesbetweentraditionaltechnologyanddeep

y,thepotentialproblemsfacedbythecurrentimagesuper-resolutionreconstructiontechnologyaredis⁃

cussed,andmadeanewoutlookforthefuturedevelopmentdirection.

Keywords:DeepLearning;Hotissue;Imagesuper-resolutionreconstructiontechnology;Traditionaltechnology;Computervision

0引言

图像超分辨率重建技术是一种由低分辨率图像经过处理

恢复为高分辨率图像的过程,该重建技术已经运用在很多领

域。例如在医疗领域、遥感领域、监控领域和图像压缩领域等。

超分辨率图像重建技术一直是计算机视觉领域的热点问题，它

发挥的作用也越来越重要。

图像超分辨率重建技术可分为基于传统的和基于深度学

习的两种方法。基于传统的方法主要包括迭代反投影法、凸集

投影法和插值法等。该类算法操作便捷，重建速度较快，但是

由于引入的先验知识十分有限，会在重建后丢失很多图像细

节，导致效果不好。基于插值的方法主要包括双三次差值法和

最近邻插值法等，虽然原理十分简单，重建速度也很快，但是重

建后的图像相对较模糊，实用性也不高。

随着深度学习的崛起，基于深度学习的图像超分辨重建方

法逐渐成了近些年来研究的热点。它是通过各种学习模型将

低分辨率图像转化为高分辨率图像，使图像变得更清晰，细节

也得到了更多的恢复，与传统方法相比该类方法的重建效果较

好，因此相关研究也越来越受到大家的关注。

本文首先介绍了图像超分辨率重建技术的当前研究现状，

然后详细总结了基于传统和基于深度学习的超分辨率的算法，

并阐述了其不同算法各自的特点，最后总结了图像超分辨率算

法的未来发展方向。

1基于传统的方法

图像超分辨率的概念最早出现在光学领域。在该领域中，

超分辨率是指一种图像复原衍射的数据过程。早在60年代中

期和n就分别在1964年和1965年提出一

收稿日期：2021-03-05

基金项目：宁夏自然科学基金（项目编号：2021AAC03084）

作者简介：刘郭琦（1992—），男，宁夏银川人，硕士，主要研究方向为数字图像处理、深度学习；通信作者：刘进锋（1971-），男，宁夏中

宁人，博士，教授，硕士生导师，主要研究方向为智能信息处理。

14

本期推荐本栏目责任编辑：唐一东

第17卷第15期(2021年5月)

种称为Harris-Goodman频谱外推的方法

[1]

，但仿真效果并不

理想。

首先传统的图像超分辨率方法主要分为基于重建的和基

于插值的。基于重建的方法主要分为频域法

[2]

和空域法。频域

法通常消除频谱混叠从而提升图像分辨率，但它可用到的先验

知识十分有限。空域法主要是将多个低分辨率图像的重叠信

息进行相互的补充，以此重建出一个具有高分辨率的图像，采

用的方法包括后验概率估计法

[3]

、迭代投影法

[4]

、凸集投影法

[5]

等。空域法具有很强的先验约束能力，但是由于场景单一，导

致重建的图像效果并不好，并且受先验影响很大，重建效果也

不稳定。

决单幅图像超分辨率的问题，

20世纪早期，研究者们主要采用的是基于插值的方法来解

例如最近邻近值

[6]

、双线性插值

[7]

和双三次插值

[8]

。

基于插值的超分率图像重建如图1所示，通过输入低分辨

率图像，经过图像预处理、上采样、图像重建和图像配准等步骤

生成重建的高分辨率图像。

图1基于插值的重建算法流程图

最近邻近插值是一种简单的插值方法，当图片需要放大

时，缺少的像素会直接通过最近原有的颜色生成，但这样会产

生十分明显的锯齿，图像会比较模糊。

双线性插值法是在两个变量插值函数上进行线性插值，然

后再进行相应的扩展，它的核心是在两个方向上分别进行线性

插值。双线性插值法的计算比最邻近算法复杂，计算量也要偏

大，但没有不连续的点，同时它具有低通滤波的性质，致使高频

分量受损从而使图像产生了模糊。

双三次插值的目的就是通过找到一种关系或系数，通过像

素找到影响因子，并根据影响因子来获取目标图像对应点的像

素值，从而达到图像缩放的目的。双三次插值法是目前用得比

较多的重建方法。

双三次函数形式如下：

使用基于插值方法是在图像没有引入额外信息的情况下，

在连续假设下重建，导致重建图像的轮廓和边缘比较模糊，细

节和纹理不能得到很好的恢复，所以重构图像都非常模糊。基

于插值的超分辨率重建算法虽然算法简单，运行速度快，但是

重建效果并不理想，稳定性较差。

2基于深度学习的方法

超分辨率卷积神经网络（SRCNN）

[9]

是采用深度学习解决超

分辨率问题的基本方法。SRCNN有三层网络，第一层负责补

丁提取和LR尺度上的特征表示，中间的一层用于逼近非线性

映射函数，第三层重构超分辨率图像。SRCNN通常被认为是

本栏目责任编辑：唐一东

ComputerKnowledgeandTechnology

电脑知识

与技术

浅层结构，由于结构过于简单，细节处理得不够，同时非线性映

射层中有太多参数，所以训练速度相对较慢。

基于此，Kim等人提出了一个非常深的残差网络超深度卷

积网络（VDSR）

[10]

。VDSR具有20层网络结构，每一层都包含

小型过滤器。从输入图像到输出，通过跳跃连接使卷积滤波器

学习估计和真实图像之间的残差。梯度裁剪策略是以高学习

率训练网络，因此尽管架构庞大，但仍可加快收敛速度。增加

网络的深度也可以提高结果的准确性。

随后Kim等人又

[11]

提出了深度递归卷积（DRCN）网络，该

网络使用了递归结构，方便增加网络的长度，同时减少参数的

数量，通过递归结构的循环使用，从相同的简单过滤器来提取

图像特征。来自递归块的所有中间输出和网络的输入都将被

送到卷积层以生成输出预测。通用递归网络性能的限制之一

是梯度爆炸或消失，这会导致不稳定并降低网络的学习能力。

作者通过两种策略解决了这个问题：递归监督和跳过连接。递

归监督意味着递归块的所有中间输出都参与输出预测，并且每

个输出预测均受均方损失监督，输出预测之间的差异会平滑参

数的梯度。此外，网络的输入和递归块的输出之间的跳跃连接

使网络需要更少的递归层，从而减轻了梯度爆炸和消失的问

题。与DRCN类似，深度递归残差网络（DRRN）

[12]

应用递归学

习

ResNet

。但是与DRCN相反，DRRN中的递归单元是修改后的

参数，

单元，它具有52层卷积层，它的递归学习用于控制模型

SISR

一般，

的最新技术水平，

同时加深深度。广泛的基准评估表明，DRRN明显优于

提升效果并不明显。

同时利用更少的参数。但网络优化结果

ResNet

增强型深度残差网络EDSR

[14]

主要使用了增强的

[15]

，移除了批归一化（BN）层

[16]

，也就是去除了超分辨率

残差层中多余的模块，使用了损失函数L1（loss）训练，从而扩大

了模型的尺寸来提升结果质量。图

SR模型网络结构层的区别。

2介绍了ResNet模型与ED⁃

图2ResNet模型与EDSR模型图

批归一化层的计算量和一个卷积层几乎持平，移除该层后

训练时可以节约大概40%的空间。太多的残差块会导致训练

不稳定，因此作者采取了常数缩放层的方法，即残差块在相加

前，经过卷积处理的一路乘以一个小数（比如作者用了0.1），这

样可以保证训练更加稳定。EDSR模型通过合理的模型压缩给

网络减轻了很大的负担，又很好地提高了学习速率，超分辨率

图像效果也很好。但是对细节丰富的图像，其重建后的图像较

为平滑，细节依然不够清晰，还有很大的提升空间。

本期推荐

15

ComputerKnowledgeandTechnology

电脑知识

与技术

2017年Lai等人提出了拉普拉斯金字塔网络（LapSRN）

[17]

，

用于解决超分辨率问题。其主要思想是逐步升级功能。它的

网络结构有两个分支：一个分支用于特征提取，另一个分支用

于重构。卷积层的输出分为两层：一层用于图像重建分支中的

残差信息，另一层用于下一个上采样操作的特征提取。图像重

建分支中的反卷积层使用双线性核初始化，这对于强制特征提

取分支来学习残差特征至关重要。图像重建分支负责学习低

频信息，而特征提取分支则细化细节并将高频信息馈送到图像

重建分支。在金字塔的每一级，模型以低分辨率特征图作为输

入，预测高频残差，使用反卷积层向上采样，网络通过逐步重

建，在一次前馈过程中产生多尺度进行预测，可以更好地利用

计算资源。

在最新的研究中，Zhang等人提出了一个残差密集网络

RDN）

[18]

来解决超分辨率问题。通过整合了密集模块和残差

模块，由此形成了残差密集模块。例如，在超深度卷积网络

VDSR）中，长跳连接将低频信息传送到输出，网络中的卷积层

被迫学习高频信息，因此，简化了学习任务。密集块提高了网

络描述复杂功能的能力，而剩余稠密块同时具有剩余块和密集

块的优点，因此有望提供更好的性能。

目前，超分辨率重建技术的发展趋势主要是从网络结构设

计、学习策略、评价指标、无监督学习、实际场景等几个方面展

开。网络结构设计包括融合局部的信息和全局的信息，设计轻

量化网络结构，对升采样的改进等，学习策略主要是对精确表

达图像差异的损失函数的设计和寻找适合图像归一化的方法，

评价指标是指全面评价超分辨率图像质量的主观统一指标，还

有对于无监督学习的超分辨图像的研究和实际场景中的应用

等，因此在未来，超分辨率图像的重建技术还有很大的发展

空间。

3结语

20

本文主要从传统方法与深度学习方法这两方面介绍了近

比，

多年来主流的自然图像超分辨率重建技术。与传统方法相

基于深度学习的方法重建的图像效果更好，细节部分也更

为完整。但它也存在缺点，例如怎样设计网络结构，如何更好

地运用在实际的问题中，如何将更多的学习机制运用在超分辨

率重建技术中等，这些都是需要思考和研究的问题。对未来的

展望，基于深度学习的单图像超分辨率技术展现了巨大潜力，

在未来的很长的一段时间内，超分辨重建技术都将是计算机视

觉的研究热点问题，并伴随着深度学习的发展，将广泛应用于

各个领域。

参考文献：

[1]

saliency

QiSX,MaJ,LinJ,rvised

IEEEGeoscience

andS-HOG

and

descriptor

Remote

from

Sensing

optical

shipdetection

Letters,

satellite

basedon

2015,

images[J].

12(7):

[2]Tsai

1451-1455.

vance

rame

ComputerVisual

imagerestoration

andImage

and

Processing,

registration[J].

1984(1):

Ad⁃

[3]

317-339.

pansion

SchultzRR,ianapproach

[4]

Processing,1994,3(3):233-242.

forimproveddefinition[J].IEEETransactions

toimage

onImage

ex⁃

IraniM,esolutionfromimagesequences[C]//

16

本期推荐

第17卷第15期(2021年5月)

[1990]

Recognition.

Proceedings.

June16-21,

10thInternational

1990,Atlantic

Conference

City,NJ,USA.

onPattern

IEEE,

[5]

1990:115-120.

Stark

plane

H,Oskoui

arrays,using

-resolution

convexprojections[J].

imagerecovery

JosaA,

from

1989,

image-

[6]

1715-1726.

6(11):

of

BelgiuM,Drăguţforestinremotesensing:areview

[7]

grammetry

applications

马鑫

and

and

Remote

futuredirections[J].ISPRSJournalofPhoto⁃

影像分类

,汪西原

——以北京市为例

,胡博.基于

Sensing,2016,114:24-31.

ENVI的

[J].

CART

宁夏工程技术

自动决策树多源遥感

,2017,16(1):

[8]

63-66.

chical

DengJ,Dong

Vision

image

andPattern

database[C]//2009

W,SocherR,et:a

Recognition.

IEEE

large-scalehierar⁃

June

Conference

20-25,2009,

on

Miami,

Computer

[9]

,2009:248-255.

FL,

network

DongC,LoyCC,HeKM,nga

:Springer

forimagesuper-resolution[M]//Computer

deepconvolutional

International

Vision–

[10]J.

199.

Publishing,2014:184-

tion

Kim,e,ccurateimage

IEEE

using

conference

verydeep

on

convolutional

computervision

networks

and

Proceedings

super-resolu⁃

ofthe

[11]

2016:1646-1654

patternrecognition,

work

Kim

Computer

for

J,Lee

image

JK,Lee

super-resolution[C]//2016

-recursive

IEEE

convolutionalnet⁃

[12]

2016,Las

VisionandPatternRecognition(CVPR).June

Conference

27-30,

on

sive

TaiY,Yang

Vegas,NV,,2016:1637-1645.

J,uper-resolutionviadeeprecur⁃

[13]

Vision

residual

andPattern

network[J].2017IEEEConferenceonComputer

network

,

training

yBatch

Recognition

byreducing

normalization:

(CVPR),2017:2790-2798.

internalcovariate

acceleratingdeep

[14]

1502.03167

shift-arXiv:

for

Lim

(2015).

Computer

single

B,Son

image

S,Kim

Vision

super-resolution[J].2017

H,eddeepresidualnetworks

andPatternRecognition

IEEEConference

Workshops

on

[15]

(CVPRW),2017:1132-1140.

parative

Shahriari

study

M,Bergevin

onbagof

-usesceneclassification:acom⁃

[16]

Tools

fication

WuS

and

visualwordframework[J].Multimedia

L,Chen

Applications,2017,76(21):23059-23075.

method

H

based

D,BaiY,esensingimageclassi⁃

[17]W.

Tools

onsparserepresentation[J].Multimedia

cian

-S.

and

IEEE

pyramid

Lai,

Applications,2016,75(19):12137-12154.

J.

conference

networks

-,,M.-eplapla⁃

oncomputer

forfast

vision

andaccuratesuperresolution

[18]

2017

image

Zhang

(2).

andpatternrecognition,

YL,TianYP,Kong

puterVision

super-resolution[J].2018

Y,et

andPatternRecognition,2018:2472-2481.

IEEE/CVF

al

Conference

densenetwork

onCom⁃

for

【通联编辑：唐一东】

本栏目责任编辑：唐一东

（

（