无监督学习全局和局部特征建模的低光照图像增强

doi:10.3969/.1003

-

3114.2023.02.022

引用格式:王英凡.无监督学习全局和局部特征建模的低光照图像增强[J].无线电通信技术,2023,49(2):357

-

365.

[-lightImageEnhancementBasedonUnsupervisedLearningGlobalandLocalFeatureModeling[J].RadioCom-

municationsTechnology,2023,49(2):357

-

365.]

无监督学习全局和局部特征建模的低光照图像增强

(南京邮电大学

宽带无线通信技术教育部工程研究中心,江苏南京

210003)

王英凡

摘　要:在EnlightenGAN的启发下,提出了一种新的基于无监督学习全局和局部特征建模的低光照图像增强网络

(Low-lightImageEnhancementNetworkBasedonUnsupervisedLearningGlobalandLocalFeatureModelingImageEnhancement,

GLFMIE)。该网络分为两个阶段:生成网络和判别网络。生成网络包括全局和局部特征建模网络,判别网络包括全局

和局部判别网络。在全局特征建模中创新性地引入了Swin-Transformer

Block,其移位窗口机制可以以较少的内存消耗

对输入图像进行长距离的特征依赖建模,并很好地提取图像颜色、纹理和形状的特征,从而有效地抑制噪声和伪影。

在局部特征建模中,设计了一种多尺度图像和特征聚合(Multi-Scale

ImageandFeatureAggregation,MSIFA)网络,允许在

单个U型网内交换来自不同尺度的信息,进一步增强图像特征的表征能力。在多个公共数据集的测试实验中,与已有

一些先进低光照图像增强算法相比,该算法均取得了SOTA级别的表现。

关键词:低光照图像增强;Swin-Transformer;全局和局部特征建模;多尺度特征聚合

中图分类号:TN919.23　　　文献标志码:A　　　

文章编号:1003

-

3114(2023)02

-

0357

-

09

开放科学(资源服务)标识码(OSID):

Low-lightImageEnhancementBasedonUnsupervisedLearning

GlobalandLocalFeatureModeling

(EngineeringResearchCenterofWidebandWirelessCommunicationTechnology,

NanjingUniversityofPostsandTelecommunications,Nanjing210003,China)

WANGYingfan

Abstract:Inspired

byEnlightenGAN,anewLow-lightImageEnhancementNetworkBasedonUnsupervisedLearningGlobaland

LocalFeatureModelingImageEnhancement(GLFMIE)workisdividedintotwostages:generatornetworkanddis-

eratornetworkincludesglobalandlocalfeaturemodelingnetwork,andthediscriminatornetworkincludes

ftwindowmechanismcan

modelalongdistancefeaturedependenceoftheinputimagewithlessmemoryconsumption,andextractthefeaturesofimagecolor,tex-

tureandshapewell,lfeaturemodeling,aMulti-ScaleImageandFeatureAggrega-

tion(MSIFA)networkisdesignedtoallowexchangeofinformationfromdifferentscalesinasingleU-shapednetwork,furtherenhan-

experimentsofmultiplepublicdatasets,comparedwithsomeadvancedlow-light

imageenhancementalgorithms,thisalgorithmhasachievedSOTAlevelperformance.

Keywords:low-light

imageEnhancement;Swin-Transformer;globalandlocalfeaturemodeling;multi-scalefeatureaggregation

0　引言

低光照图像增强的目的是在抑制图像中的噪声

和伪影的情况下,更好地恢复图像细节并实现均匀

收稿日期:2023

-

01

-

05

基金项目:江苏省研究生科研与实践创新计划项目(KYCX21_0753)

FoundationItem:

PostgraduateResearch&PracticeInnovationProgram

ofJiangsuProvince(KYCX21_0753)

的光照强度。针对低光照图像普遍存在细节信息不

丰富、过度曝光、曝光不足以及噪声伪影等问题,国

内外研究学者也进行了很多尝试并提出了解决方

案,常见的有:基于直方图均衡化方法

[1]

及其改进

方法

[2]

、基于Retinex模型的增强方法

[3]

和基于深

度学习的方法。对于直方图均衡化方法,由于其直

接调整低光照图像的对比度,是一种简单直观的方

法,但它不能消除极度黑暗图像中存在的噪声,甚至

　357

2023

年第

49

卷第

2

期

无线电通信技术

Copyright©博看网. All Rights Reserved.

会放大噪声。尽管后续有很多基于直方图均衡化的

改进方法来实现噪声抑制、色调保持等,但在直接调

整对比度方面仍存在很多问题,如噪声放大、亮度不

均匀等。

基于Retinex理论的增强方法假设图像可以分

解为反射率和照明度,将反射率作为最终的增强结

果。然而,由于分解是一个不适定问题,且对反射率

没有足够的约束,增强后的图像往往存在过度曝光、

白化等不符合人眼视觉体验的现象。

基于深度学习的低光照图像增强算法

[4

-

5]

近年

来越来越受到关注。通过分析过去的一些代表性作

品,他们主要依靠合成或收集受损的高质量配对图

像进行训练,这容易导致模型过拟合和缺乏泛化能

力。为了解决这个问题,EnlightenGAN

[6]

作为一种

基于无监督学习的方法被提出。EnlightenGAN的综

合指标和低光照增强的视觉效果都取得了良好的效

果,但现实世界中低光照下的图像增强仍存在一些

问题:①对于图像极暗区域中的噪声,EnlightenGAN

仍会在增强图像中保留甚至放大这些噪声,并且增强

后的细节信息恢复不充分。②当经过一系列降级操

作(如图像压缩或编辑)的图像得到增强时,可能会

导致图像中出现一些未知伪影,EnlightenGAN无法消

除这些未知伪影。③尽管EnlightenGAN使用局部辨

别网络和灰度空间注意力来控制生成的图像具有均

匀的光照,但对于一些现实中的低光照图像,仍会或

多或少会出现曝光不足或曝光过度的情况。

生成网络能够生成高质量的正常光图像,从而能够

连续优化判别网络。图1说明了本文提出的方法与

EnlightenGAN在一些测试图像上的视觉比较。本文

的主要贡献概括如下:

局部特征建模的低光照图像增强网络

(Low-light

①

设计了一种新颖的基于无监督学习全局和

imageEnhancementNetworkBasedonUnsupervised

LearningGlobalandLocalFeatureModelingImageEn-

hancement,GLFMIE),以提取低光照图像的全局和

局部特征。

块,其可在参数量较少的情况下对输入图像进行长

距离的特征依赖建模,抑制噪声和伪影。

合(Multi-Scale

ImageandFeatureAggregation,MSI-

②

设计了Residual

Swin-TransformerLayer模

③

创新地设计了一个的多尺度图像和特征聚

FA)

网络。它允许在U-net中不同尺度的信息进行

交流,控制不同尺度图像上局部区域的曝光,从而使

得增强后的图像可以避免过度曝光和曝光不足。

试中实现了SOTA级别的增强效果。

④

实验表明,GLFMIE在多个公共数据集的测

1　问题分析及本文贡献

通过分析可得出,出现上述问题和现象的原因

主要有两点:①

EnlightenGAN仅使用注意力引导U-

net作为生成网络来提取低光照图像的特征信息是

不够的,因为U-net中卷积运算的局限性,限制了对

图像的全局特征依赖建模的能力,并且这种能力是

减少低光图像中的噪声和伪影的关键。②

Enlight-

enGAN中的U-net结构只对单个比例的图像和特征

进行上下采样,然后使用残差连接来保留各层次的

信息,使得整个网络可以记住图像中不同频率的信

息。然而这没有考虑不同尺度和特征的图像之间的

信息交流,会导致一些低光照图像增强后的不同区

域块具有不均匀的光照。

本文创新性地改进了EnlightenGAN网络以解

决上述问题,并提出了一种新的低光照图像增强算

法。该算法在生成网络中使用全局和局部特征建模

方法分别提取低光照图像的全局和局部特征,使得

图1　GLFMIE和EnlightenGAN的视觉比较

Fig.1　VisualcomparisonbetweenGLFMIEandEnlightenGAN

　358

Radio

CommunicationsTechnology

Vol.49No.22023

Copyright©博看网. All Rights Reserved.

2　整体设计框架及各模块设计

成网络部分,判别网络和EnlightenGAN相同,这里

不过多详述)。首先,对低光照图像和灰度注意力

图进行Concat操作,这样可在光照条件不同的低光

照图像中,实现对暗区域的增强大于对亮区域的增

GLFMIE整体设计框架如图2所示(主要是生

强,以改善视觉质量;其次,分别通过全局特征建模

网络和局部特征建模网络并将两个网络的输出再经

过一个Concat操作,接着通过3

×

3卷积重建为三通

道图像特征;最后,将输出的三通道图像特征与输入

的低光照图像相加,以获得GLFMIE生成网络的增

强结果。判别网络则使用全局/局部判别网络来控

制所生成的图像具有均匀的光。

图2　GLFMIE整体架构(主要是生成网络)

Fig.2　OverallstructureofGLFMIE(Mainlyforgenerativenetwork)

2.1　全局特征建模网络

主要由编码器和两个串联的Residual

Swin-

如图2中红色虚线内所示,全局特征建模网络

于图像恢复的Vison

Transformer

[8]

通常将输入图像

分割成固定大小的patch,并对每个patch进行独立

处理。这种处理策略不可避免地会产生两个缺点:

①

产生单一低分辨力的特征图,由于要计算全局自

TransformerLayer(RSTL)组成。目前最先进的低光

照增强方法是基于卷积神经网络(CNN),而在高级

视觉任务中表现出色的Transformer

[7]

及其变体

[8

-

9]

还暂时无人尝试使用。虽然基于CNN的方法与传

统方法

[10

-

11]

相比,性能有了明显提升,但卷积操作

存在局限性。图像和卷积核之间的交互与图像内容

使用相同大小的卷积核来增强低光照图像的不同区

域不是最好的选择,原因在于卷积对于长距离的特

征依赖建模并不有效。Transformer设计了一种自注

意力机制来捕获全局上下文信息之间的交互,并在

多个视觉任务中有显著的性能提升

[9,12]

。然而,用

2023

注意力,空间复杂度随图像尺寸呈二次增长;②恢

复后的图像可能会在每个patch周围引入边界伪

影,虽然该问题可通过补丁重叠来解决,但这会带来

额外的计算负担。最近,Swin-Transformer

[9]

表现出

了巨大的潜力:一方面,由于局部自注意力机制,它

可以像CNN那样处理大尺寸图像;另一方面,它提

出规则划分以及移位划分的窗口方案可在极大减少

计算负担的情况下对长距离特征依赖进行有效

建模。

Swin-TransformerBlock(STB)是基于原始Trans-

(如图像中的目标及行为、属性、所处场景等)无关,

former中的标准多头自注意力演变而来,主要区别

　359

年第

49

卷第

2

期

无线电通信技术

Copyright©博看网. All Rights Reserved.

体现在局部自注意力与移位窗口机制上。假设输入

低光照图像的尺寸为H

×

W

×

C。首先,将输入图像拆

分为S

×

S规则大小相同的局部窗口并重新变成

HW

2

×

S

×

C的大小;然后,在每个窗口中计算标准的

S

2

自注意力。对于局部窗口特征P∈R

S

×

C

,Q、K、V矩

阵的计算公式如式(1)所示:

式中,I

Q

、I

K

、I

V

是不同窗口之间共享的投影矩阵。

一般来说Q,K,V∈R

S

2

×

d

2

差连接可直接将低光照图像的低频信息和高频信息

聚合,这样就能使网络更加专注于高频信息。此外,

残差连接可避免因网络层数加深产生的梯度消失现

象,有助于稳定训练。②图像与自注意力权重之间

是基于图像内容的交互,这可以解释为是空间变化

的卷积

[13]

,它与使用相同大小的卷积核来增强低光

照图像的不同区域相比,前者的增强效果更好。

③

Q

=

PI

Q

,K

=

PI

K

,V

=

PI

V

,(1)

得益于Swin-Transformer强大的长距离特征依赖建

模能力,所设计的网络能够很好地提取图像的颜色、

纹理、形状等特征,从而抑制噪声和伪影的出现。

2.2　局部特征建模网络

力机制得到注意力矩阵的计算公式为:

式中,B表示可学习的相对位置编码。

Attention(Q,K,V)

=

Softmax(QK

T

/

,通过局部窗口内的自注意

d

+

B)V,(2)

为非均匀光照图像不仅会造成视觉上的不适,还会

严重降低包括视频监控和自动驾驶等视觉感知系统

的性能,因此需要精确高效的控制曝光。已有研究

表明,使用多尺度图像作为单一U-net的输入在超

分辨率

[14]

、目标检测

[15]

等多种任务中是有效的。

在低光照增强领域,设计的MSIFA也采用了这一思

想。如图2蓝色虚线所示,局部特征建模网络是一

种多输入单输出的U型网络,具有两个明显的特

点:多尺度图像输入和非同尺度特征融合。首先使

用特征提取块(FEB)从下采样图像中提取特征,

1

×

1卷积层堆叠而成,残差块的目的是提取下采样

图像的特征,1

×

1卷积层的作用是进一步细化残差

连接的特征。然后利用特征注意力模块来增强先前

尺度上有用的特征信息,并从特征提取块中学习特

征的空间/通道权重。具体过程为:将下采样图像提

取并细化的特征与上面大尺度图像经过下采样后得

到缩小的特征相乘,然后经过一个3

×

3的卷积残差

块。再将经过特征注意力的输出经过两次卷积、

3个特征图乘以对应的灰度注意力,分别记为F

1

,

F

2

,F

3

。由于传统U-net多尺度特征之间的信息交

互不充分,而不同尺度特征之间是具有紧密联系

的

[16]

,因此将F

1

,F

2

,F

3

送入非同尺度特征融合

6所示,DSFF使用卷积层来结合多尺度特征,以允

互,具体表现形式如式(5)~式(7)所示:

MSIFA的作用是使生成图像具有均匀光照,因

接下来,使用一个多层感知器(MLP),它有

两个全连接层,它们之间经过一个GELU非线性激

活函数,用于特征转换。在多头自注意力(MSA)和

MLP之前添加LayerNorm(LN)层,两个模块均采用

残差连接。整个过程如式(3)、式(4)所示:

P

=

MSA(LN(P))

+

P,

P

=

MLP(LN(P))

+

P。

(3)

(4)

　　不重叠的局部窗口之间缺乏信息交互,交替使

用规则划分的窗口和移位划分的窗口可以解决该

问题。

设计了基于Swin-Transformer的低光照图像全局特

征提取网络。在进入该网络之前,输入的低光照图

像首先和灰度注意力图进行Concat操作。在全局

3

×

3卷积核,用来将输入图像的通道数映射到高维,

这有助于稳定训练;然后经过两个RSTL,其结构示

意如图2蓝色虚线所示,先通过两个级联的STB提

取中间特征,再经过残差连接。本文设置两个连续

的STB为W-STB和SW-STB,分别代表基于规则划

分窗口的Transformer和基于移位划分窗口的Trans-

former;最后,将RSTL的输出作为全局特征提取网

3个优点:①

浅层特征主要包含低频信息,而深层

(

⌊」⌊」

)

SS

,

22

移位窗口划分是在划分前将特征移动

像素。基于这些特性,本文创新性地

FEB由一个包含两个3

×

3卷积层的残差块和一个

特征建模网络中,先经过编码器,其内部实现为一个

LeakyReLU和BN进行特征增强。并将增强后的

络的最终输出。本文所设计的全局特征建模网络有

特征专注于恢复丢失的高频信息,使用长距离的残

　360

(FeatureFusionatDifferentScales,DSFF)模块,如图

许在单个U-net内增强来自不同尺度特征的信息交

Radio

CommunicationsTechnology

Copyright©博看网. All Rights Reserved.

Vol.49No.22023

out↑↑

=

DSFF

1

(F

1

,F

2

DSFF

1

,F

3

),

out↓↑

=

DSFF

2

(F

1

DSFF

2

,F

2

,F

3

),

out↓↓

=

DSFF

3

(F

1

DSFF

3

,F

2

,F

3

),

(5)

(6)

(7)

i,ji,j

1

=

L

SFK

(I)(θ

i,j

(I

low

)

-

∑∑

W

i,j

×

H

i,j

x

=

1y

=

1

low

WH

=

1,2,3)为对应DSFF

i

的输出,↑和式中,DSFF

out

i

(i

↓分别对应上、下采样,使得不同尺度的特征可以桥

接起来。也就是说对于多尺度图像和特征融合分

支,除了大尺度低光照图像提取缩小的特征外,还从

下采样的多个低光照图像中提取特征,然后将二者

通过注意力和DSFF结合起来。通过利用缩小后特

征和下采样图像的互补信息,可有效避免各种低光

照图像产生的曝光不足/曝光过度现象。

2.3　损失函数

GLFMIE算法是以端到端的形式进行训练。对

式中,I

low

为输入的低光照图像,G(I

low

)为生成网络

的增强输出,θ

i,j

为在ImagaNet上预先训练VGG-16

模型中提取的特征图,i为第i个最大池化层,j为第

i个最大池化层之后的第j个卷积层,W

i,j

和H

i,j

为

提取的特征图尺寸。默认情况下,选择i

=

5,j

=

1。

同样,在输入和输出图像中裁剪出patch也通过类

似定义的自特征保留损失L

Local

SFK

。此外,在VGG特征

映射后添加了一个实例归一化层,然后再将其加入

到L

SFK

和L

Local

中用以稳定训练。因此,训练

SFK

GLFMIE的总体损失函数为:

+

L

Local

+

L

Global

+

L

Local

Loss

total

=

L

Global

GG

SFKSFK

。(15)

θ

i,j

(G(I

low

)))

2

,(14)

于全局判别网络,使用相对判别网络结构可指导生

成网络合成比真实图像更真实的伪图像,相对判别

网络的标准函数如式(8)和式(9)所示:

D

R

(d

r

,d

f

)

=

τ(A(d

r

)

-

d

D

R

(d

f

,d

r

)

=

τ(A(d

f

)

-

d

a

a

f

r

~

fake

~

real

3　实验结果及分析

3.1　实验细节

3.1.1

数据集

[A(d

r

)]),

[A(d

f

)]),(8)

(9)

式中,A为判别网络,d

r

和d

f

分别表示真实数据和

虚假数据的分布,τ表示使用最小二乘GAN(LS-

GAN)

损失。全局判别网络和生成网络的损失函数

计算如式(10)和式(11)所示:

=

d

L

Global

D

d

=

d

L

Global

G

d

r

f

f

r

~

real

~

fake

~

fake

~

real

a

集中,选择低光照图像和正常光图像作为训练集。

除此之外,由于GLFMIE算法可以用非配对的低光

照和正常光图像进行训练,因此将Retinex-Net

[20]

中

的低光照图像也添加到训练数据集中,以便收集更

大规模的未配对数据集,涵盖更丰富的图像质量和

内容。总计挑选了2

398幅低光照图像和1016幅

在RAISE

[17]

、HDR

[18]

和SCIE

[19]

三个公开数据

[(D

R

(d

r

,d

f

)

-

1)

2

]

+

[(D

R

(d

f

,d

r

)

-

1)

2

]

+

a

a

[D

R

(d

f

,d

r

)

2

],

a

(10)

(11)

　　对于局部判别网络,每次从输出图像和真实图

局部判别网络和生成网络的损失函数计算如

式(12)和式(13)所示:

=

d

L

Local

D

d

=

d

L

Local

G

r

f

r

~

real

-

patch

~

fake-patch

[D

R

(d

r

,d

f

)

2

]。

正常光图像,将这些图像转成PNG格式,并统一调

整到600

×

400大小用于训练。对于测试图像,选择

了NPE

[21]

、LIME

[22]

、MEF

[23]

、DICM

[24]

、VV等低光

照测试集,以便与其他先进的低光照图像增强算法

3.1.2Training

像中随机裁剪5个patch。本文采用LSGAN损失,

[(D(d

f

)

-

0)

2

],

[(D(d

r

)

-

1)

2

]

+

[(D(d

f

)

-

1)

2

]。

进行比较。

(12)

(13)

以EnlightenGAN作为基线,对超参数进行网格

　　为了限制感知相似性,Johnson等人提出了感知

损失,采用预训练视觉几何组(Visual

Geometry

~

real

-

patch

搜索,提出GLFMIE算法以端到端的方式进行训练,

使用Adam优化器进行随机优化,Batchsize设置为

Group,VGG)对图像之间的特征空间距离进行建模,

这种方法被广泛应用于许多低层视觉任务中。为了

使得图像内容特征在增强前后保持不变,在输入的

低光照与增强的正常光之间计算VGG的自特征保

留(SFK)损失,具体如式(14)所示:

2023

32。共训练200个epoch,先训练100个epoch,学习

率从1

×

10

-

4

开始;然后再训练100个epoch,学习率

线性衰减到0。在4张NVIDIA

GTX1080Ti12GB

GPU上完成对模型的训练和测试。由于GLFMIE

GAN少的多,整个训练过程约需要5h。

是单路径GAN,所以训练耗时要比基于循环一致性

年第

49

卷第

2

期

无线电通信技术

Copyright©博看网. All Rights Reserved.

　361

3.2　实验结果分析

为了评估本文方法在低光照图像增强中的性

能,本节将GLFMIE算法与当前先进的低光照图像

增强算法,包括EnlightenGAN

[6]

、DSLR

[25]

、Retinet-

Net

[20]

、DeepUPE

[26]

等进行了定量和定性实验比较,

3.2.1

视觉质量对比

结果,图(g)是本文GLFMIE算法的处理结果。从

图中可以看出,经过本文算法增强后的图像质量要

明显高于其他算法。图中的红色矩形框表示其他方

法存在的问题,可以看出,EnlightenGAN容易产生局

部过度曝光或曝光不足的现象,使图像产生严重的

噪声和伪影。DSLR、RRDNe和DeepUPE增强效果

整体偏暗,对于细节信息的修复不充分,且DSLR和

DeepUPE存在亮度不均匀的问题。Retinex-Net则

会产生色彩上的偏差和伪影。通过视觉上的定性实

验比较,本文所提方法可很好地解决上述存在的

问题。

包括视觉质量对比和图像质量评估。

将所提的方法与其他先进的低光照增强算法进

行了定性比较,结果如图3所示,图(a)为原始低光

DSLR

[25]

、RRDNet

[27]

、Retinex-Net

[20]

算法增强后的

照图像,图(b)~(f)分别是经过EnlightenGAN

[6]

、

图3　GLFMIE与其他先进的算法进行定性实验比较

Fig.3　QualitativeexperimentcomparisonbetweenGLFMIEandotheradvancedalgorithms

3.2.2

无参考图像质量评估

QualityEvaluator,NIQE)对算法进行定量实验比

较。NIQE是一种无参考图像质量评估方法,它可

以评价图像的自然度,数值越低说明图像质量

越好。

本节采用自然图像质量评估器

(NaturalImage

的定量实验结果进一步证明了本文算法的可靠性和

有效性,这得益于所设计的网络在两个方面的创新:

①ResidualSwin-TransformerLayer使用基于滑动窗

口跳跃连接的Transformer结构,使得图像与自注意

力权重之间是基于图像内容的交互,与卷积操作中

使用相同大小的卷积核相比,前者在占用内存消耗

很小的情况下具有更好的长距离特征依赖建模能

力,实现了很好的去噪和去伪影效果。②

MSIFA将

NPE

[21]

、LIME

[22]

、VV和DICM

[24]

五个公开的低光

对于无参考图像质量评估,使用MEF

[23]

、

照测试集来评估相关算法。表1展示了不同算法在

这些数据集上的NIQE评估结果,最好的结果用红

色加粗标记,第二好结果用蓝色加粗标记。从表1

5个测试集总和的平均NIQE值也是最低的。表1

　362

缩小后特征和下采样图像通过注意力和DSFF模块

进行结合,利用二者的信息互补,使得所生成的图像

具有均匀的亮度,避免产生曝光过度或不足。综上

所述,在产生高质量的视觉结果方面,GLFMIE优于

其他先进算法。

可以看到,GLFMIE在其中4个测试集上,并且在

Radio

CommunicationsTechnology

Copyright©博看网. All Rights Reserved.

Vol.49No.22023

表1　5个测试集的定量结果比较

Tab.1　Comparisonofquantitativeresultsoffivetestsets

测试集

MEF

DICM

NPE

LIME

VV

ALL

输入

4.265

4.255

4.319

4.438

3.525

4.134

Retinex-Net

[20]

4.149

4.200

4.485

4.420

2.602

3.920

CycleGAN

[28]

3.782

3.560

4.036

3.276

3.343

3.554

LIME

[22]

3.720

3.846

4.268

4.155

2.489

3.629

NPE

[21]

3.524

3.760

3.953

3.905

2.524

3.525

SRIE

[29]

3.475

3.899

3.986

3.788

2.850

3.650

KinD

[30]

3.312

3.625

3.852

3.845

2.913

3.584

EnlightenGAN

[6]

GLFMIF

3.232

3.570

4.113

3.719

2.581

3.385

3.178

3.547

3.376

3.469

2.461

3.237

3.2.3

消融实验分析果,可以看出它会产生噪声和伪影。图(c)是去除

多尺度图像和特征聚合分支后的增强结果,这会导

致一些生成图像不具有均匀的光照。图(d)是本文

算法的增强结果,它创新地引入STB,解决了卷积对

全局特征依赖建模能力不足的问题,有效地抑制噪

声和伪影。考虑到U-net网络中图像的不同尺度特

征之间是具有紧密关系的,本文设计了MSIFA,它使

用多尺度图像和非同尺度特征融合,能够让U-net

多尺度特征之间的信息交互更加充分,从而使得不

同大小图像能够产生均匀的亮度。所以,从定性的

角度,同样验证了GLFMIE算法中各个模块的有

效性。

为了验证提出的GLFMIE算法中各部分的性能

及在低光照增强中的贡献,本节进行了消融实验。

在实验中,保持每个模型训练过程中的超参数不变,

并对所有模型训练200个epoch以达到收敛状态。

把灰度注意力图引导的U-net作为主干网络,然后

将RSTL和MSIFA分支以多种组合方式加入到主干

网络中。选择峰值信噪比(PSNR)作为衡量不同部

分对模型性能影响的评估指标(PSNR表示结果与

参考图像的噪声水平,数值越高说明图像质量越

好),结果如表2所示。从表中可以看出,全局特征

提取分支可将性能从17.483

dB提高到18.215dB,

这表明了STB强大的长期特征依赖建模及去噪能

力。通过增加MSIFA分支,PSNR可增加到18.617

dB,从而验证了本文所提模型的各部分都能够不同

程度地提高低光照图像的增强效果,起到各自的贡

献和作用。

表2　GLFMIE中各组成部分的有效性

Tab.2　EffectivenessofeachcomponentinGLFMIE

MSIFA

√

√

RSTLPSNR↑

17.483

17.931

18.215

18.617

√

√

　　同样,在MEF

[23]

、NPE

[21]

、LIME

[22]

等测试集上

通过视觉对比来定性的评估各模块的有效性,结果

如图4所示。图(a)是原始的低光照图像,图(b)是

生成网络不使用RSTL进行全局特征提取的增强结

2023

图4　GLFMIE消融实验的定性实验比较

Fig.4　QualitativeexperimentalcomparisonofGLFMIE

ablationexperiment

年第

49

卷第

2

期

无线电通信技术

Copyright©博看网. All Rights Reserved.

　363

从上述消融实验的结果可以看出,本文算法所

设计的各个模块,均能不同程度地提升图像增强的

性能,在低光照图像增强的过程中起到各自的作用。

整合之后的算法能获得更好的增强效果,从而证明

本文所设计的算法及其各个模块是可靠有效的。

[5]　FUQ,DIX,nganAdaptiveModelfor

ExtremeLow-lightRawImageProcessing[J].IETImage

Processing,2020,14(14):3433

-

3443.

[6]　JIANGY,GONGX,LIUD,tengan:Deep

[7]　VASWANIA,SHAZEERN,PARMARN,ion

LightEnhancementWithoutPairedSupervision[J].IEEE

TransactionsonImageProcessing,2021,30:2340

-

2349.

4　结论

本文提出了一种新颖的基于无监督学习全局和

局部特征的低光照增强算法GLFMIE,并在多个公

共数据集的测试实验上取得了优异的增强效果。在

生成网络阶段,利用STB进行低光照图像的全局特

征建模,并设计了多尺度的图像和特征聚合分支进

行低光照图像的局部特征建模。经过二者的协同作

用,在面对低光照图像存在的噪声、伪影和曝光过

度/不足等复杂挑战时,本文提出的GLFMIE算法均

能实现很好的处理性能。但当低光照图像中的目标

因快速移动而产生模糊时,目前的低光照增强算法

很难较好地恢复模糊图像内容,从而影响增强的视

觉效果。因此如何处理好低光照图像中因快速移动

而产生的模糊问题将成为接下来研究的重点内容

之一。

参考文献

[1]　KHALIDR,REHMANS,RIAZF,ed

isAllYouNeed[C]∥NIPS

本文标签： 图像 特征 光照 网络