可见光视频去噪及其FPGA 硬件实现

第30卷第15期

8月2022年

OpticsandPrecisionEngineering

光学精密工程

Vol.30No.15

Aug.2022

文章编号1004-924X（2022）15-1868-12

可见光视频去噪及其FPGA硬件实现

赵思娴

1，2

，万敏杰

1，2*

，钱惟贤

1，2

，周琳

1，2

，韶阿俊

1，2

，陈钱

1，2

，顾国华

1，2*

（

1.南京理工大学电子工程与光电技术学院，江苏南京210094；

2.南京理工大学江苏省光谱成像与智能感知重点实验室，江苏南京210094

）

摘要：在静止场景下普通的图像滤波算法就能够有效抑制噪声，而在运动状态下，现有的滤波算法难以保证去噪的有效

性，还会产生拖尾现象；采用运动补偿的滤波算法，又无法有效地抑制噪声。针对以上问题，提出一种基于时空域滤波的

视频去噪算法，并在现场可编程逻辑门阵列（FieldProgrammableGateArray，FPGA）平台上实现。该算法主要运用高斯

差分滤波提取图像特征，再用空域滤波抑制高频噪声，采用反馈的方式对分割出的图像区域采用不同的去噪策略。硬件

实现的关键是利用高层次综合（High-levelSynthesis，HLS）工具简化编程、DDR3控制模块操作视频流在各模块间输入

输出。实验结果表明：该算法能有效去噪，不同场景下，相比基于非下采样轮廓波变换的去噪算法，峰值信噪比最多可提

升15dB；将算法移植到FPGA后，峰值信噪比相比于MATLAB软件仿真相差约0.3dB，运行时间缩短71.5%以上，在

兼顾实时性的同时达到了较好的可见光视频去噪效果。

关键词：图像处理；视频去噪；可见光；现场可编程逻辑门阵列；运动补偿；高斯差分滤波

文献标识码：Adoi：10.37188/OPE.20223015.1868中图分类号：TP391.4

VisiblelightvideodenoisingandFPGAhardwareimplementation

ZHAOSixian

1，2

，WANMinjie

1，2*

，QIANWeixian

1，2

1，2

，ZHOULin

1，2

，SHAOAjun

1，2

，

CHENQian

2*

，GUGuohua

1，

（

ofElectronicandOpticalEngineering，NanjingUniversityofScienceandTechnology，

Nanjing210094，China；

uKeyLaboratoryofSpectralImaging&IntelligentSense，

NanjingUniversityofScienceandTechnology，Nanjing210094，China

）

gghnjust@

*

Correspondingauthor，E-mail：minjiewan1992@；

Abstract：Itisdifficuler，

motetheseproblems，avid⁃

eodenoisingalgorithmbasedonspatio-temporalfilteringisproposedandimplementedonthefieldpro⁃

grammablegatearray（FPGA）.ThealgorithmmainlyusesGaussiandifferencefilteringtoextractimage

features，aneously，differentde⁃

entinghardwarerequires

high-levelsynthesistoolstosimplifyprogramming，andistomakeDDR3controlmoduletooperateinput

收稿日期：2022-03-25；修订日期：2022-04-18.

基金项目：国家自然科学基金青年项目（No.62001234）；江苏省自然科学基金青年项目（20200487）；上海航

天科技创新基金资助项目（2020-071）；中央高校基本科研业务费专项资金资助项目（⁃

GP202102）

Copyright©博看网. All Rights Reserved.

第15

期

赵思娴，等：可见光视频去噪及其FPGA硬件实现

1869

tionresultsshowthattheproposedalgorithmcanbe

ferentscenes，thepeaksignal-to-noiseratiocanbeincreasedbyupto15dBin

comparisonwiththedenoisingalgorithmbasedonanon-subsampledcontourlet（NSCT）.Aftertrans⁃

plantingthealgorithmtoFPGA，thedifferencebetweenPSNRandMATLABsimulationprogramwas

approximately0.3dB，andtherunningtimewasshortenedbyover71.5%.Consideringthereal-timeper⁃

formance，PSNRachievesabettervisiblevideodenoisingeffect.

Keywords：imageprocessing；videodenoising；visiblelight；FPGA；motioncompensation；Gaussian

differencefiltering

1引言

噪

［6］

。一些经典的空间域去噪算法主要为中值滤

波、均值滤波及自适应滤波等。经典的空域滤波

虽然复杂度低、运算时间短，但会模糊视频细节；

为改善空域滤波的效果，基于马尔可夫随机场理

论的模型，如FRAME模型

［7］

、VISTA模型

［8］

、

FOE模型

［9］

等，通过学习的方式获得参数，能够

避免人为设置参数所造成的误差，因此有很大的

优势

［10］

。时间域滤波利用视频前后几帧的相关

性来设计算法达到去噪的效果，如基于金字塔结

构的去噪算法

［11］

，满足实时性要求，但去噪效果

还有上升空间。近年来，多种域结合的算法，如

空间域与频率域结合的三维块匹配（Block

Matching3D，BM3D）算法

［12］

被提出，此算法在转

换域中加强稀疏表达，在处理图像细节及高斯白

噪声时效果较好，但在处理具有高对比度图像

的边缘时，由于匹配块不能完整表示图像细节，

图像边缘会产生振铃效应

［13］

。除此之外还有时

空频域结合的算法

［14］

，该算法结合了时空域的

降噪方法，同时在频域上采用了高斯和拉普拉

斯金字塔，达到了很优秀的去噪效果，然而算法

复杂度高，且未实现实时处理。在考虑到硬件

并行设计方面，也出现了结合时空域的运动纹

理感知去噪算法

［15］

。

为了提高视频去噪算法的去噪能力与实时

运行时间，本文提出了一种针对可见光波段的时

空域去噪算法，并成功移植到FPGA硬件平台。

视频信号产生噪声的主要原因是在采集、压

缩、传输等过程中受到周围环境、温度等方面的

影响，以及设备、传输信道等因素的干扰。一方

面，由于相机自身成像时图像会产生非均匀性或

者在传输过程中产生动态噪声；另一方面，外在

的环境因素，如雾霾、沙尘暴等极端恶劣天气、或

光照不足的情况下，成像对比度较低，从而存在

图像污染、模糊或轮廓丢失等问题，导致接收到

的视频信号质量严重下降，影响视频的视觉效

果，也为后续的分析及视频图像的增强

［1］

带来不

便。因此，视频实时去噪算法研究有着广泛的应

用价值与实际意义。

目前，较为普遍的视频去噪算法大致可以分

为三类：变换域去噪、空间域去噪和时间域去噪。

变换域去噪又称为频域去噪，先对图像进行特定

的变换，如傅里叶变换、离散余弦变换

［2］

和小波变

换

［3］

等，把图像信号转换到变换域中，针对图像真

值和噪声在频域上的区别进行处理，再把处理完

的数据反变换后得到去噪后的图像，这就导致该

去噪方式的运算时间较长。近年来，虽然小波变

换在视频去噪领域中有了较大的发展，但固定小

波基的分解模式不能完全表示自然图像，去噪结

果会有一定的偏差。非下采样轮廓波（Nonsub⁃

sampledContourlet，NSCT）算法

［5］

利用非下采

样轮廓波变换，弥补轮廓波有下采样的缺点，增

加视频帧中的结构信息特征，算法复杂度也相应

提升。空间域去噪算法主要去除的噪声以加性

噪声为主，因为视频图像中邻域像素相关性较

强，一般可根据邻域像素的局部特征对视频去

［4］

2去噪原理

本文的视频去噪算法的完整流程如图1所

示。该算法先用高斯差分（DifferenceofGuas⁃

Copyright©博看网. All Rights Reserved.

1870

光学精密工程

第30卷

sian，DOG）滤波得到4层DOG来提取当前帧图

像的特征信息；再对最高层DOG1用卷积模板做

空间域滤波，抑制高频噪声；剩下3层DOG在时

间域上采用区域分割滤波，对不同的区域采取不

同的滤波策略；最后把处理后的各层图像相加，

得到最终的去噪结果。

图1

Fig.1

时空域视频去噪算法流程

Flowchartofspatio-temporaldomainvideodenoisingalgorithm

2.1高斯差分滤波

为了使算法具有运动补偿的效果，需要对

本算法使用了4个高斯滤波参数，4个参数

的大小为

σ

1

<σ

2

<σ

3

<σ

4

，具体取值为1.5，2.5，

5.5，10.5，对应得出4层DOG结果：DOG1，

DOG2，DOG3，DOG4。以实验视频其中一帧为

例，4层DOG如图2所示。由于

σ

1

最小，DOG1

中包含的高频噪声最多，需要单独对DOG1做进

一步的高频噪声抑制处理。

2.2空间域滤波

为了滤除DOG1中的高频噪声，单独对该层

进行空间域滤波。由于噪声大部分都服从高斯

分布，该层内的高频噪声即为邻域范围内的极大

值点，在图像二维平面内可转换成求离散函数的

偏导，公式如下：

∂f

x，y

∂f

x，y

∂y

每帧图像的特征区域进行提取。现有的DOG

滤波

［16］

具有较好的边缘检测能力，广泛地应用

于数字信号图像处理中。其函数表达式为：

G

D

=G

σ1

-G

σ2

=

1

2π

σ

1

2

1

e

-(x+y)

2σ

(

-

σ

2

2

1

e

-(x+y)

2σ

)

，

（1）

σ

1

与

σ

2

为高斯滤波的标准差，其中：并且

σ

1

<σ

2

，

x

，

y

表示二维平面的横纵坐标。由于高斯滤波函

σ

越大，数对图像的平滑程度是通过

σ

实现的，平

滑程度越高，高频成分越少。当DOG滤波器中

心区域通过点线特征较为明显的区域时，因为点

线特征周围的背景灰度值较小，高斯滤波后特征

处的结果数值较大；当滤波器中心通过灰度值起

伏变化不大的平缓区域时，高斯滤波结果则趋于

零。如此，便达到了抑制平缓背景的效果。

(

(

∂x

)

=f

(

x+1，y

)

-f

(

x，y

)

，

)

=f

(

x，y+1

)

-f

(

x，y

)

.

（2）

（3）

Copyright©博看网. All Rights Reserved.

第15

期

赵思娴，等：可见光视频去噪及其FPGA硬件实现

1871

图2

Fig.2

一帧视频的高斯差分滤波结果

DOGfilterresultofoneframe

由此可知，高频噪声只有邻域极大值的特征

而不含有表征方向的信息，因此可用基于梯度的

卷积模板来剔除高频噪声，提取含有方向信息的

图像特征边缘轮廓信息。

用来抑制极大值的空域滤波卷积模板如下：

1

é

ê

ê

ê

ê

1

ê

ê

ê

G

0

=

ê

1

ê

ê

ê

ê

ê

1

ê

ê

ê

ë

1

1

1

1

1

1

0

0

-1

-1

-1

ù

ú

-1

突变区可以通过前后两帧之差进行区分。为了

进一步滤除噪声，需要对4层DOG进行时间域上

的滤波，即在时间域上对4层图像数据进行区域

分割，具体分割方式如图3所示。

ú

ú

0-1-1

ú

，

ú

0-1-1

ú

ú

0-1-1

û

ú

ú

-1

ú

，

ú

-1

ú

ú

-1

û

-1

0

ù

ú

（4）

1111

é

ê

ê

ê

ê

1110

ê

ê

ê

G

45

=

ê

110-1

ê

ê

ê

ê

ê

10-1-1

ê

ê

ê

ë

0-1-1-1

（5）

11111

ùé

êú

ê

ê

ú

ê

11111

ê

ú

ê

ê

ê

G

90

=

ê

00000

ú

，（6）

ê

ú

ê

ê

ê

-1-1-1-1-1

ú

ê

ê

ú

ê

ë

-1-1-1-1-1

û

1111

é

ê

ê

ê

ê

1110

ê

ê

ê

G

135

=

ê

110-1

ê

ê

ê

ê

ê

10-1-1

ê

ê

ê

ë

0-1-1-1

图3

Fig.3

main

时域区域分割滤波流程

Flowchartofdomaindivisionfilteringintimedo⁃

ú

ú

-1

ú

，（7）

ú

-1

ú

ú

-1

û

-1

0

ù

ú

计算当前帧DOG与上一帧去噪结果的差

值，当这个差值小于阈值时，判定当前像素在平

坦区域，像素值不变；当差值大于阈值时，判定当

前像素在突变区域，取上一帧去噪结果与当前帧

DOG的加权平均作为当前帧的去噪结果，其中，

权值a通常取0.8，表明前一帧的滤波结果对当

前帧的滤波结果影响较大。最后把4层DOG的

滤波结果和

σ

4

对应的高斯滤波结果相加得到

去噪后的图像，如图4所示。

其中：G

0

，G

45

，G

90

，G

135

分别是0°，45°，90°和135°方

向上的滤波模板。

2.3时域区域分割滤波

在运动场景中，前后两帧的线面特征会产生

位移，静止背景部分的平坦区和特征区域部分的

Copyright©博看网. All Rights Reserved.

1872

光学精密工程

第30卷

图4

Fig.4

DOG滤波结果

FilteringresultsofDOG

3算法的FPGA实现

该算法使用VIVADO2019进行硬件编程，

FULLMASTERDIRECTMEMORYAC⁃

CESS）能通过控制模块、MIG控制器和DDR交

互，对滤波模块输出结果通过三缓存的方式存入

DDR，然后输出上一帧的滤波结果给滤波模块；

VDMA（VIDEODIRECTMEMORYAC⁃

CESS）是VIVADO中专门用来传输图像数据的

IP核，通过该IP核将最终结果送入HDMI实现

结果在显示器的显示；HLS图像分层模块和VD⁃

MA都需要通过PS（ProcessingSystem）部分的

ARM核来配置参数。

3.1Cameralink数据解码模块

本文算法实现所选用的可见光相机输出单

通道8bit视频帧数据，采用的Cameralink标准的

视频传输模式是Base模式。FPGA开发板收到

的图像相关信号有28bit，包括1bit场有效信号、

1bit行有效信号、1bit数据有效信号和24bit数

据信号。24bit的数据信号分成A，B，C三个端

口，根据相机每时钟周期输出的像素个数使用的

端口数不同，根据端口定义就能够解码得出正确

的图像数据。最后，把该解码模块封装成IP核添

在ZYNQ7045，型号为xc7z045ffg900-2的硬件开

发平台上实现，cameralink接口连接开发板与黑

白可见光相机成像，HDMI接口连接开发板视频

输出端口与显示屏，最终显示去噪后的视频图

像，总体硬件架构如图5所示。

首先，相机输入的视频数据流通过camera⁃

link接口进入数据解码模块，该模块将数据流转

换成标准的VGA时序信号后输出；在进入下一

个模块之前，需要利用VideoIntoAXI4-stream

这个IP核把VGA时序信号转换成AXIstream格

式的数据流，因为分层模块需要的输入输出数据

都是AXIstream格式的数据；数据格式转换完成

后，通过分层模块把原始视频帧信号分成4层，输

入数据格式转换模块，该模块由5个VideoInto

AXI4-streamIP核组成，把4层数据信号加上原

始图像数据转换成标准VGA时序信号，方便时

空域滤波模块对数据的处理；FDMA（AXI4

Copyright©博看网. All Rights Reserved.

第15

期

赵思娴，等：可见光视频去噪及其FPGA硬件实现

1873

图5

Fig.5

本文去噪算法的硬件架构

Hardwarearchitectureofdenoisingalgorithminthispaper

加在本设计中，解码出来的数据如图6所示。其

中，v_sync与h_sync分别是场有效信号与行有效

信号。检测到场有效信号上升沿时为一帧视频

的开始，下降沿为一帧视频的结束；行有效信号

为1时，表示正在进行一行数据的传输；数据有效

信号与行有效信号相同。D16_o是最后解码出

来的视频数据信号。

IP核，同时自带优化指令，方便IP优化，大大降

低了开发时间。

为了进一步简化代码，便于硬件实现，把高

斯滤波简化为先用4次降采样，得到4个降采样

数据，然后分别还原成原始图像的分辨率，降采

样和还原分辨率用到的HLS库函数分别是hls：：

Prydown和hls：：Resize。最后封装完成的IP核

如图7所示。其中，输入端s_axi_AXILiteS是控

制信号，src_axi是数据信号，ap_clk是时钟信号，

ap_rst_n是复位信号；输出端dst_axi，dst_axi2-5

图6

Fig.6

Cameralink解码数据

Cameralinkdecodesdata

分别是4个降采样并还原原始分辨率后的数据信

号和一个原始数据信号。

3.2HLS数据分层模块

该模块用来实现4个不同参数的高斯滤波，

为后续产生4层DOG做准备。如果高斯滤波使

用HDL编程，不仅代码复杂度高，而且会占用大

量资源，所以使用赛灵思自带的VIVADOHLS

工具来实现。HLS支持C语言编程，并且支持包

含Opencv在内的视频图像处理库函数，完成编

程后，能直接把C语言综合成HDL代码组成的

图7

Fig.7

HLS模块的IP核

IPcoreofHLSmodule

Copyright©博看网. All Rights Reserved.

1874

空间域滤波模块

光学精密工程

第30卷

3.3

卷积模板做卷积时，一共需要N个shiftramIP

核。本算法选取5×5的卷积模板，共需要5个

shiftramIP核。以3×3卷积窗口为例，实现原理

如图8所示。

FPGA实现图像的空域滤波算法基于滤波

模板与图像数据做滑动窗口卷积，需要在FPGA

内开辟一个缓存区形成图像窗口。选择shiftram

IP核作为缓存图像数据的寄存器，在与N×N的

图8

Fig.8

卷积滤波窗口原理

Schematicdiagramofconvolutionfilterwindow

3.4时间域滤波模块

时间域滤波移植到FPGA硬件平台上要主

要解决的问题是滤波结果的多帧缓存以及当前

帧DOG与上一帧滤波结果的像素匹配处理。

DDR3因其内存大、有赛灵思提供的MIG控制器

来控制其读写，是用于多帧缓存的最佳选择；同

时，为实现像素匹配，需要有一个高速接口访问

DDR3，因此加入FDMAIP核。

FDMA是DMA（DIRECTMEMORYAC⁃

CESS）的变形。DMA包含一条数据总线和一条

地址总线，一般具有能一次传输多个字节数据的

突发传输的功能，能大大增强系统的整体吞吐能

力

［17］

。FDMA就是在DMA的基础上把两条总

线换成AXI4-FULL（AdvancedeXtensibleInter⁃

face）总线协议，以便与MIG控制器进行数据交

互。FDMAIP核如图9所示。通过上述自定义

IP模块就能快速进行数据交互，实现像素配准。

为了生成FDMA输入端的数据打包格式，

需要有一个FDMA控制模块，需要给FDMA输

出读写请求和读写地址信号，并通过输入视频帧

的行场信号控制异步FIFO把8位数据组包成32

位数据送入FDMA，同时把对应地址的FDMA

输出的32位DDR读出数据拆包成8位上一帧滤

波结果数据，送入计算模块，异步FIFO组包数据

流如图10所示。

图9

Fig.9

FDMAIP核

IPcoreofFDMA

FIFO写入时钟为25MHz，读出时钟约为

150.7MHz，以写入时钟约6倍的速度读写

DDR，可使视频当前帧数据与从DDR中读出的

上一帧视频数据同时输入下一个模块，完成时域

区域分割滤波。

由于需要对4层DOG进行滤波处理，利用

FPGA的并行处理能力，采用4路FDMAIP核通

过AXI4总线连接到MIG控制器，使得四路DOG

能够同时输入输出。

Copyright©博看网. All Rights Reserved.

第15

期

赵思娴，等：可见光视频去噪及其FPGA硬件实现

1875

图10

Fig.10

组包数据流

Packetdataflow

4实验与结果分析

硬件平台的搭建及去噪结果如图11所示。

硬件平台由结果显示器、编程及操作显示器、

ZYNQ7045开发板、可见光黑白相机（通过Cam⁃

eralink接口与开发板相连）及拍摄目标组成。为

了能直观地显示去噪效果，显示器可同时输出相

机原图和去噪后图像，上半部分为原始视频图

像，下半部分为去噪后的视频图像。可以看出，

该算法有一定的去噪效果，但由于选用的相机噪

声较小，视觉效果不太明显。

4.1定性实验

对15个含噪可见光视频场景，用本文算法

（包括MATLAB软件平台与FPGA硬件平台）、

图11

Fig.11

paper

本文去噪算法的硬件平台

Hardwareplatformofdenoisingalgorithminthis

NSCT去噪算法

［18］

、FOE算法

［9］

、基于金字塔结

构的去噪算法

［11］

和BM3D算法

［12］

进行处理，截取

其中一帧，去噪结果如图12所示。

图12

Fig.12

本文算法软硬件实现结果及不同去噪算法的结果

Denoisingresultsofsoftwareandhardwareofproposedalgorithmanddenoisingresultsofdifferentalgorithms

图中，原始图像是用低噪相机拍摄的视频场

景，含噪原图采用原图加上幅度为20dB的噪声

合成。从视觉效果上看，BM3D算法对噪声有一

定的抑制，且图像细节保留也较为完好，但是图

像的明暗程度有所改变；NSCT算法对噪声的抑

制最为明显，但细节模糊较为严重；FOE算法和

基于金字塔结构的去噪算法都有一定的去噪效

果，也都保留了图像细节；本文算法在不改变图

像明暗的同时，对噪声有明显的抑制，且细节部

分保留完好。

算法的硬件移植方面，在视觉效果上MAT⁃

LAB处理后对比原图去噪效果明显，且无拖尾现

象产生；移植到FPGA上后，处理结果与MAT⁃

LAB相比无明显差别。

Copyright©博看网. All Rights Reserved.

1876

定量实验

光学精密工程

第30卷

4.2

c

1

和

c

2

是用来维持稳定的常是x和y的协方差，

将本文算法包括MATLAB软件平台与FP⁃

GA硬件平台的实现与NSCT去噪算法

［18］

、FOE

去噪算法

［9］

、基于金字塔结构的去噪算法

［11］

和

BM3D去噪算法

［12］

的结果用峰值信噪比（Peak

SignaltoNoiseRatio，PSNR）、结构相似性

（StructuralSimilarityIndexMeasure，SSIM）和

一帧视频处理时间进行评价。其中，PSNR是信

号峰值与噪声均值之比，数值越大，失真越小；

SSIM从亮度、对比度、结构三个方面分析处理前

后图像的相似性，取值区间为［0，1］，值越大，失

真越小。PSNR与SSIM的计算公式分别为：

PSNR=10×log

10

SSIM(x，y)=

数。计算结果如表1~表5所示，其中金字塔表示

基于金字塔结构的去噪算法，MATLAB实现和

FPGA实现分别表示本文算法在MATLAB和

FPGA上的实现。由表可知，本文算法在大部分

场景中的定量指标都优于NSCT算法、基于金字

塔结构的算法和BM3D算法。在场景5中，本文

算法的PSNR相比NSCT算法的PSNR提升一

倍左右；本文算法的PSNR虽然在场景11这种明

亮且背景单一的地方稍低于FOE算法的PSNR，

但总体而言相差不大且SSIM有一定的提升；在

SSIM指标上，4种算法比较接近，在场景13中

NSCT算法的结果虽然比本文算法更加模糊，且

PSNR指标明显低于本文算法，但SSIM数值却

略高于本文算法。其原因可能为：在场景13这种

线条特征明显、整体灰度值变化平稳的场景，

SSIM指标更倾向于去噪后图像的平滑性，而对

图像的模糊程度考量较少。总体而言，本文算法

相较于其他算法在整体稳定性方面比较突出。

在处理时间上，NSCT算法所用时间最长，大约

50s才能处理一帧视频，FOE算法大约需要3s，

(2μ

x

μ

y

+c

1

)(2σ

xy

+c

2

)

(μ

x

+μ

y

+c

1

)(σ

x

+σ

y

+c

2

)

2222

(

(2-1)

，

MSE

n

2

)

（8）

，

（9）

其中：n表示采样值的比特数，MSE是原图与处

μ

x

，

μ

y

理后图像间的均方误差，x，y为两幅图像，

σ

x

2

，

σ

y

2

分别是x，

σ

xy

分别是x，y的均值，y的方差，

表1

Tab.1

算法

NSCT

FOE

金字塔

BM3D

MATLAB实现

FPGA实现

场景1

PSNR

33.5928

34.5981

33.5487

33.0227

34.8783

34.6108

SSIM

0.9217

0.8691

0.8347

0.8220

0.9406

0.9210

t/s

50.2088

2.5915

0.3254

0.3994

0.3923

0.1593

表2

Tab.2

算法

NSCT

FOE

金字塔

BM3D

MATLAB实现

FPGA实现

场景4

PSNR

24.7722

23.5869

23.3123

23.3110

23.6362

23.3542

SSIM

0.6996

0.5824

0.5856

0.5368

0.7901

0.7845

t/s

49.3235

3.0620

0.3661

0.3665

0.3660

0.1312

PSNR

15.4520

29.3455

29.4216

30.2573

30.3296

29.9657

PSNR

20.2042

27.4493

21.5348

20.2042

27.9563

26.7348

场景1~3处理结果对比

Comparisonresultsofscene1-3

场景2

SSIM

0.8012

0.5357

0.5143

0.4872

0.5816

0.5732

t/s

49.5476

2.6904

0.4024

0.4094

0.3906

0.1534

PSNR

28.4582

28.4140

28.3769

27.8278

28.8453

28.2764

场景3

SSIM

0.6553

0.5322

0.6166

0.6024

0.6940

0.6576

t/s

49.6156

2.6993

0.3965

0.4255

0.3578

0.1265

场景4~6处理结果对比

Comparisonresultsofscene4-6

场景5

SSIM

0.6641

0.6731

0.7312

0.7156

0.7972

0.7423

t/s

49.3788

2.8822

0.3914

0.3942

0.3847

0.1354

PSNR

25.3431

25.5234

24.7465

21.2663

25.5856

25.5143

场景6

SSIM

0.6622

0.4807

0.6534

0.4414

0.6817

0.6698

t/s

49.4090

2.6747

0.3421

0．3594

0.3208

0.1311

Copyright©博看网. All Rights Reserved.

第15

期

赵思娴，等：可见光视频去噪及其FPGA硬件实现

表3

Tab.3

场景7～9处理结果对比

Comparisonresultsofscene7-9

场景8

t/s

49.3291

3.0602

0.3699

0.3779

0.3529

0.1344

表4

Tab.4

PSNR

24.3718

27.1409

27.1064

26.3866

27.6128

27.2874

SSIM

0.4949

0.4458

0.4934

0.4935

0.4980

0.4899

t/s

48.6276

2.6596

0.3916

0.4074

0.3508

0.1398

PSNR

20.2334

20.6304

20.3855

20.5885

20.6898

20.6012

场景9

SSIM

0.6438

0.6674

0.6502

0.6369

0.6903

0.9826

1877

算法

NSCT

FOE

金字塔

BM3D

MATLAB实现

FPGA实现

场景7

PSNR

14.6257

19.6395

19.0276

19.0111

19.6438

19.5197

SSIM

0.5807

0.5057

0.5655

0.4856

0.6609

0.6467

t/s

47.1691

2.9856

0.3411

0.3450

0.3290

0.1287

场景10～12处理结果对比

Comparisonresultsofscene10-12

场景11场景12

t/s

46.8668

2.9419

0.4017

0.4144

0.3596

0.1375

PSNR

20.8066

26.5282

26.4703

26.2953

26.5288

26.4933

SSIM

0.6182

0.5307

0.5937

0.5542

0.6616

0.6500

t/s

50.1001

2.3436

0.4068

0.4213

0.3619

0.1408

PSNR

20.8633

22.8582

21.9334

21.5965

22.1270

22.0121

SSIM

0.7439

0.7505

0.7692

0.7278

0.7796

0.7713

算法

NSCT

FOE

金字塔

BM3D

MATLAB实现

FPGA实现

场景10

PSNR

6.5480

26.2154

23.4534

20.6943

26.4356

26.3889

SSIM

0.3036

0.3529

0.2963

0.2705

0.3533

0.3408

t/s

47.8886

2.5782

0.4016

0.4144

0.3610

0.1419

表5

Tab.5

场景13～15处理结果对比

Comparisonresultsofscene13-15

场景14场景15

t/s

46.8668

2.9619

0.3897

0.4144

0.3431

0.1893

PSNR

21.9297

23.5155

23.2111

22.4714

23.8278

23.3870

SSIM

0.6974

0.6002

0.6478

0.3674

0.7066

0.6967

t/s

49.6199

2.6882

0.4027

0.4153

0.3612

0．1369

PSNR

21.0994

29.1643

27.7487

26.1186

29.4388

29.1708

SSIM

0.7240

0.8212

0.7276

0.7606

0.8268

0.8218

算法

NSCT

FOE

金字塔

BM3D

MATLAB实现

FPGA实现

场景13

PSNR

17.6501

21.4658

21.7486

21.9288

21.9376

21.9056

SSIM

0.6962

0.4170

0.4176

0.3255

0.4532

0.4216

t/s

47.1231

2.9871

0.4165

0.4383

0.3947

0.1123

基于金字塔结构的算法、BM3D算法和本文算法

都只需要0.4s左右的时间，但在绝大多数场景

下，本文算法的处理时间仍优于基于金字塔结构

的算法和BM3D算法。综合上述3个客观指标，

由于本文算法结合了时间域和空间域滤波并分

区域采用不同的去噪手段，去噪能力有了可观的

提升。

本文算法移植到FPGA硬件平台后，FPGA

处理后的结果在PSNR方面比MATLAB平均降

低约0.4dB，在SSIM方面平均降低了约0.02

dB，均可视为在误差允许范围内；而在运行时间

方面，FPGA比MATLAB减少了0.2s多，约减

少了71.5%，大大提升了算法的实时性。本文算

法移植到FPGA平台上的资源占用情况如图13

所示，占用的FPGA开发板的资源不到50%，也

可说明本文算法移植到硬件平台的有效性。

Copyright©博看网. All Rights Reserved.

1878

光学精密工程

第30卷

合时间域与空间域滤波的去噪算法，先利用高斯

差分滤波使原图分层，对含高频噪声最多的图像

层进行空域滤波，抑制信号极大值；然后把当前

帧各尺度滤波后的图像当作下一帧滤波的输入，

在时间域上形成反馈，区分每帧图像对上一帧而

言的平坦区域与突变区域，并采用不同的去噪策

略；最后把算法分为多个模块，利用卷积模板进

行空域滤波，控制DDR形成4路视频数据流在

图13

Fig.13

资源占用情况

Resourceoccupancy

ZYNQ7045FPGA硬件平台上实时实现。实验

结果表明，本算法在主观上实现了视频去噪的功

能；在客观评价指标方面，相比于现有的单域去

噪算法，PSNR至多可提升15dB；移植到硬件平

台后，在PSNR和SSIM指标相差不大的情况下

运行时间可节省约71.5%，兼顾了可见光视频去

噪的精度与实时性要求。

5结论

为了克服可见光视频去噪算法细节模糊、处

理时间长、实时性差等缺点，本文提出了一种结

参考文献：

［1］WANMJ，GUGH，QIANWX，ed

imageenhancementusingadaptivehistogramparti⁃

tionandbrightnesscorrection［J］.RemoteSensing，

2018，10（5）：682.

［2］乔付.一种使用离散余弦变换图像去噪算法［J］.

海南热带海洋学院学报，2018，25（2）：70-75.

ede-noisingalgorithmbyusing

discretecosinestransformation［J］.JournalofHain⁃

anTropicalOceanUniversity，2018，25（2）：70-

75.（inChinese）

［3］xwaveletsforshiftinvari⁃

antanalysisandfilteringofsignals［J］.Appliedand

ComputationalHarmonicAnalysis，2001，10（3）：

234-253.

［4］胡然，郭成城，杨剑锋.基于小波阈值和主成分分

析的视频去噪算法［J］.计算机科学，2016，43

（4）：290-293.

HUR，GUOCHCH，enois⁃

ingalgorithmbasedonwaveletthresholdandPCA

［J］.ComputerScience，2016，43（4）：290-293.（in

Chinese）

［5］黄凌霄，廖一鹏.浮选气泡NSCT域多尺度等效形

态特征提取及识别［J］.光学精密工程，2020，28

（3）：704-716.

HUANGLX，itionandmulti⁃

scaleequivalentmorphologicalfeaturesextractionof

flotationbubblesinNSCTdomain［J］.⁃

sionEng.，2020，28（3）：704-716.（inChinese）

［6］苏恺骏.基于变换域的视频去噪算法研究［D］.西

安：西安理工大学，2017.

chonVideoDenoisingAlgorithm

BasedonTransformDomain［D］.Xi'an：Xi'anUni⁃

versityofTechnology，2017.（inChinese）

［7］ZHUSC，WUY，s，ran⁃

domfieldsandmaximumentropy（FRAME）：to⁃

wardsaunifiedtheoryfortexturemodeling［J］.In⁃

ternationalJournalofComputerVision，1998，27：

107-126.

［8］FREEMANWT，nglow-

levelvision［C］.ProceedingsoftheSeventhIEEE

⁃

tember20-27，1999，Kerkyra，Greece.

1999：1182-1189.

［9］张秀，周巍，段哲民，等.基于专家场先验模型的图

像超分辨重建算法［J］.红外与激光工程，2019，48

（6）：471-478.

ZHANGX，ZHOUW，DUANZHM，⁃

agesuper-resolutionreconstructionalgorithmbased

onfieldsofexpertspriormodel［J］.InfraredandLa⁃

serEngineering，2019，48（6）：471-478.（inChinese）

［10］刘亮.基于FoE模型的图像去噪研究［D］.哈尔

滨：黑龙江科技学院，2011.

chonImageDenoisingBasedon

FoEModel［D］.Harbin：HeilongjiangInstituteof

ScienceandTechnology，2011.（inChinese）

IEEE，

Copyright©博看网. All Rights Reserved.

第15

期

赵思娴，等：可见光视频去噪及其FPGA硬件实现

1879

［11］EHMANNJ，CHULC，TSAISF，-

timevideodenoisingonmobilephones［C］.2018

25thIEEEInternationalConferenceonImagePro⁃

r7-10，2018，Athens，Greece.

IEEE，2018：505-509.

［12］DJUROVIĆedcentre-weightedMedian

filterandBM3Dtofilterdigitalimagesinmixed

Gaussianandimpulsiveenvironments［J］.IETE

JournalofResearch，2018，64（6）：796-806.

［13］王惠琴，吕佳芸，张伟.基于双边滤波-BM3D算

法的GPR图像去噪［J］.兰州理工大学学报，

2022，48（1）：91-97.

WANGHQ，LÜJY，ge

denoisingbasedonbilateralfilteringBM3Dalgo⁃

rithm［J］.JournalofLanzhouUniversityofTech⁃

nology，2022，48（1）：91-97.（inChinese）

［14］鲜连义，康明.低照度场景下的时空频域视频去

噪算法［J］.现代计算机，2021（17）：128-134.

XIANLY，-temporalfrequency

domainvideodenoisingalgorithminlowlightscene

［J］.ModernComputer，2021（17）：128-134.（in

Chinese）

［15］YUANZ，CHENWJ，XINJ，n-

textureawaredenoisingforeconomichardwarede⁃

sign［C］.2015IEEEInternationalConferenceon

ber27-30，2015，Que⁃

becCity，QC，，2015：437-441.

［16］刘凯，汪侃，杨晓梅，等.基于DoG检测图像特

征点的快速二进制描述子［J］.光学精密工程，

2020，28（2）：485-496.

LIUK，WANGK，YANGXM，⁃

pointdetectionbasedfastbinarydescriptor［J］.

ionEng.，2020，28（2）：485-496.（in

Chinese）

［17］代少升，袁祥辉.提高DSP图像处理系统实时性

的一种有效方法［J］.光学精密工程，2003，11

（6）：617-620.

DAISHSH，ementofDSP

imageprocessingreal-timeness［J］.OpticsandPre⁃

cisionEngineering，2003，11（6）：617-620.（in

Chinese）

［18］郑成旭，范学超，刘金龙.基于NSCT的自适应

阈值图像去噪算法［J］.科技创新导报，2015，12

（2）：57，59.

ZHENGCHX，FANXCH，ve

thresholdimagedenoisingalgorithmbasedon

NSCT［J］.ScienceandTechnologyInnovation

Herald，2015，12（2）：57，59.（inChinese）

作者简介：

赵思娴（1997-），女，江苏无锡人，博

士研究生，2020年于南京理工大学获

得学士学位，主要从事图像处理及目

标识别方面的研究。E-mail：

919951077@

通讯作者：

顾国华（1966-），男，江苏无锡人，博

士，研究员，博士生导师，1989年、

1996年、2001年于南京理工大学分别

获得学士、硕士和博士学位，主要研究

方向为光电成像理论与技术、图像识

别处理及应用技术。E-mail：ggh⁃

njust@

通讯作者：

万敏杰（1992-），男，江苏无锡人，博

士，副教授，2014年、2020年于南京理

工大学分别获得学士、博士学位，主要

从事图像处理、计算机视觉方面的研

究。E-mail：minjiewan1992@njust.

Copyright©博看网. All Rights Reserved.