基于轻量级神经网络的地基云图识别

2021年5月

第47卷第5期

JOURNALOFBEIJINGUNIVERSITYOFTECHNOLOGY

北京工业大学学报

Vol.47No.5

May2021

基于轻量级神经网络的地基云图识别

(1.北京工业大学信息学部,北京摇100124;2.先进信息网络北京实验室,北京摇100124;

3.华云升达(北京)气象科技有限公司,北京摇102299)

贾克斌

1,2

,张摇亮

1,2

,刘鹏宇

1,2

,刘摇钧

3

摘摇要:针对目前云识别效率低下,同时缺乏公认且严谨、公开的地基云数据集问题,利用专业设备结合人工标注

和迁移学习,构建了目前规模最大且符合国际气象组织标准的云公开数据集HBMCD,并且在此基础上,利用深度

可分离卷积、膨胀卷积等技巧构建基本单元,通过组合不同的基本单元构建了轻量级云图分类模型LCCNet.经过

多组对比实验,证明了LCCNet不仅参数量低、运算复杂度低,而且针对HBMCD数据集具有高达97郾35%的准确

率,为设备集成与实际应用提供了可能性.

关键词:地基云图;图像处理;数据集;图像分类;深度学习;轻量级神经网络

中图分类号:U461;TP308

doi:10.11936/bjutxb2020120033

文献标志码:A文章编号:0254-0037(2021)05-0489-11

Ground鄄basedCloudRecognitionBasedonLightweightNeuralNetwork

(yofInformationTechnology,BeijingUniversityofTechnology,Beijing100124,China;

Sounding(Beijing)MeteorologicalTechnologyLimitedLiabilityCompany,Beijing102299,China)

gLaboratoryofAdvancedInformationNetworks,Beijing100124,China;

JIAKebin

1,2

,ZHANGLiang

1,2

,LIUPengyu

1,2

,LIUJun

3

Abstract:Inviewofthecurrentlowefficiencyofcloudidentificationandthelackofrecognizedand

ormedtothestandardsofthe

internaasisofthis,the

basicunitbymeansofdepthseparableconvolutionandexpansionconvolutionwasconstructed,andthe

operationcomplexity,butalsohasahighaccuracy(97郾35%)forHBMCDdataset,whichprovidesa

possibilityforequipmentintegrationandpracticalapplication.

lightweightneuralnetwork

rigorousopenclouddataset,thelargestopenclouddatasetHBMCDwasconstructedbyprofessional

lightcloudimageclassih

enoughcomparativeexperiments,itisprovedthatLCCNetnotonlyhaslowlevelatparametersand

Keywords:ground鄄basedcloudimage;imageprocessing;dataset;imageclassification;deeplearning;

摇摇云是地球热力平衡和水气循环的重要组成部

分,云的形状和形态反映了大气运动的稳定程度和

天气特征,是预示未来天气变化的主要特征之一.

收稿日期:2020鄄12鄄30

根据国际气象组织的标准

[1]

,基于云的高度和形

状,云分为3族10属29类,其中云属是本文关注的

重点,它具有10个类别标签.不同类别的云具有不

基金项目:国家重点研发计划子课题资助项目(2018YFF01010100);国家自然科学基金资助项目(61672064)

作者简介:贾克斌(1962—),男,教授,博士生导师,主要从事图像/视频信号与信息处理、生物医学信息处理方面的研究,

E鄄mail:kebinj@

490

北摇京摇工摇业摇大摇学摇学摇报2021年

同的形态,准确地识别云对提升天气预报的准确性、

气候模型预测的有效性以及理解全球气候变化具有

重要的意义.

测员人工目测识别

[2]

,但人工识别易受到观测员的

心情、观测经验等主观因素的影响,此外,由于云的

形状变幻莫测,人工观测工作量巨大,难以保证长时

间不间断的观测,制约了云识别的准确性和连续性.

近年来,随着数字图像处理和模式识别技术的飞速

发展,基于云图片的自动化识别技术已成为气象学

目前,已有部分学者公开了自己的云数据集并

提出了相应的分类方法.这些数据集针对不同的应

用场景进行图像采集并加以筛选,包括

database)、HUST

[16]

(HuazhongUniversityofScience

SWIMCAT

[15]

(Singaporewhole鄄skyimagingcatagories

andTechnology)和MGCD

[17]

(multimodalgroud鄄based

clouddatobase).其中,SWIMCAT用WAHRSIS设备

在新加坡采集784张图片,并且将云分为5类(非国

际气象组织标准类别).Dev等

[15]

使用了传统的方

法,即提取颜色和结构特征用于分类,准确率达到了

目前,大多数气象站对云的识别依赖于气象观

方面的研究热点

:卫星云图云识别和地基云图云识别

.云自动化识别技术分为

.地基云

2个方

向

[3]

图较卫星云图而言,具有更高的空间分辨率及更丰

富的局部信息,因此,基于地基云图的云自动化识

别更受到研究人员的关注.但由于云的非刚体结

构以及其多变的特性,利用经典图像特征建立地

基云图识别模型的实验效果并不理想.例如:李晨

溪

(

同云系的标度特征对

extended

等

[4]

对

self鄄similar,ESS)

云图的灰度数

5类共

模型标度分析

据进行扩展

150张云图进行识别

,

自

利用不

相似

,

准确率接近90%,但由于测试样本数量有限,无法

验证算法的鲁棒性.张弛等

[5]

提出一种基于可见

光-红外图像信息融合的云状识别方法,对5种云

图进行识别,平均准确率为82%,但此算法需综合

考虑全天空云图及红外云图,适用性不高.因此,

利用深度学习自动提取云的特征完成云识别是一

个有效的途径.

近年来,随着数据集的产生、计算性能的提升、

各类机器学习算法的发展,利用深度学习处理具体

问题

ImageNet

越来越受到关注.2012年,Google公开的

[6]

数据集使得研究人员拥有了训练、测试

ResNet

以及竞赛的素材.此后,AlexNet

[7]

[9]

等经典的网络依次出现,一次次地刷新了

、GoogleNet

[8]

、

各类比赛的记录,甚至完成了人力都无法实现的分

类任务.目前,基于深度学习的分类网络的研究方

向主要有2个:一个是追求模型的准确性,因此,为

了拟合大量的数据通常添加各种复杂的技巧,使模

型的参数量和计算量变大,增加了实际部署网络模

型的困难,典型的有Inception鄄V3

[10]

等;另一个是追求模型的轻量化,通过一些技巧让模

、DenseNet

[11]

型的参数大幅度减少,同时尽可能保证准确率,典型

的有Xception

[12]

云识别的任务核心为对云图片进行分类

、MobileNet鄄V2

[13]

、ShuffleNet

[14]

等.

,因此,这些

成熟的研究成果均可以作为构建模型的参考.

95%

并分为

;HUST

8类云与

利用自己的设备采集了

1类无云,同时提出了颜色统计转

1231张图片,

换

(support

(color

vector

census

machine,SVM)

transform,CCT)

的方法进行云分类

结合支持向量机

准确率达到了79郾8%;MGCD采集了共8000张图

,

片,分为5类云、1类混合云以及1类晴空,并利用

分层

HMF)

多模

到,这些数据集均不是按照国际气象组织的标准严

进行分类

态融

,

合

达到了

(hierarchical

87郾9%的准确率

multimodal

.可以看

fusion,

谨分类的,不具有应用的泛化性.在这3个数据集

的基础上,CCSN

[18]

利用自己的设备以及互联网采集了

(cirruscumulusstratus

2543张图片

nimbus)

,

标注为标准的10类云以及额外1类航迹云.基于

此数据集,Zhang等

[18]

提出了一种深度学习网络模

型CloudNet,其结构与AlexNet十分相似,准确率达

到了91%.CCSN虽然具有全部的类别,但是其图

片有很多是通过互联网获取的,图片质量参差不齐,

因此,基于此数据集训练出来的模型难以实际部署

至具体设备以实现产业化.另外,目前的大多数方

法都处于实验阶段,没有考虑模型的参数量及计算

量,导致模型过大,通常只能本地测试而无法集成于

算力较小的设备.此外,赵亮亮

[19]

利用图像与辐射

信息融合识别方法也取得了很好的效果.

本文利用华云升达(北京)气象科技有限公司

的全天空成像仪采集了大量高质量地基云图片,并

且利用经典算法将原始图片进行畸变校正预处理.

通过人工标注与迁移学习辅助验证对校正后的图片

进行

(Huayun

分类

云和无云,

BJUT鄄MIP

,构建了

数量达到了

cloud

地基云

25119

dataset),

图片数

张.基于此数据集

涵盖标准

据集HBMCD

10

,

类

本

文提出了一种轻量级的云识别网络LCCNet,通过多

组实验证明,LCCNet在保证分类准确率的同时大幅

度降低了模型的参数量以及运算量.

摇第5期贾克斌,等:基于轻量级神经网络的地基云图识别

491

1摇地基云图数据集HBMCD

1郾1摇地基云的分类和特点

根据国际气象组织标准,按照云的形状、形成原

因,云分为积雨云、雨层云、卷云、高层云、层积云、卷

层云、层云、卷积云、高积云和积云10个云属.云属

分类及其特点如表1所示.本文以此表为依据,对

收集到的图片进行筛选及分类.

裹在一个球体里,如图2所示.因此,常用的图像识

别方法在处理畸变图像时会因为其角度、亮度、黑色

边缘等原因发生误检.为校正原始地基云图的畸

亮度调节等操作对图片进行预处理,预处理效果如

图3所示,图像已恢复至正常的视觉观感.

变,本文采取张正友相机标定法

[20]

,结合图像裁切、

表1摇云的基本信息

Table1摇Basicinformationofcloud

学名简写云状特征

积云Cu

具有圆拱形向上凸起的顶部;云团大小与

拳头类似;边缘清晰

积雨云Cb云体浓厚,呈花椰菜状;边缘轮廓模糊

层积云Sc

云块分布松散;呈群、行、波状分布;常呈灰

色或灰白色

层云St

云体均匀成层;覆盖面积大,几乎布满天

空;多呈灰色.

雨层云Ns

云体低而漫无定型;常布满天空;云层蓬

松,呈暗灰色

云体较厚,布满天空;太阳透过几乎没有光

高层云As晕;云体常具有条纹结构,呈灰白色或灰

蓝色

云块较小,轮廓分明;薄的云块呈白色,能

高积云Ac

见日月轮廓,厚的云块呈暗灰色,日月轮廓

分辨不清;云体呈椭圆形、瓦块状、鱼鳞片

或水波状分布

卷云Ci

薄而透光性较好;洁白而亮泽;云体呈丝缕

结构,似马尾

卷层云Cs

云底具有丝缕的结构;云体较薄,能透过

日、月的光;在太阳照耀下有明显的光晕

卷积云Cc

云块发白、发亮;呈白色细鳞片状;常成群

排列

1郾2摇

1)

HBMCD

本文采集地基云图的设备是全天空成像仪

图像采集与预处理

构建方法

,如

图1所示.这是一套全自动、全色彩的天空成像系

统

(charge

,其成

coupled

像部分

device,CCD)

是一套具有

镜头的数字成像系统

高性能电荷耦合器

能够定时拍摄全天空可见光图像,并且可利用太阳

,

追踪装置转动镜头来阻挡太阳直射的入射光.但是

由于CCD镜头的光学特性,原始地基云图成像会发

生切向畸变,成像看起来就像将一张正常的图片包

图1摇全天空成像仪

Fig.1摇All鄄skyimager

图2摇地基云图径向畸变

Fig.2摇Radialdistortionofground鄄basedcloudimage

图3摇地基云图预处理效果

Fig.3摇Preprocessingeffectofground鄄basedcloudimage

2)

因为数据量庞大

人工标注与辅助验证

,人工分类易出现错误,本文利

492

北摇京摇工摇业摇大摇学摇学摇报2021年

用2个步骤对地基云图进行标注.

第1步对部分预处理的图片进行人工分类,形

成原始数据集,并利用原始数据集进行迁移学习得

到迁移学习模型,如图4(a)所示;第2步利用迁移

学习模型对数据集进行辅助验证,将分类错误的图

片以及分类置信率低的图片筛选出来并进行重新确

认类别,如图4(b)所示.然后逐次加入其他图片,

重复上述步骤,直至构建成完整的数据集.

摇摇

表2摇迁移学习模型准确率对比

Table2摇Comparisonoftransferlearningmodel

accuracy

摇摇模型

VGG19

VGG16

准确率/%

96郾50

86郾10

91郾30

DenseNet鄄201

图4摇数据集建构方法

Fig.4摇Datasetconstructionmethod

具体的方法如下.

在第1步中,首先对预处理的图片进行了筛选,

尽量使图片均匀分布在不同的条件,如光照、天气状

况、季节等.然后选取其中一部分图片进行人工标

注,标注的类别为国际气象组织标准的10类云属以

及1类无云.接着利用迁移学习对已分类图片进行

辅助验证,为了保证更高的准确率,本文对比了5种

152、DenseNet鄄201,

经典的模型:VGG16、

测试迁移学习准确率

VGG19、Inception鄄V3、

.测试结果

ResNet鄄

见表2,通过对比可知,DenseNet鄄201的准确率最高,

达到了96郾50%,因此,选择此网络进行第2步的辅

助验证

摇

出的最大概率为此图片在模型的置信度

摇在第

.

2步中,设置DenseNet鄄201中

.

SoftMax

具体的辅

输

Inception鄄V3

ResNet鄄152

93郾

96郾

30

10

助验证方法为:将一张图片输入至网络,将预测结果

与实际标签对比,若分类错误,则再次确认其标签;

若分类正确,则观察其置信度是否大于0郾95,若大

于则暂且认为此图片分类正确,若分类错误则再次

确认其标签.

接着逐步添加其余图像,重复上述过程,对初步

获得的数据集进行扩大和筛选,不断提高数据集的

置信率直到构建成完整的数据集.在筛选过程中,

初次置信率未达标的图像分布如表3所示.

表3摇未达标图像分布

Table3摇Distributionoftheerrorimages

类别分布/%

Ac

Cb

As

8

9

Cc

12

Cs

Ci

14

17

Cu

18

No

8

Ns

1

Sc

St

11

1

1

摇

示

摇最终得到的数据集各类别的图片数量如表4所

摇

,

摇

图片共

数据集公布的网址如下

25119张.

https:椅github郾com/SadaharuZL

,可供下载研究

/HuaYun鄄BJUT鄄

.

1郾

MIP鄄Cloud鄄Dataset.

3摇数据集对比

表5对比了上文提到的4种数据集的类别、数

量以及类别标签,可以看到,本文构建的HBMCD数

据集种类齐全,符合国际气象组织标准,并且数量最

多,几乎是CCSN的10倍,图像质量也较之更高.

摇第5期贾克斌,等:基于轻量级神经网络的地基云图识别

表4摇HBMCD数据集信息

Table4摇InformationofHBMCD

类别数量

493

算中会保持不变,有额外的一个模块对特征图进行通

道扩增或降采样.因此,这种基本单元可以总结为一

个提取特征单元(extract鄄unit)和一个降采样单元

Ac

Cb

As

2

2

256

Cc

1

584

1

392

Cs

Ci3

302

Cu

2

075

No

3

638

Ns

3

100

Sc

1

804

St

2

236

1

148

584

总计25119

表5摇数据集对比

Table5摇Comparisonofdatasets

数据集

类别图片

数量数量

种类

HBMCD1125119

Ac、

No、Ns、Sc、St

As、Cb、Cc、Ci、Cs、Cu、

CCSN112543

Ct、Ns、Sc、St

Ac、As、Cb、Cc、Ci、Cs、Cu、

HUST91231

Sc、St

Ac、As、Cc、Ci、Cs、Cu、No、

SWIMCAT51013

No、pattern、

white、veil

thick鄄dark、thick鄄

2摇轻量级分类模型LCCNet

基于上文提出的HBMCD数据集,本节通过重

复多个轻量化的基本单元构建了一种轻量级的神经

网络模型LCCNet.

2郾1摇建模分析

云体的层次结构极为丰富,因此,为使网络更适

用于提取云的特征,所设计的网络模型需要在同一

层具有不同的感受野,从而保证在网络同一层的特

征图中的信息尽可能被利用到,实现对云体特征的

全方面、精确的提取.

同时,由于多次重复一个相同结构的基本单元构

建的网络具有易实现性及可拓展性,越来越多的网络

模型采用这种结构,如ResNet、DenseNet、ShuffleNet

等.通常而言,这种基本单元的内部特征图尺寸在运

2郾

(down

2摇基本单元

sample鄄unit)的组合,本文也将采取这种模式.

在提取特征单元中,本文利用了4种技巧,即深

度

DWConv)、

可分离卷

打

convolution)

乱(channel

逐点卷积

积(depthwise

shuffle

(pointwise

separableconvolutions,

)、膨

convolutions)、

胀卷积(dilated

通道

[21]

首先,为了降低标准卷积运算的复杂度

.

,根据分

组卷积(groupconvolutions)的思想,Xception使用了

深度可分离卷积进行逐通道地卷积.如图5(b)所示,

这种方法通过将输入通道拆分并与卷积核逐通道地

进行卷积,理论上减小了卷积核的尺寸进而大幅度地

图5摇3种卷积对比

Fig.5摇Comparisonofthreeconvolutions

494

北摇京摇工摇业摇大摇学摇学摇报2021年

降低模型的宽度.同时,逐点卷积利用1伊1的卷积

核进行通道间的信息融合以及通道的扩张,如图5

深度,又能大大地降低了模型的参数量.

(c)所示.这种方法既保留了提取特征单元的宽度与

然后,为了更充分地利用各个通道进行特征提

取,弥补模型宽度的降低,ShuffleNet提出了利用通

道间的转置将通道打乱的方法,如图6所示.这种

方法通过打乱通道间的信息,对信息在通道间进行

了一次人为的融合,使模型的理解能力增强.

图6摇通道打乱

Fig.6摇Channelshuffle

最后,为了降低模型的深度,本文采用了不同膨

胀率r的膨胀卷积.如图7(b)(c)所示,膨胀卷积

使得相同尺寸的卷积核拥有了更大的感受野,因此,

适当地利用这种卷积核可保证在提取相同层次的特

征时降低模型的深度.将这3种技巧组合,形成了

本文的特征提取单元.

8(a)

结合上述4种技巧,本文的特征提取单元如图

4

残差的提取

组通道

所示

,

.

其中第

它的流程为:首先,将输入的特征拆分为

,第2

1

组通道利用标准深度可分离卷积

组通道利用短链(short鄄cut)实现

和逐点卷积的组合进行特征提取,第3组与第4组

通道的结构和第2组相同,但是它们的卷积核使用

的是不同膨胀率的膨胀卷积,具有更大的感受野,使

得几组通道获得不同感受野的信息,以便对云这种

层次丰富的物体进行特征提取.然后,将这4组通

道连接,将通道打乱以发挥通道的表征能力,弥补通

道宽度变窄的损失.最后,利用全局池化以及2个

全连接层对相连的通道进行整体特征的提取,结果

与原通道的特征图中每个元素相乘,实现对通道的

权重

(attention

分配,

mechnism)

这种方法

[22]

被称为通道的注意力机制

的特征图更值得关注.

,它能让模型知道哪些通道

在降采样单元中,如图8(b)所示,首先,利用一

个逐点卷积对打乱的通道进行信息间的整合;然后,

分别利用3伊3的平均池化和最大池化完成空间尺

度的降采样,前者可以提取局部区域的整体信息,后

图7摇3种膨胀卷积

Fig.7摇Threedilationconvolutions

者可以提取局部区域的轮廓信息;最后,将二者的通

道相连,这样就实现了增加通道的宽度.

将重复不同次数的提取特征单元与降采样单元

相结合

Stage.

,形成了本文的一个基本单元,本文称之为

2郾3摇模型结构

下面利用不同的Stage构建LCCNet.

的3伊

LCCNet

3卷积层和池化层提取浅层信息

的结构如表6所示,首先经过一层普通

,然后利用4

个不同的Stage提取特征,其中D为上文所说的降

采样单元,E为提取特征单元.最后经过全局池化

和一层全连接层实现特征分类.

表中Stage的数量、输出通道数以及各模块重

复次数等参数是通过多组对比实验选出的最优方

案,保证准确率的同时最大程度压缩模型的规模.

摇第5期贾克斌,等:基于轻量级神经网络的地基云图识别

495

图8摇模型基本单元

Fig.8摇Modelbasicunit

表6摇模型结构

Table6摇Modelstructure

层输出尺寸核尺寸步长

重复输出

次数通道数

输入图像224伊2243

Conv1

MaxPool

224

112

伊2241

3

伊

伊

1

3

1

2

124

Stage2

D56

伊

E56

伊

112

1

2

48

Stage3

D28

伊

56

56

E28

伊281

3

96

Stage4

D14

伊28

1

4

192

Stage5

D

E14

伊

Conv6

E

7

伊

14

7

伊

14

71

7

伊73

384

Fc

GlobalPool1

伊

伊

7

1

1

7

伊

伊

1

7

11

1

256

11

3摇实验设置与结果

本节将介绍具体的实验内容,包括实验配置、模

型的可视化、实验结果及分析.

3郾1摇实验配置

本文首先将按照8颐1颐1的比例分成训练集、验

证集和测试集,然后对数据集进行数据增强,即通过

图像旋转、裁切等方式使数据集规模进一步扩大,然

后进行训练与测试,并且使用交叉验证将上述操作

重复6次取实验结果的平均值.本文使用Pytorch

框架对LCCNet进行搭建,损失函数为交叉熵函数,

优化器为Adam,迭代次数设置为100,初始学习率

为0郾01.

3郾2摇模型可视化

本文尝试了用Grad鄄Cam

[23]

方法对模型进行可

视化,如图9所示.Grad鄄Cam的步骤为:选取特定目

标层数,对此层数的所有通道进行加权平均,并以热

力图的方式展现模型的提取特征能力

Stage4

在图片上

作为目标层数

.本文选取了

,选取了

.

3种基本形状的云图,即卷

云

Stage4

、积云、层云以及1类无云,在模型上选取了

更注重右上部分的图像特征

层.可以看到,在卷云的

.观察原图

Grad鄄Cam

,在右上角

中,模型

496

北摇京摇工摇业摇大摇学摇学摇报2021年

Fig.9摇Modelvisualization

图9摇模型可视化

确实有非常明显的马尾状的卷云.在积云图片的

Grad鄄Cam中,模型更注重中左侧部分的图像特征,

观察原图确实是整块浓积云的主体.在层云图片的

Grad鄄Cam中,模型更注重中左上部分的图像特征.

观察原图,虽然层云几乎充满了整张图片,但是最清

晰的部分集中于中左上部分.而在无云中的Grad鄄

云的区域没有关注.通过这4种基本形状的云图,

可以看到LCCNet确实可以提取到图片有效特征以

实现对云状的分类.

3郾3摇实验结果

1)混淆矩阵

Cam中,模型只关注了太阳附近的区域,而其他没有

混淆矩阵如图10所示.可以看到11个类别的

整体实验结果都比较好,而其中卷积云、卷层云、卷

云3个种类之间较容易发生混淆.事实上,这3种

2种甚至3种云,而在数据集中本文依据某种云分

布区域的大小来决定这个图片的标签,当这几种云

可能出现混淆,如图11所示.

由表3可发现,在构建数据集时初次未达标的

图像种类的分布也与混淆矩阵的结果一致,即卷积

云、卷层云、卷云三者出现未达标的概率较大,需多

的占比相似时,模型可能会模糊不清,而人工判定也

云之间的变换非常频繁,因此,在图像上经常存在这

Fig.10摇Confusionmatrix

图10摇混淆矩阵

次重复校验.

但为了使数据集更具有实用性和可靠性,并没

有将这些图片删除.另外,还有2组云,即积云和积

雨云,也较容易发生混淆,这2种云在地对空的角度

拍摄的图片中很难分辨,因此,数据集自身就有混淆

的成分.

2)单类的评价指标

针对单独的每类云,本文测试了查准率(precision)

摇第5期贾克斌,等:基于轻量级神经网络的地基云图识别

497

a区域为卷云;b

图

区域为卷层云

11摇易混淆的图

;c区域为卷积云

Fig.11摇Confusingfigure

P、召回率(recall)R和F

R、F

1

三个指标,结果如表7所

示.P、

1

的定义分别为

P=

t

t

+

p

p

f

p

(1)

R=

t

t

p

f

n

(2)

F

1

=2

p

+

P

PR

+R

(3)

式中:t

型分类错误的负样本数量

p

为被模型分类正确的正样本数量;f

;f

p

为被模

正样本数量.

n

为被模型分类错误的

表7摇单类评价指标

Table7摇Singleclassevaluationindex%

类别

F

R

Cu

Cc92

1

P

98

9094

Ns97

98

100

98

Cs

Sc96

95

98

Cb

9292

95

St100

96

Ac

100

98

91

94

No

9795

99

As

9999

98

Ci

96

92

97

99

93

96

92

摇摇3)

为了

多类的评价指标

(macro)和微观

验证

(

模

micro)

型的

的准确率和召回率

整体性能,计算了

.macro

宏观

指对每个类求出某个指标,然后对这些指标进行算

术平均;micro指将所有类视为一个查询,将各种情

况求和,进行指标的计算.它们的计算公式分别为

P

macro

=

1

n

移

n

1

P(i)(4)

R

macro

=

1

n

t

移

n

1

R(i)(5)

P

micro

=

p

t

t

p

摇

p

+f

p

,R

micro

摇

=

摇

摇

摇

摇

(6)

摇

t

p

+

式中:t

摇

摇

f

n

摇

p

、f

p

、f

n

分别为11个种类相应指标的算术平

均;i=0,1,…,n(n=11).

结果如表8所示,可以看到模型4个指标的平

均值为96郾0%,证明其有较高的可靠性.

表8摇多类评价指标

Table8摇Multipleclassesevaluationindex%

P

macro

RPR

95郾896郾

macro

196郾

micro

096郾

micro

平均

096郾0

摇摇4)

本文与现有其他的地基云识别算法以及产业中

与其他方法的对比

常用的几种模型在准确率、参数量、浮点运算次数上

进行了对比,结果如表9所示.其中准确率的计算

方法为

n

A=

移

1

t

T

p

(i)

(7)

式中:A为准确率;i=0,1,…,n(n=11);T为所有

图片的总数量.

表9摇结果对比

Table9摇Comparisonofresults

算法模型A/%参数量

浮点运算

次数

ESS

[9]

CNNwithTDLBP

[12]

32郾10

CloudNet

[13]

77郾

67郾10

3郾7郾

96郾

32

4郾

06

2郾

00

伊

伊

10

7

8郾

00

VGG19

DenseNet鄄201

4郾

92

伊

30

伊

10

10

伊

10

10

VGG16

86郾

50

91郾

10

1郾

00

1郾

10

9

Inception鄄V393郾

30

1郾

97

伊

10

8

55

伊

10

8

1郾

97

ResNet鄄15295郾

30

72

伊

10

8

伊

10

8

2郾10

8

2郾

56

伊

85

伊

10

11

伊

10

11

MobileNet鄄V294郾

36

1郾16伊10

8

1郾16

10

9

94郾

02

2郾24伊10

6

19

伊

伊

10

11

3郾10

10

LCCNet

ShuffleNetV鄄2

97郾

35

35

1郾26伊10

6

0郾44伊10

6

1郾50伊10

11

8郾72伊10

8

498

北摇京摇工摇业摇大摇学摇学摇报2021年

摇摇相较于现有其他的地基云图识别算法,本文的

方法无论是准确率还是参数量都具有大幅度的优

势.相较于其他经典的图像识别算法,对于较大的

模型,采取迁移学习的方式拟合本文的数据集,如

DenseNet鄄201、VGG19、VGG16、ResNet鄄152、

TechniquesofAutomationandApplications,2014,33

[3]BUCHKA,Tr,lassificationusing

whole鄄skyimagerdata,SAND鄄95鄄8475C[R].

Mexico:SandiaNationalLabs,1995.

(9):1鄄6.(inChinese)

New

Inception鄄V3、ResNet鄄152、CloudNet.对较小的模型,

如MobileNet鄄V2、ShuffleNet鄄V2

[24]

,选择重新训练,

并且实验配置与LCCNet一致.实验结果显示,

1/3,运算复杂度几乎是它的一半,但是准确率却是

LCCNet的参数量几乎是最小模型ShufflenetV2的

[4]李晨溪,付强,邓芾.基于ESS模型的云状自动识别方

法[J].解放军理工大学学报(自然科学版),2016,17

(3):264鄄269.

LICX,FUQ,ticcloudrecognition

methodbasedonESSmodel[J].

UniversityofScienceandTechnology(NaturalScience

JournalofPLA

所有模型中最高的,证明LCCNet的设计确实降低

了复杂度并且保证了提取图片特征的能力.

4摇结论

标注和迁移学习等步骤

1)利用全天空成像仪

,构建了涵盖

,通过图像预处理

11个标准类

、人工

、2

万余张地基云图的数据集,并在云图种类、云图的规

范性上与现有公开数据集进行了比对,表明本文构

建的数据集具有规模大、种类全、分辨率高、角度固

定等优点,为后续基于该数据集进一步开展云状分

类计数研究奠定了基础

了轻量级云图分类模型

2)基于重复提取特征单元及降采样单元

.

LCCNet.在分类准确度上

,构建

,

将本文模型与现有其他方法以及多种经典模型进行

了比对,准确度最高,达到了97郾35%;在轻量级程

度上,与现有的MobileNet鄄V2等轻量级模型进行了

比较,参数量及运算次数几乎达到了ShuffleNet鄄V2

的1/3.大量实验数据验证了本文所构建的LCCNet

的高效性,为专属设备的集成提供了可能性.

类图片

3)

,

目前的数据集中依然存在着容易混淆的几

在实际应用中依然存在着误检问题,因此,

需要研究多标签的地基云图方法,将混淆图片中的

云全部识别以解决此问题.下一步会将算法模型与

具体的设备结合在一起,进行更有实践性的测试.

参考文献

[1]BARRY

:

ontheobservation

ational

Meterorological

ofclouds

cloud

and

atlas,

Organization,

other

volume

meteors

I:manual

1977:

[M

323鄄

].

[2]

324.

Geneva:World

陈晓颖

及其研究进展

,宋爱国

[J].

,李建清

自动化技术与应用

,等.地基云图云状识别技术

,2014,33(9):

1鄄6.

CHEN

recognizing

XY,

ground鄄based

SONGAG,LI

cloud

JQ,

technology

ss

[J].

in

[5]张弛

Edition),2016,17(3):264鄄269.(inChinese)

融合的云状识别方法

,刘钧,李旭光,

[J].

等.基于可见光

气象与环境学报

-红外图像信息

,2018,34

(1):

ZHANG

82鄄90.

method

C,LIUJ,LIXG,etal.

images

based

[J].

on

Journal

information

ofMeteorology

fusionof

A

visible

cloudclassification

andEnvironment,

andinfrared

[6]

2018,

DENG

34(1):

large鄄scale

J,DONG

82鄄90.

W,

(in

SOCHER

Chinese)

R,etal.

ofthe2009

hierarchical

IEEEConference

imagedatabase[

onComputer

C]椅

Imagenet:

Proceedings

a

away:IEEE,2009:

Vision

248鄄255.

and

[7]KRIZHEVSKY

Imagenet

networks[C]

classification

A,SUTSKEVER

椅Advances

with

I,HINTONGE.

inNeural

deep

Information

convolutionalneural

Systems.

SZEGEDY

Cambridge,

convolutions

C,

[C

LIU

]椅

W,

MA:

Proceedings

JIA

MIT

Y,

Press,

etal.

2012:

of

Going

1097鄄1105.

Processing

[8]

the2015

deeper

IEEE

with

ConferenceonComputerVisionandPatternRecognition.

[9]

Piscataway:

HE

forimage

K,ZHANG

IEEE,

recognition[

X,

2015:

REN

C]椅Proceedings

S,

1鄄9.

of

residual

the2016

learning

ConferenceonComputerVisionandPatternRecognition.

IEEE

[10]

Piscataway:

SZEGEDY

IEEE,

Rethinking

C,VANHOUCKE

2016:770鄄778.

V,IOFFES,etal.

[C]

Computer

椅Proceedings

theinception

Visionand

of

Pattern

the

architecture

2016

Recognition.

IEEE

forcomputer

Conference

vision

Piscataway:

on

[11]

IEEE,

HUANG

2016:

Densely

G,LIU

2818鄄2826.

Z,VANDER

Proceedings

connected

the2017

convolutional

MAATEN

IEEEConference

networks

L,

[C

et

]

al.

椅

Visionand

of

away:

onComputer

2017:4700鄄4708.

IEEE,

[12]CHOLLET

separable

on:deeplearningwith

IEEEConference

convolutions

on

[C

Computer

]椅Proceedings

Vision

of

depthwise

and

the

Pattern

2017

摇第5期贾克斌,等:基于轻量级神经网络的地基云图识别

499

[13]SANDLERM,HOWARDA,ZHUM,net鄄

V2:invertedresidualsandlinearbottlenecks[C]椅

VisionandPatternRecognition.

Proceedingsofthe2018IEEEConferenceonComputer

2018:4510鄄4520.

Piscataway:IEEE,

away:IEEE,2017:1251鄄1258.

光辐射预测研究及应用[D].南京:东南大学,2017.

chandapplicationofcloudpattern

recognitionandultrashorttermdirectsolarradiation

[20]blenewtechniqueforcamera

calibration[J].IEEETransactionsonPatternAnalysis

andMachineIntelligence,2000,22(11):1330鄄1334.

Deeplab:semantic

convolutionalnets,

image

atrous

segmentation

convolution,

with

and

[21]CHENLC,PAPANDREOUG,KOKKINOSI,etal.

SoutheastUniversity,2017.(inChinese)

predictionbasedonneuralnetwork[D].Nanjing:

[14]ZHANGX,ZHOUX,LINM,enet:an

extremelyefficientconvolutionalneuralnetworkformobile

devices[C]椅Proceedingsofthe2018IEEEConference

IEEE,2018:6848鄄6856.

away:deep

fully

DEV

image

S,

[C]椅Proceedings

patches

LEEY

using

H,WINKLER

of

an

rizationofcloud

2015

improved

IEEEInternational

texton鄄based

Conference

approach

ZHUO

426.

away:IEEE,2015:422鄄

ground鄄based

W,CAOZ,XIAO

Atmospheric

imagesusing

and

texture鄄structure

lassification

OceanicTechnology,

features[

2014,

J].

of

31(1):

Journalof

LIUS,

79鄄92.

multimodal

DUANL,ZHANGZ,chical

weather

(1):

station

fusionforground鄄basedcloudclassificationin

ZHANG

85688鄄85695.

networks[J].IEEEAccess,2019,7

based

J,

network

cloud

LIU

classification

P,ZHANG

with

F,

deep

etal.

convolutional

CloudNet:ground鄄

(16):

[J].GeophysicalResearchLetters,2018,

neural

45

赵亮亮

8665鄄8672.

.基于神经网络的云图识别与超短期直接太阳

connected

Analysisand

CRFS

Machine

[J].

Intelligence,

IEEETransactions

2017,40(4):

onPattern

834鄄

[22]

848.

HU

[C]

J,SHENL,eandexcitationnetworks

IEEE,

Computer

椅Proceedings

2018:

Vision

7132鄄7141.

and

of

Pattern

the2018

Recognition.

IEEEConference

Piscataway:

on

[23]SELVARAJU

cam:

based

visualexplanations

RR,COGSWELL

fromdeep

M,DASA,鄄

Conference

localization

on

[C]椅Proceedings

networks

ofthe

via

2017

gradient鄄

IEEE

[24]

Piscataway:

MA

practical

N,ZHANG

IEEE,

Computer

X,

2017:

VisionandPatternRecognition.

ZHENG

618鄄626.

H

[C]

Computer

椅Proceedings

guidelines

:

of

for

the

efficient

T,enet鄄V2:

Springer,

2018European

cnnarchitecturedesign

(责任编辑

2018:

Conference

116鄄131.

on

摇梁摇洁)

[15]

[16]

[17]

[18]

[19]