青海省气象综合业务实时监控系统ElasticSearch数据库分析

隹

Isl^iSls

V

1

张嘉男

（青海省气象信息中心

，

青海西宁

810001

）

2021

年第

02

期

（

总第

218

期

）

青海省气象综合业务实时监控系统

ElasticSearch

数据库分析

摘要

：

青海省气象综合业务实时监控系统采用分布式存储引擎

ElasticSearch

存储数据

，

通过并行计算技术

，

最终实现对

数据全流程

、

核心业务系统

、基础设施资源池

、

网络与安全

、

场地环境的综合监视与集中告警

，为实现运维无纸化、

便捷

化

、

规范化

、

自动化

、

智能化的运维需求

，

提高青海省业务运维保障能力

。

关键词

：

气象;实时监控;

ES

数据库;运维

中图分类号:

TP391

文献标识码:

B

文章编号

：

2096-9759

（

2021

）

02-0155-04

0

引言

随着气象信息化

、

集约化

、标准化进程的加速推进

，

建立

统一数据环境

、

整合业务应用系统

、

建设集约共享的基础设施

资源池和大数据平台等各项工作都在稳步推进和实施

，

气象

性

、

质量及时效的监控功能缺乏

，

另外

，

现有监控系统架构中

，

监视信息的釆集

、

处理

、

存储等系统部署等都与业务系统“

紧

耦合

”

，

海量的监视信息与海量的业务数据信息的共同存储

管理，

严重影响业务系统性能

，

无法隔离监控系统故障对业

务系统的影响

。

因此

，

急需建立全流程

、

一体化

、

可视化的气

象综合业务实时监控系统

，

实现对观测

、

信息

、

预报预测

、

公

业务信息化正由技术应用走向工作协同

。

在以信息化驱动现

代化快速发展的过程中

，

不同用户对于信息系统建设提出更

共服务及政务的全业务流程一体化监控

，

监控运维覆盖气象

高的要求

，

不但需要熟练运用各类技术工具作为辅助支撑

，

而

且需要具备能够实现数据集约共享

、

敏捷高效

、

功能完备的应

数据生成

、

收集

、

加工处理

、

存储

、

共享服务和应用各个环节,

能及时发现与处理业务运行问题

，

做到故障及时发现

、

问题

用生态环境

。

青海省级监控系统和国家级监控系统之间打通

业务流程

，

在国家级实现对全国业务的集中监视

，

在省级能可

视全国业务链

，

对保障国省运维数据的一致性

、

提高业务故障

快速定位、

故障迅速解决

，

以提高故障处理时效

，

增强业务系

统的稳定性

。

的分析能力

，

促进国省业务流程优化

，

国省业务布局优化

，

具

2

系统设计

2.1

总体框架

为实现国省统一布局

，

青海省气象综合业务实时监控系

有重要意义

。

因此

，

急需打通气象综合业务监控流程

，

实现业

务集中监控

、

有机融合

，

构建开放的

、

全流程

、

一体化

、

可视化

的气象综合业务实时监控系统

，

提高集约化后的气象业务运

统完全依托于现有国家级监控系统框架

，

包括综合监视子系

统

、

集中告警子系统

、

运维管理子系统

、

运营服务子系统

、

监控

行质量与效率

。

接口子系统

、业务系统对接子系统

。

基于开放

、

可扩展

、

高性

能的监控技术平台

,

搭建开放

、

可扩展

、

高性能的监控平台,

支

1

现状分析

目前气象业务现有监视系统数量多

,

现有监控系统普遍

持对气象综合业务系统及其基础设施资源、

气象数据全流程

的监控

，

如图

1

=

侧重于基础平台及应用进程监视

，针对业务应用的数据完整

图

1

监控系统总体框架

收稿日期

：

2020-12-29

作者简介:张嘉男

（

1994-

）

,

女青海西宁人

，

青海省气象信息中心助理工程师

，

硕士研究生

，

研究方向:气象信息技术

、

无线传感器网络

。

155

Changjiang

Infonnation

&

Commumcations

张嘉男:青海省气象综合业务实时监控系统

EteticSearch

数据库分析

2.2

软件架构

软件结构共分为四层

，分别为数据采集层

、

数据处理层

、

数据存储层

、

数据展示层

。

数据采集层:通过统一监视信息采集接口

，

采用代理和远

程的方式

，

支持分布式采集汇聚,通过各类本地与远程采集协

议获取监测源的状态

、

指标

、

事件等监控信息

。

采用

“

推

”

“

拉

”

两种方式收集观测系统

、

基础设施资源

、数据全流程

、

气象

、

气

候

、

信息

、

卫星

、

公服

、

人影等业务应用系统的运行状态

。

数据处理层:采用

Kafka

高吞吐量数据队列等数据总线方

式对数据进行数据消峰和缓冲;采用

Spark

Stream

实时流处理

框架和

SparkSQL

等处理框架,对数据进行分析告警处理

、

指

标计算

、

统计分析。

系统读取

Kafka

队列缓冲的数据,结合数

据库数据

，

开发

SQL

语句将数据加载为

DataFrame,

利用

Dat-

aFrame

上的

API

进行査询

、

转换

、

计算

，

生成结果存回数据存

储层

。

图

2

数据处理流程

存储层:采用混合化的存储管理模式

，

包括基于

Redis

的

数据缓存热点管理

，

基于

Cassandra

等设计的在线时序化指标

存储,基于

ElasticSearch

等非结构化大数据存储方式

，

实现高

效海量监控数据存储

，

基于

MongoDB

实现较灵活的

CMDB

基础设施资源配置管理数据库的存储。

展示层:采用

Spring

框架设计监视和运维等页面,采用

D3

组件进行数据可视化组件开发

。

实现监视信息的监视页面展

示

、

告警集中展示

、

大屏幕显示

，

实现运维流程界面和运营服

务界面

。

图

3

软件架构

3

ES

数据库

Elasticsearch

(简称

ES)

数据库是一个分布式存储引擎,它

可以实时存储并检索序列化的

JSON

(Javascript

Object

Nota

­

tion)

在

Elasticsearch

中

，

每一个字段的数据都是提

供反向索引的

，

能实现高效的访问性能

。

Elasticsearch

主要包

括以下术语

：

索引

(index

〉：

索引是一个拥有相似特征的文档的集合

。

一

个索引由一个名字来标识(必须全部是小写字母的九

类型

(type)

：

在一个索引中

，

可以定义一种或多种类型

。

一

个类型是索引的一个逻辑上的分类/分区

。

通常会为具有一组

共同字段的文档定义一个类型

。

文档

(document)

:

一个文档是一个可被索引的

JSON

格式

的基础信息单元

。

分片

(shaEs)

：

_

个索引划分成多份

，

这些份就叫做分片

。

分片能对大量数据做横向切分

。

分片可以被放置到集群中的

任何节点上

，

可以进行分布式的

、

并行的操作

，

提高性能和吞

吐量

。

副本

(replicas)

：

副本表示一个源数据存储副本的份数

。

副

本可以提供高可用性和访问的并发处理

。

3.1

数据采集环节监控数据流程

本省内资料从台站生成发送

、

市级接收发送

、

省级接收发

送

、

国家级接收

、

国家级依托

CMACast

(卫星数据广播系统接

收站)和数值预报云等平台下发的资料

、

及基于

CTS

的省级资

料服务的全流程监视

，

依靠在各应用节点的每个采集节点部

署采集应用

，

以便了解气象数据的详细传输情况，

提供对数据

传输过程中涉及到的各个节点(包括台站

、

市

、

省三级)

，

各个

环节(气象数据的采集

、

传输

、

质控

、

存储

、

分发

、服务)以及对

应时间点的相关状态信息进行采集的服务

，

支持文件

、

消息

、

流等各类具备规范传输格式的气象数据的相关信息采集

。

对于卫星广播资料

，

CMACast

主站将文件的广播日志文

件分片

(1

分钟一个文件)发送到小站服务器

。

CMACast

接收

到主站广播的日志文件转存到指定目录

。

采集程序

(dataflow

­

collection-server)

首先根据

读取广播

日志文件和接收日志

文件,其次根据配置的下行资料文件名解析规则

，

解析出日志

文件中每条记录对应的资料

。

最后把解析结果转成下行采集

DI,

发送到日志库经过数据全流程的预处理,把数据存入

Elas

­

ticSearch

数据库

。

数据展示程序

(dataflow-web)

根据前端请

求

，

对数据进行统计

，

形成査询结果返回给用户

o

全流程监控信息包含报文名

、

资料类型

、

资料时次

、

生成

时间

、

发送时间

、

文件名

、

文件数量

、

文件大小

、

收集资料完整

性

、

入库资料完整性

、

处理资料完整性

、

分发资料完整性

、

全流

程详情与耗时等

。

⑴元数据采集

：

在全流程传输的各个节点部署采集代理程序

，

采集代理

程序增量获取指定目录下的文件信息或者通过网络抓包的方

式抓取

FTP

协议传输的数据

，

并对获取到的数据进行分析组

装

，

并调用采集框架服务端接口，

将采集到的数据存入

MYSQL

数据库

。

(

2)

元数据处理推送

RESTfol

格式监控信息

：

采集代理服务端程序定时抽取

MYSQL

中存入的数据

，

根据配置的解析规则进行数据解析和丰富，

并封装成

restful

API

接口格式推送到监控系统

。

日志数据存储在

ElasticSearch

中

：

Index:

原始日志按天分片存储,每天生成一个

Index

。

这

个以日期划分的

Index

中存储各种

type

的日志原始数据

。

Type:

在收集环节的日志

Type

主要包括:业务对接代理对

采集代理采集日志进行格式转换后的上行资料传输

(

Type

为

RT.

COLLECT.

UP)

和下行资料传输(咖为

RT.

COLLECT.

DOWN)

o

每一条日志信息是一个

Documento

156

Changjiang

Information

&

Communications

张嘉男:青海省气象综合业务实时监控系统

HasticSeardi

数据库分析

汇聚层

采集层

Avro

I

(OpenAPi)

数据接口

CTS2.0Flurne

Avro

source

Spigbl©

Memory

八

WQ

图

4

信息处理模块

Document:

以

Json

格式保存与查询

,

Type

为

-

3.2

数据收集环节监控数据流程

⑴

CTS2.0

对接日志

协议接口

,

发送

JSON

格式的台站级信息到监控系统

。

⑵存储

日志数据存储在

ElasticSearch

中

：

可视为

kdex

、

T^pe

、

CTS2.0

系统将业务数据的收发日志推入日志网关系统

中

，

包括消息传输

、

文件传输和流传输方式的所有业务数据收

发处理信息

，

如消息收集日志

、

文件收集日志

、

文件发送日志

、

文件格检日志等

。

CTS2.0

每台机器均部署有日志网关分别对

文件传输、

消息传输和流传输进行日志处理

，

其中每台机器部

署多个

Flume

进行任务分担

oCTS2.0

日志信息接入天境平台

需要在

CTS2.0

日志网关中增加一路分发

，

即在

Flume-lb

中增

加往实时监控系统日志信息处理模块的分发

。

Document

三个层次,可理解为相当于关系数据库的库、

表

、

记录

。

Index

：

每天生成一个

Index,

以按日期进行数据切分

。

Type

：

台站级资料处理详细信息

Type

为

RT.

DPC.

STA-

；

Document

：

以

Json

格式保存与查询，

Type

为

RT.

DPC.

。

3.4

ElasticSearch

表结构

针对

CTS2.0

发送的

DI

信息

，

数据全流程涉及的表结构

如下

：

日志网关系统采用

Flume

框架,对接

CTS2.0

Flume

的日

志信息处理模块都分为两层

，

一层员责对接各个

CTS2.0

日志

序

号

表

］

ElasticSearch

表结构

属性名称

业务状杏

英文标识

属性含义

业务环节处理的业务状态

网关

，获得原始数据封装为监控系统平台所需的

DI

消息，

即

采集层

Agent-coll-flume,

另一层是将封装好的日志信息发往

1

BUSINESS.

STATE

DATA_TIME

2

强料业务时次

资料编码

监控系统平台

Restfiil

接口

，

即汇聚层

Agent-out-flume«

通过

消息收发通道和文件收发通道

（

数据量超阈值时采用

）

，

将原

始日志数据推送给业务系统对接模块的采集层

Agent-coll-flu-

3

4

父代资料编码

DATA_TYPE

DATATYPEI

DATA_UPDA

丁

E-FLAG

F1LE_NAME_N

FILE_NAME_O

本坏节处理后的资料编码

父代资料编码

（

若前后无变化

同资料编码

）

me,

如图

4<>

（

2

）

业务系统对接模块推送

Restful

格式监控信息

业务系统对接模块对

CTS2.0

原始日志进行解析和格式

转换处理

，

将

CTS

日志网关

Flume

的

Avro

Sink

传输过来的数

据,封装成

restful

API

接口格式

。

根据

《

气象信息业务监控信息内容规范

》，

资料收集环节

5

资料更正标识

新文件名

姑级齋料的更正表示.如

顶或文件名中的更止标识

处理后文件名

处理前文件名

6

7

S

9

原始文件名

台站号

处理结聚时间

处理环节

根据处理资料的类型

，

分别根据

REST&1

协议接口,发送

JSON

格式的台站级信息

。

日志数据存储在

ElasticSeaich

中

：

10

11

12

13

处理开始时间

系统处理状态

lliii

PROCESS_END_T1ME

PRQCESS_LINK

PROCESS

_STA

RT

Tl

M

PROCE

込

STATE

RECEIVE

台站号

业务环节结束处理肘阿

业务系统关键业务环节

业务坏节开始处理时阿

E

梅个业务环节处理的系统运行

状态

当业务系统为

CTS并且坏节为

收集时,为舍站拧政区划编码,

钛他业务系统及环廿为上游蔡

统编码

Index

：

原始日志按天分片存储,每天生成一个

Index

。

这

个以日期划分的

Index

中存储各种

type

的日志原始数据

。

Type

：

在收麋环节的日志环主要包括:业务对接代理对

CTS2.0

日志进行格式转换后的台站级资料处理详细信息

（

Type

为

）

。

每一条日志信息是一个

Docu-

资料来源

14

记录时何

RI-CORD_TIMI-

DI

记录时间

当业务系统为

CTS

并

11

环节沖

分发时

，为资料分发用户编码

，

具他业务系统及坏节为下游系

统編码

业务系统名称，

如

CTS

、

DPC

、

SOD等

15

16

资料去向

SEND

mento

Document

：

以

Json

格式保存与査询

，

iype

为

RT.

CTS.

3.3

数据处理环节监控数据流程

⑴采集

业务系统

資料传输时次

报告类别

17

18

根据《

气象信息业务监控信息内容规范

》，

处理入库日志

SYSTEM

TRAN_TIME

TT

资料生成传输时次

报文资料的

TT项

，

若无此属性

为空

由简约处理流程环节根据处理资料的类型

，

分别根据

RESTfal

（

下转第

161

页

）

157

Changjiang

Information

&

Communications

康随武:乌鲁木齐国际陆港区中昵甌集结中,潴息系统设计与应用

口系统

、

铁路虚拟卡口系统

、

视频监控系统

、

海关监管区无线信

息系统

、

海关办公骨理信息系统

，

最终实现了整个集结中心场区

智能化管理

，

对今后的工作有很强的参考和借鉴价值

，

由于新疆

是

“

一带一路"核心区

，

与中亚地区历史文化渊源深厚

，

特别是中

亚国家正处于加快建设的发展期，

商贸合作空间十分广阔

，

建设

数字化

、智能化陆港型大型物流集散中心更是一种趋势

。

本次

集结中心信息系统可作为后续建设智能化陆港型集散中心应

用的范例

，

通过进一步深入的研究和调査,跟踪用户使用体脸,

将研究成果推广至其他陆港型集散中心信息化建设中

。

参考文献

：

[1]

中国人民共和国海关总署公告.

《

海关监骨作业场所(场

图

7

集结中心铁路虚拟卡口及箱号识别系统

地)监控摄像头设置规范

》

[ZJ.2019

年第

69

号

：

5-18.

[2]

井小洁.邯郸国际陆港物流园区发展对策研究

[D].

河北:

河北工程大学硕士学位论文,

2018:45-50.

⑶吴志伟.铁路智慧物流园信息管理平台物联网技术研究

[J].

《

铁道运输与经济

》

,

2020(

10)

:

14-20.

[4]

中国铁路总公司

.Q/CR

9133-2016

铁路物流中心设计规

范

[S].

北京:中国铁道出版社

,2016.

[5]

中国国家铁路集团有限公司.集装箱智能场站带动铁路物

流园功能升级

[J].

《

铁路采购与物流

》

2019(

⑵

:36.

[6]

李守林.基于物联网驱动的物流园区信息化研究

[D].

北

京:北京交通大学博士学位论文

,2016:30-42.

[7]

刘承朋.内河港口物流园区规划影响因素研究

[D].

重庆:

重庆交通大学硕士学位论文

,2018:19-26.

图

8

场区内智能化作业

[8]

刘航源.基于物联网的杭州市农业物流园区信息平台建

设研究

[D].

吉林:吉林大学硕士学位论文

,2016:25-30.

3

结语

综上

，

本文对乌鲁木齐国际陆港区中欧班列集结中心信息

[9]

李忠琳.浅谈物流园信息化建设的作用和原则

[J].

《

信息系

统工程

》

,2020(

06):

120-121.

系统设计与应用做了详细阐述

，

根据集结中心实际信息化建设

[10]

郑秀恋;李竹英.我国绿色港口物流发展路径研究

[J].

《

物

流工程与管理

》

,

2019(

11)

:

1-3.

需求设置了符合生产作业的信息系统

，

包含了海关公路智能卡

(上接第

157

页

)

根据上表规范

，

在

ElasticSearch

搜索引擎中可

海气象业务高度集约化背景下的集中监控运维保障业务需

快速査询到当前时间的

CTS

的

DI

收集信息,如下图所示

：

求

，

打通了气象综合业务的监控流程

，

实现气象业务

“

全流

程

、

全要素

、

全过程

”

的横纵一体化监控布局

，

横向覆盖观

SQL

Query

，

2Ua

•

!U

测

、

信息、预报

、

服务、

政务等气象业务全流程

，

以及气象资

OZ

HATIOL

：

：

如

MTJLTO

:

OMLOMiraf

料采集

、

传输

、处理

、

存储

、

加工

、

服务数据全流程

；

纵向则

覆盖场地环境

、

网络

、

服务器

、

存储

、

中间件

、

应用软件等

，

逐步实现监控运维的自动化

、

智能化,促进气象数据融合、

业务信息融合

、

业务流程优化,推动气象业务综合化

、

集约

Results

(200/1286)

Show

10

*

inlnta

化发展

。

Swh:|

参考文献

：

SYSTEM

.0

courtrf

cdtcficnTim*

.M

[1]

孙超,肖文名

，

陈永涛

，

等.气象综合业务实时监控系统的

0F

」

上湖

5010«20»»_55_

耐醐

刚

iwnoQ

iwnwewra

丄如肿

WMMQOa

设计

[J].

气象科技进展

,2018.

[2]

李峰.综合气象观测运行监控业务及系统升级设计

[J].

气

€T$

［

测?

6000000

I601T69WS268

^SURFj.K0B.2OWM»00IX

象科技,

2014,42(4):539-544.

⑶沈文海."智慧气象"内涵及特征分析

[J1.

中国信息化

,2015

cn

2

咖丄湘-购醐

WWgME

514

teoiww

(1):80-91.

[4]

谭军

，

王文亮.国家电网数据中心一体化监控系统的部署

实施

[J].

电力信息

2011(10):92-96.

图

5

国家站小时

bufi

•的

CTS

DI

信息

4

结语

青海省气象综合业务实时监控系统的实现，

满足了青

[5]

董保华

，

赵博

，

张军

，

等.省级气象信息综合监控报警系统

的设计与实现

[J].

信息通信,

2015,

No.l54(10):121-123.

161