基于WEB的气象数据共享平台研究与应用

基于WEB的气象数据共享平台研究与应用李林,郭彩莲()青海省气象信息中心,西宁810000/摘要:针对各类气象数据,建立了结构化和非结构化的气象数据表,为用户提供了基于BS架构的气象数据服务平台。该平台对海量信息具有数据信息的整合、存储、管理、备份、共享功能,基于WEB的气象数据共享平台正好满足了上述要求,并且针对需求进行分析,包括数据库设计、元数据设计、通过测试用例得到准确度很高WEB服务技术实现该平台,的测试结果,达到了预期的效果,具备了实际应用价值。关键词:气象数据;数据库;共享平台中图分类号:TP31

文献标识码:AResearchandAlicationofMeteoroloicalDataSharinlatformBasedonWEBppggP,/tablesareestablishedwhichprotformhasthefunc-g:A,,Abstractimintavarietfmeteoroloicalinformationresourcesinthepaerthestructuredandunstructuredmeteoroloicaldatagayogpg(,)QinhaiMeteoroloicalInformationCenterXinin10000,Chinaggg8,LiLinGuoCailian,,,eoroloicaldatresultswithhihacp,,thetestcasestheqgggyg:m;;Keordseteoroloicaldatadatabasesharinlatformggpyw引

言划分,采取用户管理访问机制按照用户级别和信息级别管理信息共享平台,以O基于元数据描述,racle为数据库,采用WE登录、数据查找、统B服务技术满足用户的注册、计等需求的高效敏捷的数据交换体系平台,并且面向交通、工矿、水利、林业、农业、牧业等多领域的数据共享服务,具备规范化的数据加工和存储体系。功能上兼容各种气象观测资料,以气象自动观察站为主体,雷达探测资料为辅助,兼具气象卫星信息,提供实时、全天候的面向政府、企业、公众用户的预警预报信息、中长期天气预报信息,运行在气象业务网的分布式数据库上的稳定硬件支撑平台。核心性能需求包括各种信息的统计,该共享平台应具备可扩展性、可维护性和时效性,通过分发式的用户级别授权管理用户,在软件应用层上保持良好的可持续性和高可靠性,对于气象数据的高吞吐量有着良好的读写能力。]1,气象数据信息是基础性的信息资源[是人类社会活]2,动的必备条件[也在许多领域扮演着重要的角色,如今人们对于气象信息,尤其在气象预报、灾害预防等方面的关注意识逐渐增强。气象信息数据共享平台的建设也就显得十]]34,。在中国,分紧迫[是我国气象事业的重要部分[气象服务事业的建设已经取得一些进展,空基、地基和天基相结合]5。气象地面监测站在农业、的监测系统已经建立完善[民航、军事领域形成了较大的规模,各省市建立起数以万计的自动气象站,并且在其中增加了气象数据挖掘、大气成分分析等功能。配套的气象雷达、电子探空设备提升了气象信息探测的精度,同时包含极轨道气象卫星等各类气象卫星]6。全国各省市气象服务节目数的监测体系已经基本建立[千种,电视节目中的天气栏目也在不断增加,电视、广播、手[]7机APP等成为人们获取天气信息的主要渠道。1.2

系统整体设计基于一定原则的气象数据共享平台可以访问特定区域的数据库,该平台应实现几个重要部分:客户端的开发、服务器端的开发、系统软件支持。其总体框架如图1所示。软件架构是实现总体软件设计的宏观描述,并且对各1

共享平台设计与实现1.1

需求分析该共享平台对结构化和非结构化的数据进行合理地

敬请登录网站在线投稿

2019年第3期

2 3

表中,其内容包含表名,如表2所列。中文名气压层风速单位测站高度经度纬度区域代码字段名ResureLevelGduUnitLonLatAdfd表1

区站号元数据的表结构字段类型()numbe5()numbe5()numbe5()numbe5()numbe5()numbe5()numbe5()numbe5()numbe5()numbe5()varchar25()numbe5图1

总体逻辑架构图国家代码站台标志观测类型T观测类型P台中文名观测类型S个实现模块合理地进行划分,整个系统应当包括气象新18]。地区级的共享平闻、灾害预警、公共服务等几个单元[CoutureCodeNadaCodePGctpSGctpNameTGctpArea台不仅收集本区域内的气象数据进行统计,还要提供不同级别的信息服务。其网络的拓扑结构以交换机和路由器为纽带将卫星气象数据、广域网、局域网和网络数据联系在一起,并且和终端搭建通路,使整个共享平台系统处于有序的管理之中。在整体平台设计中整合各类用户资源,其数据处理流程包括数据信息的采集和识别、加工分析、编辑、审核、分发等步骤,并且在整个流程中,实时记录处理情况和执行细节,将其展示给决策部门。系统功能包括以典型天气为主,结合各类相关数据,诸如雷电暴雨天气、自动站雨量监控等汇集到平台上。气图2

气象数据收发象数据收发过程判断如图2所示。过程判断流程气象数据共享结构如图3所示。气象数据加工处理流程如图4所示。表2

数据化信息元数据的表结构种类别名种类标识要素表名链表名要素表是否分区表结构元数据表名字段名_D_ADataIlias_T_NEleableame_DataID字段类型()varchar64()varchar64()varchar64()varchar64()char5_T_P_EleableartInfo_T_NMetaableame所列。非结构化的数据保存气象数据属性的类别,如表3表3

非结构化结构表元数据的表结构种类别名种类标识要素表名链表名字段名_D_ADataIlias_T_NEleableame_DataID字段类型()char5()varchar64()varchar64()varchar64()varchar64要素表是否分区表结构元数据表名_T_P_EleableartInfo_T_NMetaableame图3

气象数据共享结构利用该气象共享平台上的元数据,在特有的元数据支持的任务操作环境下实施气象元数据的处理,气象数据检索下载流程图和后台数据管理结构图如图5、图6所示。选用基于Linux操作系统的气象局系统专用的1.3

元数据设计19]。本平台的元数据环境的数据[元数据主要指描述数据及其1.4

数据库设计主要用于描述数据库中存储数据的各类信息,主要可以分为静态元数据和动态元数据。站号元数据存储在共享平台,主要是属性信息,站号元数据表结构如表1所列。气象数据的属性信息依据不同的类别存储在结构化的元数据图4

气象数据加工处理流程建立完备的服务器运行环境,结合高Oracle10g数据库,精度的电子地图实现地理数据的分层管理。数据存储方式主要分为结构化数据表和非结构化数据表。结构化数据和非结构化数据的主要区别在于是否用二维表的结构实现逻辑表达。这也就造成了两者的表达字段长度的格式不同,气象数据的数据类型及数据等级2 4Microcontrollers&EmbeddedSstems

2019年第3期

续表5序号7810119表名地面加密要素加密自动雨量站要素重要天气预报要素高压探测风变要素精细化城镇预报数据类型结构化结构化结构化结构化结构化数据等级要素级要素级要素级要素级要素级将采集到的气象数据按照国外的分类处理方式依次分为地基数据、海洋气象数据、高空气象数据、卫星数据、雷达数据、气候/气象事件。数据库临时数据表主题域字段说明如表6所列。表6

数据库临时数据表主题域字段主题地基气象数据高空气象数据海洋气象数据卫星数据气候、气象事参数前缀UA_SL_LB_图5

气象数据检索下载流程图MR_STDWT_每个用户的气象需求与服务产品联系在一起,不同预报产品的类型种类、服务渠道方式应结合定制化的用户风险阈值需求,专业用户风险阈值表如表7所列。表7

专业用户风险阈值表截取数据库字段HYPOTHERMIAWINDPOWERRAINFALLWAVEFOG字段名HYPOTHERMIAWINDPOWERRAINFALLWAVEFOG字段类型注释)高温阈值HYPERTHERMIAHYPERTHERMIANUMBER(8,2图6

后台数据管理结构图)寒冷阈值NUMBER(8,2)大风阈值NUMBER(8,2)降水阈值NUMBER(8,2)大雾阈值NUMBER(8,2)雨浪阈值NUMBER(8,2以及气象数据要素如表4、表5所列。表4数据表的数据类型及数据等级数据分类存储方式高空、地面雷达、卫星日期控制元数据数据库表外部文件数据表保存方式规定保存期限在线保存结构化数据业务数据非结构化数据元数据动态元数据静态元数据1.5

接口函数实现永久在线保存种类、结构、站号XML文件,,操作系统选用L数据库选择OinuxracleWEB服务,器为A编程语言采用C++、acheTomcatC等。数据收p发接口函数实现的功能是将气象数据传送至数据前台进行合并、打包、压缩。其中利用C++定义的数据接收函数接口如下:表5数据表的数据要素序号123456表名自动站地面气象要素国外格点场数据常规地面天气要素高空探测压温要素卫星探测资料雷达产品数据数据类型结构化非结构化结构化结构化非结构化非结构化数据等级要素级文件级要素级要素级文件级文件级{ClassDataRecvBase: Public(){}; DataRecvBase}(){}; Virtual~DataRecvBase=0{ClassDataSendBase其中利用C++定义的数据发送函数接口如下:

敬请登录网站在线投稿

2019年第3期

2 5

: Public(){}; DataSendBase}软件开发使用C以元数据为核心,采用L++编程语言,inux(){}; virtual~DataSendBase=0表8

功能测试结果表测试模块账户管理模块图片维护模块、日志系统模块、系统备份模块主页导航模块、元数据模块导航、数据集导航模块全部数据集浏览、数据集检索、关键字查询、数据集数据下载功能系统管理共享信息管理导航身份系统管理员系统维护人员用户预期结果实现实测结果实现括建立网络库、实现用户权限管理、查询气象数据、数据下载功能开发和预处理机制,气象数据先要进行处理和加工,处理的步骤主要是对数据解码、控制数据,编程开发的代码如下:{ClassDataProcessBase数据共享实现需要完成5个步骤,函数实现的功能包实现基本实现正确浏览得到相关的正确结果正确浏览: Public(); DataProcessBase(){}; Virtual~DataProcessBase=0数据查询用户基本实现() VirtualvoidSetDataNameconststrinstrName=0;g&() VirtualconststrinGetDataName=0;g}() VirtualvoidSetId=0;表9

性能测试结果表测试编号1测试内容元数据浏览测试用例按照气象数据分类输入,测试各类元数据的浏览按照多条件查询,测试共享平台多条件查询功能按照要素和时间检索,测试检索结果。按数据集合下载,测试对各种数据集结果数据量54K响应时间小于3s2

平台运行测试情况平台测试思维导图如图7所示。2数据查询320K小于30s小于34数据检索25402540K100s7s数据下载操作系统和O并且采用虚函racle数据库相结合的技术,数的方法,合理组织气象数据信息。在深入分析数据库的数据存储处理方式后,合理使用元数据的结构。针对现实生活中访问到数据库时的重点和难点问题进行了长时间的思考和研究,对在数据库中的气象数据进行查询和下载图7

平台测试思维导图的技术难点进行了攻关,并且对各级、各种类的气象设备采集到的信息进行整合,梳理和筛选,将数据适当提取后完成存档功能,对数据进行实时反馈。通过构建该数据共享平台,扩大了气象数据共享的范围,能够更好地对气象资源管理。巧妙地利用自检技术,对该共享平台进行功能测试和性能测试,顺利通过测试用例,为后续发展打下良好的基础。在未来的技术发展中,应该在共享平台的网络建设环节加入防火墙技术,保障数据高可靠性地传输。还应该考虑智能特性,如工作任务提醒等,同时也可以加入支持加入数据埋点等高级Android和iOS设备终端的子系统,功能,这些都是下一步重点研究的方向。参考文献[]刘一谦,方国强,张常亮.基于虚拟化技术构建省级气象信息1整个平台的测试主要包含功能测试和性能测试两种情形,其中又各自有不同的测试内容。功能测试包含以下功能:账户管理、认证授权、查找定位、下载服务、数据分析、信息统计、元数据管理、安全管理、备份等,检查实现的模块是否满足用户对于气象数据获取、下载的需求。功能测试结果如表8所列。性能测试表显示结果如表9所列。经过功能测试和性能测试,该共享平台可以正常运行,满足大容量高速气象数据管理、查询、下载的需求。结

语在本气象数据共享平台中采用计算机编程技术,平台2 6Microcontrollers&EmbeddedSstems

2019年第3期

[]钱峥,赵科科,许皓皓.基于A2ndroid的移动气象信息服务系]():网络系统[计算机系统应用,J.2017,2678489.]():统设计与实现[气象科技,J.2014,42199103.[]范玉鑫,陈晖,昊天亭,等.虚拟化技术在气象信息网络中的12[]肖晶晶,姚益平,金志凤,等.基于W3ebGIS的农业气象业务平[]苏晓妹,王浩宇,尹思懿,等.关于气象服务系统设计与实现13]():应用[气象灾害防御,J.2016,2314445.]():的研究[科学技术创新,J.201677575.()大气科学学报,20176.[]赵芳,熊安元,张小缨,等.全国综合气象信息共享平台架构4]():台的设计与实现[气象与环境科学,J.2.]():设计技术特征[应用气象学报,J.2.[]胡凯,]严昊,夏旻,等.基于迁移学习的卫星云图云分类[14J.[]赵冰,崔鑫,谢寒生,等.海南气象信息传输实时监控系统的5[]曹莉,高嵩,贺雅楠,等.台风及海洋气象一体化预报平台的15[]姚巍,宫志宏,李仁禹,等.气象信息微信公众服务平台设计6]():设计与实现[计算机技术与发展,J.2.]():与应用开发[气象科技,J.2016,444571575.]():应用[气象科技,J.2016,443369373.[]付会明.]江西16JSON在气象信息系统建设中的应用实践[J.]():开发与应用[应用气象学报,J.201813544.()通信科技,20182.[]刘彬,李晓鹏.基于S7ilverliht的气象信息查询系统设计与g[]尹常红,胡雅超,袁文波.17BFD技术在武汉气象信息网络中[]唐卫,王慕华,刘准,等.公共气象服务空间信息系统的研究8[]王康.气象数据库系统HT18TP信息网络安全分析与实现]()的应用[电脑知识与技术,J.20187.[]朱雪峰,方堃,侯康.网络安全技术在气象信息系统中的应用9]():与应用[气象科技进展,J.2.[]王新清,哈斯塔木嘎.基于手机A气象信息网络”远程监19PP“[]():海峡科技与产业,J.201646162.]()控系统实现[农学学报,J.2018,89.[]吴孟春,朱景,周捷,等.基于WP10F的气象信息系统的开发[]():网络安全技术与应用,J.2.]():和实现[浙江气象,J.2017,3813133.]():用[信息通信,J.2.,李林、郭彩莲(工程师)主要研究方向为气象信息技术。()责任编辑:薛士然

收稿日期:2018-11-26[]张孝龙,“田永飞.云技术”在市级气象信息系统改造中的应1122

结

语为了满足高分辨率微显示驱动芯片小型化的需求,本文提出了一种解决方案,即对输入图像进行数据压缩,减少存储数据量,在输出时进行解压缩处理恢复减少的数据量,此方案已经经过FPGA验证。参考文献图7 1080P数据处理方案图[]黄茜,耿卫东,商广辉,等.头盔式L1CoS视频数据处理系统]():的研究与设计[液晶与显示,J.2.[]金晓冬,常青.基于F2PGA的RGB到YCbCr色空间转换[]():现代电子技术,J.2009,32187375.[]向方明,朱遵义,许敬,等.3YUV到RGB颜色空间转换算法]():研究[现代电子技术,J.2012,35226568.图8

细节对比图[]庄再姣,张晋,耿卫东.一种Y4CbCr422到RGB888的数字视]频转换电路设计[南开大学学报:自然科学版,J.2015,48():5102106.[]商广辉,]代永平,黄茜,等.场序彩色视频控制系统[液晶5J./但是对于A在高帧率的情况RVR头盔和微型投影,下,人眼对于边缘细节的差异基本上可以忽略。3.3.2

面积分析/节省数据量达4MB,占总缓存量的1在63;5nm工艺下():与显示,2.[]马飞,黄苒,赵博华,等.基于F6PGA的LCoS显示驱动系统对于分辨率为1本文提出的方案920×1080的图片,]():的设计与实现[液晶与显示,J.2012,273364370.2占整体面积的3驱动芯片的大小由41.5mm,1.8%,具有明显11.4mm×11.5mm减少为9.4mm×9.5mm,以T节省面积达SMCMemoromiler进行面积估算,yCp,周莉莎(硕士研究生)主要研究方向为数字集成电路设计;郭建(教,,授)主要研究方向为光学材料;陈弈星(博士)主要研究方向为微显示芯片设计。()责任编辑:薛士然

收稿日期:2018-11-09的面积优势。

敬请登录网站在线投稿

2019年第3期

2 7