阿里云平台快速接入企业数据带来的益处

ISSN1009-3044

ComputerKnowledgeandTechnology

第16卷第34期(2020年12月)

电脑知识

与技术

Vol.16,No.34，

December.

2020

E-mail：*************.cn

ComputerKnowledgeandTechnology

电脑知识

与技术

http：//

Tel：+86-551-6569

阿里云平台快速接入企业数据带来的益处

戴俊梅

1

，陈龙

2

（1.南京大学金陵学院，江苏南京210000；2.南京烽火星空通信发展有限公司，江苏南京210000）

摘要：据IDC报告显示我国已进入大数据时代。众厂商各类服务系统中传统的数据处理逐渐演变成独立的计算业务，从而

为社会各界提供服务。但企业自行建造大数据平台门要求高，诸如资金、场地、人员、技术等。有幸，阿里云平台提供了一

个开放、兼容的大数据生态平台体系，为中、小、微企业对大数据计算的需求提供了坚实后盾。

关键词：大数据；中小微企业；开放的计算平台；集群；在线计算；兼容;优势

中图分类号：G642文献标识码：A

开放科学（资源服务）标识码（OSID）：

TheBenefitofEnterpriseUsingAlibabaCloudPlatform

DAIJun-mei

1

,CHENLong

2

(gUniversityJinlingCollege,Nanjing210000,China;gFiberhomeStarryskyCo.,Ltd,Nanjing210000,China)

文章编号：1009-3044(2020)34-0217-02

Abstract:AccordingtotheIDCreport,ditionaldataprocessinginvariousservicesys⁃

temswhichmadebyvariousmanufacturershasg⁃

er,companieswi,AlibabaCloudplatformcan

ervicescansatisfythedesireofSMEenterprisesonbigda⁃

taprocessing.

Keywords：bigdata；SMEenterprises；openingcloudplatform；cluster；OLTP;compatibility；advantage

1大数据基本背景

2018年IDC发布的数字研究报告（DigitalUniverse）显示，

我们所产生的数据量将超过40ZB（泽字节）。随着政治、经济、

科技、文化的发展，中国以进入大数据时代。企业期待快速向

社会推广业务，随这各类终端的普及企业数据急速膨胀，同时

企业也期待加速数据分析和挖掘过程，并由报表展现为主到强

调数据洞察转型，让数据直接快速产生价值（Value）。但随着

数据几何倍数的增长，查询或计算的数据量过大，达到数千万

甚至数十亿条，或待进行的计算非常复杂的情况下，关系数据

库呈现出力不从心的趋势。企业为了存储大容量数据，也迫不

得已需要投入高额的硬件成本。众多企业遇到了大数据处理

的瓶颈。

企业，提高面向市场的服务水平。

2.1阿里云体系结构

2阿里云平台接入解决方案

大数据系统的建设各环节必不可少，虽然投入巨大，但对

于任何中小企业来说并非没有建设的可能性。近年来，随着计

算的发展，云服务器运行商的助力，涌现出众多云服务运硬商，

诸如、阿里云、华为云。依托于云服务平台，各企业便能具备大

数据信息系统的建设的条件和可能性。企业能做到以最小的

投入，围绕自企业业务为核心，建设大数据系统，集中精力优化

阿里云平台是一个兼容、开放的生态平台，主要内置四种

服务平台。OSS平台，针对海量多媒体数据的存储与计算；

MaxCompute平台，是针对离线式历史海量数据的存储计算；

ADS平台针对实时在线式海量数据的查询与计算；Hriberpost⁃

gres集群平台，针对传统关系型数据库的存储与计算。

对象存储服务，英文简称OSS。是阿里提供的海量、低成

本、高安全、可靠性的云存储服务。在任何时空、任何app中，通

过阿里API，可实行数据上传及下载。使用者可通过阿里Web

服务完成数据管理。OSS支持任意类型文件，能满足企、事业

单位、开发者使用需求。按实际容量付费，无需关注运维细节

及成本，使使用者专注自身核心业务运作。

随着各种终端日益增多，数据规模快速增长至PB级。使

用单机服务器处理大数据已暴露出能力不足现象，数据分析者

常采用分布式集群服务器对大数据进行计算。但分布式的计

算模型对数据分析人员提出了较高的要求，不易维护，数据分

析人员不仅需要了解业务需求，同时还需要熟悉底层计算模

型，增加了各领域中业务数据分析的难度。MaxCompute计算

收稿日期：2020-06-17

作者简介：戴俊梅，女，江苏省南京市人，中级工程师，学士，研究方向：信息技术；陈龙，男，江苏省南京市人，中级工程师，硕士，研究

方向：网络安全。

本栏目责任编辑：梁书

计算机工程应用技术

217

ComputerKnowledgeandTechnology

电脑知识

与技术

服务平台，主要提供批量结构化数据的存储服务、计算服务、业

务数据导入服务、分布式计算模型服务，可以针对海量数据仓

库快速、深度分析，有效提取高价值潜在信息，有效降低使用者

实现成本，并保障数据的存储安全性。

环境中，

ADS

提供毫秒级明细查询、

服务品台的主要功能是

关联查询、

,在TB、PB

统计计算。对于企业

级结构化海量数据

业务系统，

5.1/5.5/5.6

支持国际标准化连接规范。连接协议包括

jdbc

x/5.6.x

driver、

系列连接协议。如市面主流连接协议：

onnector(driver)

MySQL

MySQL

5.1.x

ADS

制集群层、

平台由四个部分组成，

客户端、java、python、

外围模块层。

分别是底层依赖层、

C/C++、PHP、Apache

、MySQL5.1.x/5.5.

计算集群层、

Tomcat、JBoss

控

。

2.2OSS服务开发

服务的开发方法，

OSS服务，提供两种服务性开发方法，

俗称httpapi调用方式，

基于

另一种是基于

http请求的获取

sdk开

发包的程序模块开发方式，俗称二次开发代码接口，两种接口

各有优势。httpaip适用于任意支持http协议的运行平台，无开

发平台系统。二次开发sdk包方式，开发接口更加丰富，有助于

企业高效、

vaSDK

在使用

、Python

稳定扩展系统功能，

OSS

SDK

开发前，

、Android

支持目前市面主流开发语言：Ja⁃

需要创建访问密钥

SDK、iOSSDK、C

AccessKey

SDK。

（AK）相

当于登录密码。AccessKey用于程序方式调用云服务API，而登

录密码用于登录控制台。使用AccessKey构造一个API请求

KeyId

SDK）来操作资源。AccessKey包括

钥。

vice

AccessKeySecret

用于标识用户。

必须保密。

AccessKeySecret

httpapi

是用来验证用户的密

Access⁃

方式开发举例：GetSer⁃

有的所有

(ListBuckets)

Bucket，

对于服务地址作

其中“/”表示根目录。

Get请求可以返回请求者拥

sdk二次开发接口的主

要使用方式:

主要功能接口

创建存储空间

Bucket(bucketName);

218

计算机工程应用技术

第16卷第34期(2020年12月)

上传文件

rayInputStream(es()));

ect(bucketName,objectName,newByteAr⁃

下载文件

InputStreamcontent=ectContent();

列举文件

jects(bucketName);

删除文件

Object(bucketName,objectName);

2.2.1ODPS平台服务使用开发

使用odpssdk前需要开通阿里云认证账号，获得阿里云用

户的身份标识accessId及认证密钥accessKey，这是MaxCompute

初始化基础。Odpssdk开发包，支持主流java、python、C/C++开

发语句，包括如下核心模块：

包名作用

odps-sdk-coreMaxCompute

包括odps、project、table、tunnel等基础功能的操

作接口，主要用于建立项目、表、存储通道

odps-sdk-core-internal

包括Event、XFlow等，提供业务事务处理、数据

流预处理。

odps-sdk-commons

包含TableSchema、Column、Record、OdpsType，

主要功能是提供一些常用工具。

odps-sdk-udfMaxComputeUDF

实现自定义用户函数

odps-sdk-mapredMaxCompute

提供MapReduce作业编程接口

主要实体、处理动作对象介绍,Odps实体，主要是申请、获

得大数据计算资源。

务库组成，

Projects

可以通过项目

，是odps平台中，

url和项目获得：

项目空间的集合，由许多具体业

Account

Odps

String

odps

account

odpsUrl

=new

=

="

Odps(account);

newAliyunAccount("my_access_id","my_access_key");

odpsendpoint>";

实例，

SQLTask

通过Instance

用于运行、

获取SQL

处理

的运行状态及运行结果。

SQL任务。运行结果以Instance

odps=

Account

new

account=newAliyunAccount("my_access_id","my_access_key");Odps

Odps(account);String

point(odpsUrl);

odpsUrl

Instance

="

instance

odpsendpoint>";

");

=(odps,"my_project","se⁃

getTaskNames();

Stringid=();rsuccess();SettaskNames=instance.

Status

Map

=kStatus();

String>results=kResults();Maptask⁃

for

String

(Entrystatus:et()){

}

result=(());

2.2.2ads平台服务使用开发

DML

ads

通SQL

语言。

平台的使用类似于普通关系数据库，

不同，

DDL

比如：

用于创建、配置数据库及表。但具体语法与普

具有DDL语言、

30000);

createtablegroupdb_roup_nameoptions(minRedundancy=2executeTimeout=

其中db_name:设置数据库名称，tablegroup_name为表组名

称。options部分：minRedundancy表示该表组的备份副本数，默

认为2。executeTimeout表示该表组的全局Query超时时间，默

认为30000，单位毫秒。（下转第227页）

本栏目责任编辑：梁书

（或者使用云服务

第16卷第34期(2020年12月)

ComputerKnowledgeandTechnology

电脑知识

与技术

选取第二个阈值分割图像中的白色区域，选取阈值的颜色

显示如图9所示。

3结语

本文通过HSV颜色空间分割彩色图片，实现了图片和图片

背景的分离，但是也存在许多的不足。比如本文分割图像的阈

值是手动选取的，需要经过反复多次的实验来选取最合适的阈

值，工作比较繁杂冗余。目前由于没有太多额外的时间来研究

阈值的自动选取，希望在之后的不断研究中对这个问题加以改

善，此外本文是基于海洋中的鱼的图片来分割的，此种分割方

法的应用场景还有许多，希望在以后的学习中可以广泛实验。

图9分割白色区域选取的阈值范围显示

使用该阈值分割后的图像如图10所示。

参考文献：

[1]王秋萍,张志祥,朱旭芳.图像分割方法综述[J].信息记录材

料,2019,20(7):12-14.

[2]叶齐祥,高文,王伟强,等.一种融合颜色和空间信息的彩色图

像分割算法[J].软件学报,2004,15(4):522-530.

[3]李丽华,汪凤麟,陈灵娜,等.基于视觉显著性的彩色图像分割

[J].南华大学学报(自然科学版),2015,29(3):73-77.

[4]莫玲.基于RGB彩色空间的图像分割研究[J].计算机科学,

2016,43(S1):168-170.

[5]李伟斌,马洪林,易贤,等.基于色彩空间变换的彩色图像分割

方法[J].计算机工程与应用,2019,55(9):162-167.

[6]张红霞,章银娥.基于Lab空间的K均值聚类彩色图像分割方

法[J].赣南师范大学学报,2019,40(6):44-48.

[7]YaminiB,teganalysis:adaptivecolorimage

segmentationusingotsu'smethod[J].JournalofComputational

andTheoreticalNanoscience,2017,14(9):4502-4507.

[8]RajaR,KumarS,bjectdetectionbased

imageretrievalusingROIsegmentationwithmulti-feature

method[J].WirelessPersonalCommunications,2020,112(1):

169-192.

【通联编辑：代影】

图10分割白色区域后的图像

把两个阈值组合在一起，无论哪里有橙色或白色，都会产

生1个值，分割图像得到最终结果，如图11所示。

图11图像分割结果

（上接第218页）

根据表的数据更新方式不同，分析型数据库的表根据up⁃

dateType分为批量更新表（仅能够离线批量更新数据）和实时

更新表（能够通过insert/delete实时更新数据），用updateType以

区分，如果updateType选项不填则默认为批量更新表。

分区表设置，目前分析型数据库支持最多两级分区，并且

一级分区仅支持HASH分区，二级分区仅支持LIST分区。

HASH分区是一种动态分区值类型，即根据实际数据中的某一

列的内容进行分区。所以在语法上，一级HASH分区的用法

是：PARTITIONBYHASHKEY(col1)PARTITIONNUM50。

2.3基于阿里云平台企业业务逻辑的架构

媒体数据的服务提供最佳体验。

3结束语

阿里云平台可以快速接入企业大数据，有利于企业向市场

提供高质量数据服务。阿里云服务在价格、服务方便比较合

理，技术服务环节能提供有力保障，稳定、安全、高效且节约

成本。

参考文献：

[1]阿里云.专有云Enterprise版分析型数据库（ADS）.阿里公司

内部技术白皮书,2017.

[2]陈敏,张东.大数据整体解决方案及关键技术探索,华中科技

大学出版社,2015.

[3]刘鑫.MySQL和PostgreSQL的对比选择[J].沈阳工程学院学

报(自然科学版),2011.

[4]周静,谭亮.基于Hadoop的大数据平台构建[M].西南交通大

学出版社,2018.

【通联编辑：王力】

企业的非结构化数据处理系统，如图片、音频、视频处理系

统，特别适用基于OSS存储平台架构方案。各种终端设备、

Web网站程序、移动应用数据，通过数据流方式向OSS平台写

入数据。OSS平台具备带宽管理功能，因此可以实现超低延时

的数据直接下载。OSS也可与阿里云其他服务平台联动，为多

本栏目责任编辑：梁书

计算机工程应用技术

227