admin 管理员组

文章数量: 1184232


2024年4月14日发(作者：做标签)

●文／图米沃奇　

此，就有了当下众多的资源统一管理或州度系统，本　

ＨａｄｏＯＰ足『｝ＩＡｐａ　ｒ　ｈｅ基金会开发的一个大数　

据分布式系统基础架构，最早的版本足２００３年原　

Ｙａｈ００　１Ｄｆ¨Ｊｇ（：ｌ１ｔｔｉｎｇ根据（；ａｏｇｌｅ发柿的学术论文研究而　

来　

次为大家重点介绍ＡｐａｅｈｅＭｅｓｏｓＴ￣．Ｈａ（Ｉ（１Ｉ１ｆ１　ＹＡＲＮ　

用户町以　不ｊ，解分布式底层细节的情况下，轻　

松地在Ｈａｄｏ￣ｌｌｌ＿　Ｉ：发干¨运行处　海鲢数据的应用程　

序一低成本、离ｒＩ丁靠、高扩展、高有效、高容错等特性　

引：Ｈａｄｏｏｐ成为最流行的大数据分析系统，然而其赖　

以生存￣（ＪＨＩ）ｒｓＳｌｌＭａｐＲＰ（１ｕｔｅ组件却让其一度陷入网　

境批处理的１　作方式让其只适川于离线数据处理，　

要求实时　ｔ＇ｌ：－Ｖ，Ｊ场景下毫无，｝＿ｆ＝ｊ武之地。　

参．　　’Ｉｔｌ；ｔＮＩ　ＪｔＵｌｉｌｔ　ａ　

（１）ＡｐａｃｈｅＭｅｓｏｓ　

代码托管地址：ＡｐａｃｈｅＳＶＮ　

Ｍｅｓａｓ提供　岛效、跨分布式应川　序ｆＪ　Ｊ框　

的资源隔离和共　．艾持Ｈａ（１ＩｌＩｌ『ｌ、ＭＰＩ、ｔｔｙｐｅｒ　１ＩＰ、　

Ｓｐａｒｋ等。　

Ｍｅｓａｓ是Ａｐａｒ　孵化器ＩｔＩ的一个歼源项¨，使川　

ＺｏｏＫｅｅｐｅｒ实现容错复制，使川Ｌｉｎ　（：（）ｌ１Ｉ｛１ｉ『１ｆ　ｓ术隔　

离任务，支持多种资源计ｔ划分配ｆ内存ｆ１Ｉ（：　１）提供　

Ｊａｖａ、Ｐｙｔｈｏｎ￣ｉｌＣ＋＋ＡＰｌｓ来Ｊｆ发新的　行Ｊ、　川　

『大１此，　种琏于｝　ｈ＞ｃ　『１的Ｔ具应运而牛，本次为　

，提　

供鉴于Ｗｅｂｆｌ＋Ｊ，朋户　米提　看集群状念　

大家分享Ｈａｄ（１（１ｌ　生态系统中最常Ｊ１Ｊ自，Ｊ　ｌ　３个丌源　具，　

巾包括资源蒯度、流计算及各种业务针对应用场　

景　

（２）ＨａｄｏｏｐＹＡＲＮ　

代码托管地址：Ａ【）｝ｌｅｈｅＳＶＮ　

ＹＡＲＮ又被称为ＭａｐＲｅｄｕ（　Ｐ２．０，　ＭＰｓＩ　

在公司ｆ１１机卡勾【ｌＩ，服务器往往会　为业务逻辑　

被拆分为多个集群，甚于数据密集剐的处理框架也　

ＹＡＲＮ提出＿ｒ资源隔离解决方案Ｃｏｎｌａｉ｜｜ｅ｜·，　址门ｎ，』　

尚未成熟，仅仅提供ＩＪ｛１ｖａ虚拟机内存的隔离、　

对比ＭａｐＲ　ＰＩＩⅢ　Ｐ１．ｘ，ＹＡＲ　Ｎ架ｆ｛Ｊ１　端Ｉ　

是不断涌现，比如１支持离线处理ｆｌ（ＪＭａｐＲｅｄｌｔｒ　、支持　

往线处理￣ｊｓｔ，，ｒ１３１及Ｉｍｐａｌａ、支持迭代汁￣；ｌｆ＋＇ｊＳｐａｒｋ及　

流处理框架ｓ４，它们诞生于不同的实验室，并各有所　

Ｋ。　

并未做太大的改变，　调用ＡＰＩ及接ｕ　Ｉ　还　持　

大部分的兼容，然　在ＹＡ　Ｒ　Ｎ叶ｌ，　发人员使Ｊｌ｝Ｊ　

Ｒｅｓ０ｕｒ　ｅＭａｎａｇｅｒ、Ａｐｐｌｉ（、ａｔｉ０ｎＭａｓｔｅｒ　Ｌｊ　ＮｏｄｅＭａｎａｇｍ　

为了减少箭理成本，提升资源的利，Ｌ｝Ｊ率，一个共　

同的想法产　ｉｆ：这些椎架运行存同一个集群｝　。冈　

黼黼　嬲嬲嘲　嬲黼　

尊ｊ｜　ｔ鬻∞　’｜　ｆ　

代替了原框架中核　Ｌ　１￣３Ｊ（ｂＴｒａｃｋｅｒ和　ｓｋＴｒａｃｋ　

嘲　

ｊ■

Ｉ　

闽黼目勇｜麟　囔　毽籍‰麓露咄　‰缚瑶　

ｌ¨≯　

｜　

ｔ　．　｜。　。一　

０ｌ　ｌ０　一≯　０＿　０００　

ｌ。０　耪ｌｊｌ　曩。　《ｌ　｜　ｔ　ｊ　。　簟ｊ。。　０　

＊Ｉ　｜ｉ　ｔ：舅ｒｊ　！　Ｚ　熬　．　５麓　？，　．　０。　｜　

－＿　８｛ｌ２＿７ｌ－一１０５　

『ｆｌＲｅｓ叭ｔｒｒｅＭⅢⅢｇｅｒ足一个ｒ　的服务，负责测度、　

＿ｆＩＩ；动　个－ｌＩ１ｌ　所Ｊ阻；的Ａ　ａＩｉｏｎＭａｓｔｅｌ·，另外还临　

控Ａｐｐｌｉ（·ａｔｉＩｍＭａｓｌｅｒｆｌ／，Ｊ存在情况：ＮｏｄｅＭａｎａｇｅｔ￣ｒ．责　，

（：Ｉ１ｎｌａｉｎ¨状态的维护　ＡｐｐｌｉｃａｔｉｏｎＭａｓｌｅｒ负责一个Ｊｏｈ　

，ｆｉ命Ｊ州　Ｉｑｆｌ＇，ｊ所仃Ｉ　作，类似老的框架ｒ＿ｆｇｏｈＴｚⅦ　ｋｅｒ．．　

我ｆｆＪ　说过，　

车蚌需求．　、　

索、Ｊｌ，务的公·　：　

。　ｉ‘处．￣ｑＵｌｊ　ＩＩ·ｋ等　

联网公司巾基于、Ｉ　务　

会　ＪｆＪ多种汁并榧架，比如从事｝雯　

索，ｊＩ建●　Ｊｔ　Ｊｎ；ｔＩ＋ｔ￣　ｔｌＩＪｌ＿Ｐ．Ｉ，｛然湃　

ＢａｅｋＴｙｐｅ开发，后被　ＦｗｉｌｈＪｒ捕获Ｓｌｏ）＿Ｉｌ１　

平俞，多　于实时汁算　翅新数　Ｓｌｏｔ－Ｉｌｌ也Ｉ１ｆ做川　

于“连续汁算”（（－‘）ｎｌｉｉＩｌＩ（）ＩＩＳ（·ｏｍｐｕｌａｌｉｏｌ１），对数掂流做　

连续查询，存计算时就将结果以流的肜』Ｉ＝输…给川　

户　它还可被用＿Ｊ＿。‘分＿佰式Ｒ　”，以ｊｉ　的　‘　运－７　

昂贵的运算　

（６）Ｓｈａｒｋ　

代码托管地址：（　ｉｌＨｕｔ　

Ｓｈａｒｋ，代表＇ｒ“Ｈｉｖｅ（）ｎＳＩ）ａｌ·ｋ”．一　个　

造的大规模数据仓库系统，　

ＨｉｖｅＱＩ　。　

（３）ＣＩｏｕｄｅｒａｌ　ｍｐａｌａ　

代　托竹地川：：（；ｉｌＨｕｈ　

ｌＩ１１　Ｐ“１；Ｉ址ｉＩｉ（：Ｊ　ｔｌＩｌ　ｄ　ＰｒＩ１开发，一个丌源的　

．｛ｒ¨ｒ　

ＡＩ　ｈｅＨｉｖｔ、尢］；　ｚ－修　

改现有的数据或者　询．就Ｉ　Ｊ‘以川１（）（）俯的述　执仃　

Ｓｈａｒｋ支持Ｈｉｖｅ金询　‘、　￡仃　、　列化格　Ｍ　ｓｉｖｌ　ｌ、　｜）；ＩＩ－｝ＩｌｌｅｌＩ　ｒＩ　ｅｓｓｉｎｇ（ＭＰＰ）查询　ｊＩ擎　、　ｊＨｉｖｅ十ｆＩ　

的兀数榭、ＳＱｉＩ　法、ＯＤＢＣ－￣动程序和川广Ｉ接¨　

及ｔ＇１定义函数，与现行Ｈｉｖｅ部　尢缝集成．址一个哑　

快、更强人的替代方案　

…ｌｌＰ　Ｐ　ｗ　１ｘ１，ｌ叮以　接　…）ＦＳ或ＨＢａｓｅ　ｌ：提供快　

速、交　ｆ　式ＳＱＩ　夼咖．．Ｉｍｐａｌａ足　ＤｒｅｍｅｌＩ￣＇ｊ发下＿『＿ｆ：　

发的，　一个版术发　ｆ２０１２４１－Ｉ￣。　

１Ｉｎ１）ａ　小Ｉ｛ｆ他川缓慢的Ｈｉｖｅ＋ＭａｐＲｅ（ｈ　Ｐ批处　

，　

（７）Ｐｈｏｅｎｉｘ　

代码托管地址：（；ｉｉＨｕｈ　

Ｐｈｏｅｎｉｘ是构建　Ａｐａ￣·ｈｅｌｌＢａｓｅ之ｌ　的一个　Ｕｌ　

址迎过　－ｊｆ　川ｔ　行父系数据阼【ｆ１类似的分　

ｉｆＪ　Ｊｊｌ擎（ｉｌｔ（）ｕｅｌ’ｙｆ’ｈｌｎｎｅｌ‘、Ｑｕｅｌ’ｙＣｏｏ）’（　１；ｔｈ　干¨　

１　ｉｌ１ｒ　部分组成），ＩＩ『以Ａ接从Ｈ１）ＦＳ或　

中问层，完全使用Ｊａｖａ编　，提供卜一个　端ｆ１Ｊ　嵌　

（

）…　ｒＹ１·：、　

．

入的ＪＩ）ＢＣ￣，动　Ｐｈｏｅｎｉｘ食询ｆＪｌ擎会将　ＱＩ　询转换　

为一个或多个ＨＢａ　ｓ　ｓｒａｌｌ，行编排执ｉ　以　成　准　

ｌｆｇＪＤＢＣ￣果集　ｆ［接使ＪＩＩＪＨＢａｓｔ　ＡＰｉ、　处　！　ｊ　

ＨＢａｓｅ）ＩＩ　ＪＩ　Ｊｓｉ　：¨：（　ＪＯＩＮ和统汁嘲数　湘数　，从　

人人降低Ｊ　

（４）Ｓｐａｒｋ　

代　托僻地址：Ａｉｍ（·Ｉ１ｒ　

Ｓｐａｒｋ址个Ｊ｛：泺的数掂分析集群计算　架，最｝ＪＪ　

ｆＩｔ』Ｊｌｌ州火　们　利分校ＡＭＰＩ　ａｌ，Ｊｆ技，建●：丁ＨＩ）ＦＳ之　

Ｓｐａｒｋ　

作　心川　

ｌｌ１一样，ＪＩＪ　构建大　模、低延时的　

『｛定义过滤器，对于简　求说，　速度　级　

毫秒，对于百万级￣ＪｉＪｉ＇ｉ９－７ｔ数术说．』　迷度　级址秒　

Ｐｈｏｅｎｉｘ完全托管在（；ｉｌＨｕ１）之卜＿　

Ｐｈｏｅｎｉｘ值得炎注的特　包括：嵌人ＳＧ（１＇，ＪＪＤＢ（　驱　

动，实现了大部分的ｉａｖ｝１．ｓｑｌ接【Ｊ，也．ｈｒ，－兀数据Ａ　；ｒ　

以通过多个行键　元埘列进行建模；１）１）１　持：版小　

数　分析　川、Ｓ１Ⅲ１·ｋ采Ｊ＋ｊｓｒ·ａｌａ￣］．ｌ，　‘实脱，他）ｔｌｓ，·ａｌａ　

ｓ　¨ｋ采川牡¨人】仔的分　

达代ｊ＾　，Ｊ　１．ｆｉ　找以及交　ｆ　

数　集，优化Ｊ　

洳　＾ｊＨａｔｌＩｌｌ，ｆ】　

化的模式仓库；ＤＭＩ．七持；通过　户端ｉ＇ｌ，＇Ｊ４１：Ｌ处　

的有限的每务支持；紧　ＡＮｓＩ　（　１　怀　

（８）ＡｐａｃｈｅＡｃｃｕｍｕｌｏ　

代码托管地址：Ａｐａｃｈ（，　Ｖ　Ｎ　

ＡＩⅢ（·ｈｅＡ（川１ｎ川Ｉｏ址·个Ｉ１　Ｊ‘　ｎ，Ｊ、ｌＩＪ‘ｆｌｌｌ缩的、　

，　，，　

¨的址．　ｋｆ¨　ｌ　紧密集成，　ａｌ｛１像管删本地　

¨　ｌｌｅ（＇ｔｉｖｒ埘象ＪＪＩ５样僻Ｓｉｌｂ）＇４＇ｎ＿ｒｔ￣数据　Ｓｐａｔ·ｋ支持分　

』ｌ＝数　

现）　

㈨，Ｊ迭代　仟务，　际　Ｉ　以　ｌｌａｄｏｏＩ　义　

离性能、排序分　式的键ｆｆＩ『．仃储解决，Ｊ‘案，Ｊ　ｒ　

单兀访Ｍ控制以及ｌｌ『定制的服务　端处Ｊ：ｉｔ　他　

用（；（　）ｇｌｅＢｉｇ　Ｆａｉ）ｌｅ设汁思路，　Ｊ　Ａ　ｆ　ｈｅ¨　１ｌＩＩｌＩ，ｌ·、　

Ｚｏｏｋｅｅｐｅｒ￣ＨＴｈｒｉｆｔ构建　¨ｎｎｎｈ）／ｌ，￣０１１．…ＮＳＡ　Ｊｌ：发，Ｊ　

抛，　ｊ　

：系统ｆ　ｊ　·　Ｉ，　起运行（通过ＹＡＲＮ、Ｍｅｓｏｓ等实　

（５）Ｓｔｏｒｍ　

代　于Ｅ＇ｆｉ；地址：（　ｊｉ　Ｈｕｌ，　

ｆ…ｍ，址．个分　式的、　错的实时汁箅系统，　

被捐献给＿ｒＡｐａｒ－ｈ　堪　会　

埘比（　０（１ｇ　ＢｉｇＴａｈｌｅ，　（·Ｉｌｌｎｌｌｌｌ１　

元的访问及服务器端的编羁　机制ｉｉ，Ｊ　处修收｝Ｉ：　

每　

数据处理过程中任意点修改键值。　

（９）ＡｐａｃｈｅＤｒｉｌｌ　

代码托管地址：ＧｉｔＨ·ｌ１）　

ＡｐａｃｈｅＤｒｉｌｌ是ＧｏｏｇｌｅＤｒｅｍｅｌ的开源实现，本质　

足一个分布式（ＪＰ＇Ｊｍｐｐ查询层，支持ＳＱＬ及一些用于　

（１　２）ＡｐａｃｈｅＴｅｚ　

代码托管地址：ＧｉｔＨ·　ｈ　

Ａｐａ（　ｈＰ　ｒｅｚ是基于Ｈａｄｏ＜ｉｐＹａｒｎ之　的ＤＡＧ（仃　

无环罔’Ｉｔｉｒｅｃｌｅｄ　ａｃｙｃｌｉｃ　ｇｒａｐｈ）汁算框架　、它把Ｍａｐ／　

ＲｅｄｌｌＯＰ过程拆分成若干个干过程，川时町以把多个　

ＮｏＳＱＬ和Ｈａｄｏｏｐ数据存储系统上的语言，将有助于　

Ｈａｄｏｏｐ用户实现更快查询海量数据集的目的。当下　

Ｍａｐ／Ｒｅｄｕｃｅ任务组合成一个较ｌ犬［ｔｑ；ＤＡＧ任务，减少一１　

Ｍａｐ／Ｒｅｄｕｃｅ之间的文件存储。同时合邢组合其子过　

程，减少任务的运行Ｈ；ｊ－Ｉ＇Ｈ］。ｔｌｔＨｏｌ·｜ｏｎｗｏｌ·ｋｓ开发并提供　

主要支持。　

Ｄｒｉｌｌ还只能算』二一个框架，只包含了Ｄｒｉｌｌ愿景中的初　

始功能。　

Ｄｒｉｌｌ的目的在于支持更广泛的数据源、数据格式　

及查询语言，可以通过对ＰＢ字节数据的快速扫捕ｆ大　

约儿秒内）完成相关分析，将是一个专为互动分析大　

型数据集的分布式系统。　

（１　３）ＡｐａｃｈｅＡｍｂａｒｉ　

代码托管地址：ＡｐａｃｈｅＳＶ　Ｎ　

ＡＰａｃｈ　ｅＡ１１３ｂａ　ｒｉ是一个供应、管理和监视　

ＡｐａｃｈｅＨａｄｏｏｐ集群的开源框架，它提供一个直观的　

操作Ｔ具和一个健壮ｆｌ￣ＪＨａｄｏｏｐＡＰＩ，可以隐藏复杂的　

Ｈａｄｏｏｐ操作，使集群操作大大简化，首个版本发布于　

２０１２年６月。　

ＡｐａｃｈｅＡｍｈａｒｉ现在是一个Ａｐａ（－ｈｅ的顶级项　

（１０）ＡｐａｃｈｅＧｉｒａｐｈ　

代码托管地址：ＣｉｉＨｕｂ　

ＡｐａｃｈｅＧｉ　ｒａｐｈ是一个可伸缩的分布式迭代图　

处理系统，灵感来自ＢＳＰ（ｂｕｌｋｓｙｎｃｈｒｏｎｏｕｓｐａｒａｌｌｅｌ１　

和（；ｏｏｇｌｅ的Ｐｒｅｇｅｌ，与它们区别之处则是开源、基于　

Ｈａｄｏｏｐｆｌ／Ｊ，架构等、　

Ｇｉｒａｐｈ处理平台适用于运行大规模的逻辑计　

算，比如页而排行、共享链接、基于个性化排行　

目，早在２０１　１年８月，Ｈｏｒｔｏｎｗ（）ｒｋｓ引进Ａｍｂａｒｉ作为　

ＡｐａｃｈｅｌｎｃｕｂａｔｏｒＳ￣Ｈ，制定ｆＨａ（　ｐ集群极致简单符　

理的愿景。在开发社区显著成长．从一个小团队，成　

长为Ｈｏｒｔｏｎｗｏｒｋｓ各种组织的贞献并。Ａｍｌ＞ａｒｉ川ＦＪ群一　

直在稳步增长，许多机构依靠Ａｍ　ｒｉ　

中心大规模部署和管理Ｈａｄｔｌｏｐ集群。　

大型数　

等　（；ｉｒａｐｈ专注于社交图计算，被Ｆａｃｅｂｏｏｋ作为其　

（）ｐｅｎＧｒａｐｈ￣＿具的核心，几分钟内处理数万亿次用户　

及其行为之间的连接．．　

（１　１）ＡｐａｃｈｅＨａｍａ　

代码托管地址：ＧｉｔＨｕｂ　

Ａｐａ（．＝ｈｅＨａｎ１ａ是一个建立在Ｈａｄｏｏ【】上基于　

ＢＳＰ（Ｂｕｌｋｓｙｎｃｈ　ｒ（１ｎ０ｕｓＰａｒａｌｌｅ１）的计算框架，模仿　

了Ｇｏｏｇｌｅ的Ｐｒｅｇｅｌ　用来处理大规模的科学计算，　

特别是矩阵和网计算。集群环境中的系统架构　

１　ＢＳＰＭａｓＩｅｒ／Ｇｒ（）ｆ１ｍＳｅｒｖｅｒ（Ｃ０ｍｐｕｔａｔｉ０ｎＥｎｇｉｎｅ）、　

ＺＩ¨）ｋ　Ｐ　Ｐｅ　ｒ（Ｄｉ　ｓｌ　ｒｉ　ｂＩ１ｔ　ｅｄＬＯＣｋｉＩＩｇ１、ＨＤＦＳ／　

日前ＡＰａｃｈｅＡｍｂａｒｉ支持的Ｈ　ａｄ…　Ｉ　组件包　

括：ＨＤＦＳ、ＭａｐＲｅｄｕｃｅ、Ｈｉｖｅ、ＨＣａｉａｈ）ｇ、ＨＢａｓｅ、　

Ｚｏ。Ｋｅ　１　、Ｏｏｚｉｅ、Ｐｉｇ￣Ｓｑｆ１Ｉ１Ｐ　

．　

Ｈ　Ｂａｓｅ（ＳｌｏｒａｇｅＳ）ｒｓ｜ｐｍｓ）这３大块组成。　


本文标签： 处理 集群 资源 数据 计算

版权声明：本文标题：大数据分析系统Hadoop的13个开源工具 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1713093923a619540.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。