admin 管理员组文章数量: 1086019
2024年4月14日发(作者:asp的开发语言)
2015/6/13 22:51 GP架构_1
与GreenPlum类似的产品:
IBM NITIZA(国内没人用)
Terndata
2007年被EMC收购
GreenPlum国外市场:纳斯达克,skype
GreenPlum国内市场:阿里,民生银行,深发展银行,电信业(MPP架构)
MPP架构:海量并行处理 Massively Parallel Processing
share nothing 模式,每一个节点不进行资源共享,集群中每个节点有独立的CPU、内存、存
储、总线等。
SMP架构: symmetric mass processing 对称多处理系统:耦合的多处理系统,共享总线、
内存、IO资源,传统的 ORCKLE,DB2是非常典型的产品
ORACLE_RAC 处于半共享状态,各节点连接共享存储,所以不能算MPP
GreenPlum 基于 PostGreSQL8.2 之前在国内使用比较少,在国外使用广泛。
Mysql与PostGreSQL地位同等,但mysql被Oracle收购之后没落。
GreenPlum 在函数、dataloading、存储过程等继承了PostGreSQL
GP增加BI和数据仓库的支持:
A、外部表、并行加载(优势明显)
B、资源队列管理的优化,对角色、用户、组进行资源优化分配,管理。
C、GP在查询优化器的增强、分布支持、分区表、执行计划的优化、空间回收、数据分
析,简化调优,架构时对称、数据分布均匀的话,可以免去调优
GP体系架构
I
n
t
e
r
c
o
n
n
e
c
t
-
G
i
g
a
b
i
t
E
t
h
e
r
n
e
t
S
w
i
t
c
h
Segment Host
Client
LAN
Segment Host
Segment Host
Master Host
Segment Host
Master Host:
访问系统的入口,所有请求都需要从Master Host访问,正常来讲,管理员也不可以直
接访问SegmentHost ,系统中只允许直接访问MasterHost ,单独操作 SegmentHost 影响
一致性和完整性。
数据监听进程(PostGres):监听用户请求。
Interconnect 网络层:
千兆以太网的架构,各节点之间的连接层,系统内部私有网络配置,支持TCP和UDP
TCP:面向连接的协议,三次握手,A请求B,B响应A,A才连接B建立稳定连接,
处理所有用户连接。
建立执行计划,通过网络层分发给SegmentHost。
协调整个处理过程,保证SegmentHost处理结果侧一致和同步。
只存储GP系统自身的数据,MasterHost的数据是很小的,存储架构信息、配置信息。
不包含任何用户数据。
线性扩展有节点的限制,官方1K个节点,实际不能达到。
UDP:(建议使用,连接快,也稳定)QQ聊天,面向非连接的,稳定性较差,效率
较高。
Segment Host 数据节点
一些银行使用了60 segmentHost节点,一天的交易数据,分布在不同的SegHost中,分
布的逻辑由,我们建立数据仓库的时候指定的,比如:随机的、指定分布键,每个SegmentHost
存储一部分用户数据。
所有请求都来自MasterHost节点,有 PostGres监听进程负责
版权声明:本文标题:GreenPlum安装笔记_计算机软件及应用_IT计算机_专业资料 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://www.roclinux.cn/b/1713068292a618294.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论