admin 管理员组

文章数量: 1184232


2024年4月14日发(作者:servo)

概览

Kettle也叫PDI(全称是Pentaho Data Integeration),是一款开源的ETL工具,项目

开始于2003年,2006年加入了开源的 BI 组织 Pentaho, 正式命名为PDI。官方网站:

/

术语

1. Transformation

转换步骤,可以理解为将一个或者多个不同的数据源组装成一条数据流水线。然后最

终输出到某一个地方,文件或者数据库等。

2. Job

作业,可以调度设计好的转换,也可以执行一些文件处理(比较,删除等),还可以ftp

上传,下载文件,发送邮件,执行shell命令等,

3. Hop 连接转换步骤或者连接Job(实际上就是执行顺序)的连线

Transformation hop:主要表示数据的流向。从输入,过滤等转换操作,到输出。

Job hop:可设置执行条件:

1, 无条件执行

2, 当上一个Job执行结果为true时执行

3, 当上一个Job执行结果为false时执行

Kettle,etl设计及运行

1. Kettle整体结构图

Kettle整体结构图

2. 转换设计样例图

绿色线条为hop,流水线


本文标签: 执行 转换 文件 数据 设计