kettle工具的介绍和使用

kettle详解(数据抽取、转换、装载)

原文地址链接：https://blog.csdn.net/qq_35731570/article/details/71123413

文件资源库模式的调度命令：

job： $kitchen路径 -file=$job路径 kitchen.sh -file=/opt/dpbs/kettlefile/pan_quality_indicator.kjb

trans： $pan路径 -file=$trans路径 ./pan.sh -file=/home/hadoop/workplace/kettle/trans/test_cml.ktr -norep

数据库资源库模式的调度命令：

job： $kitchen路径 -rep=kettle名 -user=用户 -pass=密码 -job=job名称 ./kitchen.sh -rep=kettle1 -user=admin -pass=admin -job=job

trans： $pan路径 -rep=kettle名 -user=用户 -pass=密码 -trans=转换名称 ./pan.sh -rep=kettle1 -user=admin -pass=admin -trans=trans

一：下载路径

当你要学习一个工具时，往往一开始就找不到下载路径，也不知道是为什么，连个官网都找不到，最后还是问的别人要的路径，做程序好心酸。

http://community.pentaho.com/projects/data-integration 下载路径

二：学习

kettle是什么？

ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。kettle支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率.

Kettle是一款国外开源的ETL工具，纯Java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

为什么使用kettle?

这里简单概括一下几种具体的应用场景，按网络环境划分主要包括：

• 表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、清洗等，例如历史数据同步、异构系统数据交互、数据对称发布或备份等都归属于这个模式；传统的实现方式一般都要进行研发(一小部分例如两个相同表结构的表之间的数据同步，如果sqlserver数据库可以通过发布/订阅实现)，涉及到一些复杂的一些业务逻辑如果我们研发出来还容易出各种bug；
• 前置机模式：这是一种典型的数据交换应用场景，数据交换的双方A和B网络不通，但是A和B都可以和前置机C连接，一般的情况是双方约定好前置机的数据结构，这个结构跟A和B的数据结构基本上是不一致的，这样我们就需要把应用上的数据按照数据标准推送到前置机上，这个研发工作量还是比较大的；
• 文件模式: 数据交互的双方A和B是完全的物理隔离，这样就只能通过以文件的方式来进行数据交互了，例如XML格式，在应用A中我们开发一个接口用来生成标准格式的XML，然后用优盘或者别的介质在某一时间把XML数据拷贝之后，然后接入到应用B上，应用B上在按照标准接口解析相应的文件把数据接收过来；

综上3种模式如果我们都用传统的模式无疑工作量是巨大的，那么怎么做才能更高效更节省时间又不容易出错呢？答案是我们可以用一下Kettle-_-！

使用kettle需要了解的知识？

ž1 Kettle使用

Kettle提供了资源库方式的方式来整合所有的工作，但是因为资源库移植不方便，所以我们选择没有资源库；

1)创建一个新的transformation，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr；

2)创建一个新的job，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb；

2 组件树介绍

4.3 Transformation转换介绍

ž每一个环节可以通过鼠标拖动来将环节添加到主窗口中。

ž并可通过shift+鼠标拖动，实现环节之间的连接。

ž转换常用环节介绍

4.3 Job任务介绍

ž常用环节介绍

怎么使用kettle？

一：配置环境

1、安装java JDK

1)首先到官网上下载对应JDK包，JDK1.5或以上版本就行；

2)安装JDK；

3)配置环境变量,附配置方式：

安装完成后，还要对它进行相关的配置才可以使用，先来设置一些环境变量，对于Java来说，最需要设置的环境变量是系统路径变量path。

(1)要打开环境变量的设置窗口。右击“我的电脑”，在弹出的快捷菜单中选择“属性”选项，进入“系统属性”对话框，如图所示。选择“高级”标签，进入“高级”选项卡，再单击“环境变量”按钮，进入“环境变量”对话框，如图所示：

(2)在“Administrator的用户变量”列表框中，选择变量PATH，待其所在行变高亮后，单击“编辑”按钮，如图所示。

(3)在弹出的“编辑系统变量”对话框中，将JDK安装路径下的bin目录路径设置到Path变量中，如图所示。

编辑完后，单击“确定”按钮，进行保存,环境变量Path的设置就正式完成。

注意：设置Path变量的路径，必须是JDK安装目录中的bin目录，有时候在JDK安装目录的同一层会有JRE的安装目录，因此请谨慎选取相关路径，避免将路径设置成JRE目录下的bin目录。

3、2 测试JDK配置是否成功

设置好环境变量后，就可以对刚设置好的变量进行测试，并检测Java是否可以运行。

(1)单击“开始”按钮，选择“运行”选项，在“运行”对话框中输入cmd命令。

(2)之后单击“确定”按钮，打开命令行窗口。

(3)在光标处输入：javac命令，按下Enter键执行，即可看到测试结果

3、3 运行Kettle

ž进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat或Kettle.exe文件，出现如下界面：

这样配置环境这一块基本上就完成了。

二、练习

功能简述：数据库TestA中的UserA表到数据库TestB的UserB表；

实现流程：建立一个转换和一个作业Job；

进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat或Kettle.exe文件。

不输入密码进入，可以看到主对象树和核心对象.

新建一个转换后，看到转换下有DB连接，Steps,Hops,数据库分区schemas,子服务器，kettle集群schemas

A:建立一个转换：打开Kettle.exe，选择没有资源库，进入主界面，新建一个转换，转换的后缀名为ktr，转换建立的步骤如下：

步骤1建立DB连接：创建DB连接，选择新建DB连接，如下图，我们输入相应的数据库配置信息之后点击Test按钮测试是否配置正确！

填入信息，最后要起连接名testA，先点击test测试连接，如果报错，可能是数据库信息填的不对。

选择连接的数据库类型 Oracle/MySQL/

Host Name:10.8.200.105/localhost

Database Name:lifedev

Port Number:1521

User Name:…

password:…

点击test进行连接测试。

建立好DB连接后，会出现子节点testA、testB

步骤2：建立步骤和步骤关系，

点击核心对象，我们从步骤树输入中选择【表输入】，如下图，这样拖拽一个表输入之后，我们双击表输入之后，我们自己可以随意写一个sql语句，这个语句表示可以在这个库中随意组合，只要sql语句没有错误即可，我这里只是最简单的把TestA中的所有数据查出来，语句为select * from LXX_KETTLE_TESTA

接下来我们创建另外一个步骤输出中的【插入/ 更新】，然后在【表输入】上同时按住shift键和鼠标左键滑向【插入/ 更新】，这样建立两个步骤之间的连接，【插入/ 更新】执行的逻辑是如果UserA表中的记录在UserB中不存在那么就插入，如果存在就更新，如下图，在插入更新中我们可以做一些关键条件和字段映射，这里我们是最简单的！点击保存，把我们建立的转换保存一下。

建立好转换之后，我们可以直接运行这个转换，检查一下是否有错，如图，有错误都会在下面的控制台上输出。

点击运行按钮可选择本地远程或远程执行或集群方式执行，我选择本地执行，之后提示文件已经改变，在运行转换前请先保存它，你想现在保存这个转换吗？可以选择保存下来。

步骤三:如果我们需要让这个转换定时执行怎么办呢，那么我们需要建立一个作业job

见下图，在简单表同步这个转换中，我们把在A步骤中建立的ktl配置上，注意路径的正确性；

这样我们在【Start】步骤上面双击，如图：

这样这个作业就制定好了，点击保存之后，我们就可以在图形化界面上点击开始执行了！

实例2：全面进阶的一个稍微复杂的例子

ž根据客户，帐户，交易表中的数据，生成对应的数据文件，将数据文件可以导入到对应表中，并且可以用job来调用整个流程。

ž目标：

ž1)，提交对应的Kettle文件

ž2)，Kettle流程可以正确执行，不报错

ž3)，对应的数据文件生成并格式无误，对应表中有数据并格式无误

ž说明：

ž源表：数据库etltest中存在3张表：

目标表：etltest中一张表

Kettle具体解决方式，步骤比较繁琐，大家可以直接到下载中下载Demo数据库文件和ktr、kjb来实战测试，这样是最好的，下面的操作仅供参考，转换预览图如下：

操作步骤： 在EtltestTrans页面下，点击左侧的【Core Objects】，点击【Input】，选中【表 输入】，拖动到主窗口释放鼠标。 双击【表输入】图标 数据库连接选择刚刚创建好的etltest数据库连接，在主窗口写入对应的查询 语句 Select * from trade ，如下图：

点击确定完成。 点击核心对象->查询，选中【数据库查询】，拖动到主窗口释放鼠标。 按住shift键，用鼠标点中刚才创建的【表输入】，拖动到【数据库查询】上， 则建立了两个环节之间的连接，如图：

双击【数据库查询】

步骤名称写入account 表查询，数据库连接选择刚刚创建好的etltest 数据库 连接，查询的表写入account，查询所需的关键字中，表字段写入acctno，比较 操作符写入“=”，字段1写入acctno。 在查询表返回的值里面写入custno，确定完成，如下图：

同上，再创建一个数据库查询，命名为cust表查询，查询的表写入cust，查 询所需的关键字写入custno=custno，查询表返回的值写入custname，custid， custtype，如下图：

点击核心对象->Flow下过滤记录，拖动到主窗口释放鼠标。 点击核心对象->脚本，选中两个【Modified Java Script Value】，拖动到主窗 口释放鼠标。分别双击打开，重命名为“对公类型修改”和“对私类型修改”。 同时，分别创建【过滤记录】和【对公类型修改】，【对私类型修改】的连接。 双击过滤记录打开。 第一个<field>里面选择custtype，点击<value>，在Enter value 里面写入1， 确定，如图：

在发送true数据给步骤里，选择【对私类型修改】，在发送false数据给步骤 里，选择【对公类型修改】，确定保存，如图：

双击【对公类型修改】，在里面写入javascript 脚本语句 var custtype_cn=’对公客户交易’ 在字段中写入custtype_cn，类型选为string。确定。 同理，在【对私类型修改】中，在里面写入javascript脚本语句 var custtype_cn=’对私客户交易’ 在字段中写入custtype_cn，类型选为string。确定。 点击左侧的【Transform】，选中两个【增加常量】，拖动到主窗口释放鼠标。 分别双击打开，重命名为“增加对公常量”和“增加对私常量”。 分别建立【对公类型修改】和【对私类型修改】与【增加对公常量】和【增 加对私常量】的连接，如图：

双击【增加对公常量】，名称写入value，类型选择string，值写入“这是一 笔对公客户发生的交易”，确定保存。 同理，双击【增加对私常量】，名称写入value，类型选择string，值写入“这 是一笔对私客户发生的交易”，确定保存。 点击左侧的【Output】，选中【文本文件输出】，拖动到主窗口释放鼠标。 建立【增加对公常量】，【增加对私常量】和【文本文件输出】的连接，如图：

双击打开【文本文件输出】，文件名称写入D:\etltest\etltest.txt 点击内容标签，根据情况进行修改，例如 点击字段标签 名称依次写入tradeid，acctno，amt，custno，custname，custid，custtype_cn， value，类型根据各个字段实际类型进行选择 确定保存 点击保存创建好的transformation。 点击运行这个转换。 点击launch，开始运行 当所有状态都变已完成时，则转换完成，如图：

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/181387.html原文链接：https://javaforall.cn