前往小程序,Get更优阅读体验!
立即前往
发布
社区首页 >专栏 >Informatica ETL开发入门实例

Informatica ETL开发入门实例

作者头像
全栈程序员站长
发布2022-06-30 19:17:06
发布2022-06-30 19:17:06
78300
代码可运行
举报
运行总次数:0
代码可运行

大家好,又见面了,我是你们的朋友全栈君。

一、ETL开发前准备工作

注:Informatica的存储服务和集成服务必须已经启动,客户端才能连接并进行ETL实例开发

客户端工具:

  • PowerCenter Designer:D客户端
  • PowerCenter Repository Manager:R客户端
  • PowerCenter Workflow Manager:W客户端
  • PowerCenter Workflow Monitor:M客户端

1、配置域 打开R客户端(Repository Manager),点击【存储库】,选择【配置域】

配置域(参考下图):

代码语言:javascript
代码运行次数:0
复制
域名:domain_notebook8(domain_:域名前缀,必须写)
网关主机:notebook8
网关端口:6005

连接成功:

2、创建文件夹 点击【文件夹】,选择【创建】,创建文件夹 关于mapping、任务、工作流,都是在相应的文件夹里面操作的,因此首要就是:打开R客户端(Repository Manager),创建一个文件夹,为后面的ETL实例开发做好准备。

三、准备源数据 1、准备ODS层、EDW层、DM层

代码语言:javascript
代码运行次数:0
复制
OLTP —> ODS —> EDW —> DM

2、准备BI_ODS用户、BI_EDW用户、BI_DM用户

代码语言:javascript
代码运行次数:0
复制
scott —> BI_ODS —> BI_EDW —> BI_DM

(1)创建 BI_ODS 用户并授权

代码语言:javascript
代码运行次数:0
复制
--Create User BI_ODS
create user bi_ods				--用户名
	identified by bi_ods		--密码
	default tablespace USERS	--默认表空间
	temporary tablespace TEMP;	--临时表空间

--Grant/Revoke role privileges
grant connect to bi_ods;
grant dba to bi_ods;
grant resource to bi_ods;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_ods;

(2)创建 BI_EDW 用户并授权

代码语言:javascript
代码运行次数:0
复制
--Create User BI_EDW
create user bi_edw
	identified by bi_edw
	default tablespace USERS
	temporary tablespace TEMP;

--Grant/Revoke role privileges
grant connect to bi_edw;
grant dba to bi_edw;
grant resource to bi_edw;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_edw;

(3)创建 BI_DM 用户并授权

代码语言:javascript
代码运行次数:0
复制
--Create User BI_DM
create user bi_dm
	identified by bi_dm
	default tablespace USERS
	temporary tablespace TEMP;

--Grant/Revoke role privileges
grant connect to bi_dm;
grant dba to bi_dm;
grant resource to bi_dm;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_dm;

四、ETL开发入门实例 将【scott用户的emp表】的数据抽取到【bi_ods用户的ods_emp表】

期望结果如下:

scott用户:源表(EMP)

bi_ods用户:目标表(ODS_EMP)

1、创建目标用户(bi_ods)并授权

代码语言:javascript
代码运行次数:0
复制
源(scott)					目标(bi_ods层)
用户名:scott				用户名:bi_ods
密码:tiger					密码:bi_ods
数据库服务实例:orcl			数据库服务实例:orcl

注:scott用户和scott用户下的源表(EMP)本身就有,无需另行创建。

2、导入源表 打开D客户端(Designer),从数据库导入

注意:这里的BI_ODS这个文件夹要双击选中(会看到字体变粗),上面的菜单栏才会显示出源(S)这个可选项,否则可能会找不到!

3、构建目标表 把源表复制到目标表,并重命名ODS_EMP:

点击【目标】,选择【生成/执行SQL】,生成目标表

连接PL/SQL,登录bi_ods用户,查看是否生成目标表ODS_EMP:

4、创建映射

5、定义任务 打开W客户端(Workflow Manager)

scott用户:

bi_ods用户:

结果:

6、创建任务会话

源:ora_source_scott

目标:ora_source_scott

默认是Bulk(桶)加载,这里改成Normal(正常)加载:

7、创建工作流

8、启动任务/通过任务启动工作流

【启动任务】或【通过任务启动工作流】 ,然后会自动弹出M客户端(Workflow Monitor):

通过M客户端可以看到任务的执行情况!

9、检查数据 打开PL/SQL工具,查看数据是否从scott用户的源表(EMP)加载到bi_ods用户的目标表(ODS_EMP):

至此,一个简单ETL开发入门实例完成 ~ ~ ~

通过D客户端打开组件 右击映射,选择“打开”:

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/132141.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档