水壶或PDI:在不同步骤之间共享相同的DB连接
水壶或PDI是指在数据集成过程中，不同步骤之间共享相同的数据库连接。PDI（Pentaho Data Integration）是一种开源的数据集成工具，用于将数据从不同的来源整合到一个统一的数据仓库中。
在数据集成过程中，通常需要进行多个步骤，例如数据抽取、转换和加载等。每个步骤都需要与数据库进行交互，执行相应的操作。然而，每次与数据库建立连接都会产生一定的开销，包括网络通信和身份验证等。为了减少这种开销，可以使用水壶或PDI来共享相同的数据库连接。
通过共享数据库连接，可以避免重复建立和关闭连接的过程，提高数据集成的效率和性能。同时，还可以减少对数据库资源的占用，提高系统的整体性能。
水壶或PDI的应用场景包括：
- 数据仓库构建：在构建数据仓库时，需要从不同的数据源中抽取数据，并进行转换和加载。通过共享数据库连接，可以简化数据集成的过程，提高数据仓库的建设效率。
- ETL流程：在ETL（抽取、转换和加载）流程中，需要对数据进行抽取、清洗、转换和加载等操作。通过共享数据库连接，可以减少连接的建立和关闭次数，提高整个ETL流程的效率。
- 数据迁移：在数据迁移过程中，需要将数据从一个数据库迁移到另一个数据库。通过共享数据库连接，可以简化数据迁移的过程，提高数据迁移的效率。
腾讯云提供了一系列与数据集成相关的产品，包括云数据库 TencentDB、数据传输服务 DTS、数据仓库服务 CDW 等。这些产品可以帮助用户实现高效的数据集成和管理。
- 腾讯云数据库 TencentDB：https://cloud.tencent.com/product/cdb
- 数据传输服务 DTS：https://cloud.tencent.com/product/dts
- 数据仓库服务 CDW：https://cloud.tencent.com/product/cdw
请注意，以上答案仅供参考，具体的产品选择和推荐应根据实际需求和情况进行评估。
相关·内容
我有多个数据库连接在一个水壶(五角大楼数据集成)转换。我正在寻找一种方法，在一个步骤中更改数据库连接，并在其他步骤中自动更改连接。我知道我可以在连接定义中使用从参数读取的变量，但我正在寻找一种GUI方式。
浏览 14提问于2017-06-19得票数 0
它有自己的方式从远程区域加载配置。此外，我们的Java应用程序设置并运行Kettle Core。我还没有找到关于这方面的转换或任何文档，也没有任何人试图这样做。
浏览 18提问于2017-08-12得票数 1
回答已采纳
5回答
除了无法将生成的数据插入到我的ElasticSearch远程服务器之外，一切正常。我尝试使用Kettle的组件“弹性搜索批量插入”，但是Kettle无法找到我的弹性搜索节点(可以看到)。是否有可靠的方法向我的ES服务器添加大量信息？使用水壶或独立脚本/plugins/etc的解决方案被接受，唯一的限制是ETL进程将在与弹性搜索不同的机器上运行。水壶</e
浏览 7提问于2014-05-06得票数 2
回答已采纳
我对PDI很陌生，我使用PDI 7，我有6行的excel输入，并希望将它插入到postgresDB中。我的转换是: EXCEL输入-> Postgres批量加载器(仅2步)。条件1:当我运行转换时，Postgres批量加载，没有停止，也没有将任何东西插入到我的postgresDB中。条件2:因此，我在Postgres批量加载器之后添加“插入/更新”步骤，以及插入到postgresDB中的所有数据--这意味着成功，但批量加载程序仍在运行。
浏览 5提问于2017-01-24得票数 0
回答已采纳
5回答
我需要参数化我的水壶作业和转换中的所有变量(这些作业将在AWS中运行，所有参数都作为环境变量传递)。作业及其附属转换中的连接、路径和各种其他参数使用${SOURCE_DB_PASSWORD}，${OUTPUT_DIRECTORY}样式。当我在Data Integration UI中将它们设置为环境变量时，它们都可以工作，并且作业在UI工具中成功运行。当我从bash脚本运行它们时：因此，在不使用jndi
浏览 109提问于2018-09-03得票数 4
1回答
我有两种输入类型的数据来自文件-
Data 1包含属性和值对。目前它有4个带有值的属性，但是，这可能包含更多的属性值对，这取决于输入。属性名将与数据2中的列/字段名相同。是否有一种方法通过PDI Kettle获得预期结果，如在附图中显示的方式，即比较数据1的属性行与数据2的相同属性列名，并附加值以生成预期的输出？我在水壶中尝试了合并连接
浏览 0提问于2020-09-18得票数 1
我已经将数据库库导出到xml文件中，然后创建了一个文件存储库并导入了该存储库.导入后我看到的第一个问题是我所有的数据库连接都存储在.ktr和.kjb文件中，如果我更新一个连接字符串(比如更新密码)，我有超过数百个子转换和作业有没有办法忽略存储在.ktr和.kjb文件中的密码和其他连接设置，而使用存储库连接或在.kettle属性中指定它？
我面临的另一个问题是，当我试图在cmd通过厨房运行主业时，它不承认子转换和工作。
浏览 0提问于2020-09-28得票数 0
回答已采纳
它有很多的工作和转变。但是，当我尝试使用PDI7.1或8时，我无法连接到这个存储库。在应用程序中，我可以毫无问题地创建数据库连接。与Server数据库的连接工作正常：
之后，当我尝试在应用程序中配置存储库连接 (Repository > Da
浏览 1提问于2018-05-25得票数 0
回答已采纳
2回答
我只是好奇，对于Postgres来说，最简单的解决方案是什么。我有PGAdminIII，但是看起来它实际上只支持长时间的备份/恢复。有没有一个python或bash脚本，或者其他什么东西，我可以给它基本的信息吗？我相信SQLYog是为MySQL在Win32中这么做的，但我现在在OSX上使用Postgres。
浏览 2提问于2010-01-13得票数 2
回答已采纳
在Kettle/ PDI转换中，我需要将来自另一个表的值加上其他静态字符串写在一个表上。1表输入:读取记录；3表输出:写入旧值+状态和其他常量我认为减少步骤的数量会更好，因为使用“添加常量”需要实例化一个新的</
浏览 0提问于2018-07-04得票数 0
在五旬节买下它并称之为它之前，我就一直在使用宾得数据集成。我有最后一个免费版本。
我最近在他们的网站上查看他们是否发布了另一个版本，结果发现我最喜欢的开源版本etl已经不太开放了，也不太免费了。你们中有谁知道可负担得起的、易于使用的ETL工具的替代品吗？
浏览 0提问于2011-04-05得票数 26
回答已采纳
五旬节数据集成: CE 6.1.0.1-196表输入->表输出(run_for_each_row.kjb)转换文件名：
浏览 4提问于2016-10-06得票数 0
回答已采纳
1回答
我设法将设备连接到IoT中心，但是设备将数据发送到各种不同的主题，我认为这会导致IoT中心断开设备的连接。MqttTopicBase/客户状态
MqttTopicBase/port/n/pdiMqttTopicBase/port/n/pdo
浏览 5提问于2021-06-25得票数 0
我有两个步骤组成的简单转换。1步骤(输入表)对DB进行查询，2步(Java类)处理结果。2步骤需要很长时间(在我的情况下这是正常的)，但在1小时后，我得到了封闭结果集的错误。我认为应该有一些中间步骤(或其他一些选项)
浏览 4提问于2017-10-10得票数 0
回答已采纳
我计划拆分来自procedure的行数，然后将它们装载到表中，并使用循环继续将某些行装载到表中。现在，我必须根据过程中的某些字段从过程中检索几条记录(一次一百万条)，然后将它们加载到表中。这必须迭代，直到来自过程的行的末尾。
在这件事上请帮帮我。
浏览 0提问于2018-11-28得票数 0
我需要使用一个变量连接到两个不同的数据集，该变量用于比较这些数据集。我使用了两个不同的表输入步骤，其中数据库连接名称和主机名是硬编码的。我想使用一个变量来定义这些连接，并且应该能够连接到它们，而不是使用硬编码 ?
浏览 28提问于2019-04-08得票数 0
首先我要说的是，我所知道的关于五旬节的东西不会填满一个段落。我对PostgreSQL更了解。我正在和一些承包商合作，他们正在为我的公司建立一套五旬节(4.5节)的月度报告。在我这样做之前，我想看看是否有人知道这会失败的原因，或者是一个坏主意。(或者如果你做得很好的话，也请告诉我。)包括PostgreSQL支持模式这一事实(而MySQL使用单独的数据库.相似的概念在某些方面有不同的表现)。有些人(和工具)不太喜欢这个.
浏览 7提问于2012-10-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
