首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何在linux中执行带数据参数的.ktr文件(另一种转换)?

在Linux中执行带数据参数的.ktr文件可以通过使用Pentaho Data Integration(PDI)工具来实现。PDI是一款强大的ETL工具,它提供了可视化的界面和强大的数据转换和处理功能。

要执行带数据参数的.ktr文件,可以按照以下步骤操作:

  1. 下载和安装Pentaho Data Integration(PDI)工具,可以通过腾讯云的产品介绍页面了解更多详情及下载链接。
  2. 打开PDI工具,进入转换设计界面。
  3. 在工具栏上找到并选择“Transformation”选项卡,然后点击“New”创建一个新的转换。
  4. 在转换设计界面的左侧“Input”选项卡中,选择“Add”添加一个输入步骤。
  5. 在弹出的对话框中,选择适合你的数据源类型,配置连接参数,并指定要读取的.ktr文件路径。
  6. 在转换设计界面的左侧“Jobs”选项卡中,选择“Add”添加一个作业步骤。
  7. 在作业步骤中,选择“Transformation”选项,并指定要执行的转换。
  8. 在转换设计界面的左侧“Parameters”选项卡中,添加需要传递的参数,例如参数名称为“input_data”。
  9. 在转换设计界面的左侧“Variables”选项卡中,添加对应的变量,例如变量名称为“input_data”,并设置其值。
  10. 运行转换,可以通过工具栏上的“Run”按钮启动转换。

执行带数据参数的.ktr文件的过程中,PDI会将指定的数据参数传递给.ktr文件并执行相应的数据转换操作。这样可以实现灵活的数据处理和转换需求。

注意:以上步骤仅提供了一种执行带数据参数的.ktr文件的方法,实际情况可能会根据具体需求和使用的工具而有所不同。建议在使用PDI或其他相关工具时,参考相应的文档和指南,以确保正确地执行.ktr文件并传递数据参数。

相关搜索:如何在带参数的spark中执行hql文件Scala中带参数和条件的链式数据帧转换如何在API控制器中创建带参数的GET方法(如排序查询或搜索查询)?在ViewModel中调用时,如何在不提供参数的情况下带参数执行按钮命令?如何在带参数的草莓perl可移植5.10.0.1中运行文件?如何在执行oracle存储过程时访问查询参数中的数据集参数如何在Android自定义数据绑定中传递带参数的函数如何在linux中设置带尾随点权限的文件夹?如何在Powershell中构建可执行文件的参数列表?如何在logstash中解析tmx文件(用于转换数据的xml文件如何在没有ORM的情况下在Nestjs中从不同的数据库(如Oracle/Postgress等)执行存储的Proc / Function你能执行一个从同样使用数据文件的文件中读取参数化体的集合吗?如何在我的spigot插件可执行文件中包含数据库如何在用pyinstaller编译的可执行文件中持久化/存储数据在Java中,如何在参数中加载文件中的数据并将其作为列表返回?如何在Splunk Web上将.csv文件中的“逗号分隔”数据转换为Json格式?如何在streamlit中读取用户的csv文件并转换为pandas数据帧如何在linux中合并目录中的多个文件,以便将每个文件数据放在新的列中?如何在python或linux中连接以竖线分隔的数据文件和表数据如何在嵌套的for循环中使用父循环计数器来访问json中的特定行,如django模板(.html文件)中的数据
相关搜索:
页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

kettle学习【大牛经验】

简单kettle实例 1.新建作业/转换(功能区:文件 --> 新建 --> 作业;新建-->转换) 一个作业(job,文件以kjb结尾)主体是转换(transform,以ktr结尾),job主要来设置调度...3.转换工作 新建转换:job需引用该转换文件 加入我们现在要同步MySQL一张表。在转换要有输入和输出。 ?...在Linux以kitchen.sh执行job任务,pan.sh执行transform任务;这里我们以上面为实例,如何在Linux中进行部署。...第二步:对于已在windos执行成功地址、文件名、用户等参数进行变量替换。...那么如何在kettle生产中利用邮件功能呢?我们可以将kettle转换信息、统计信息、错误信息以文件形式放入到指定位置(或形成指定参数),使用邮件以附件形式发送这些信息。 流程: ?

4.4K21

Kettle工具——Spoon、Kitchen、Pan、Carte

Windows下Spoon.bat,类UNIX下spoon.sh。Windows用户还可以通过执行Kettle.exe启动Spoon。Spoon屏幕截图如图1所示。 ?...唯一不同是Kitchen用于执行作业,Pan用于执行转换。在使用命令行执行作业或转换时,需要重点考虑网络传输性能。Kettle数据流将数据作为本地行集缓存。...在执行这些脚本以及Kettle其它脚本时,要把Kettle目录切换为控制台的当前目录。类UNIX系统脚本默认情况下是不能执行,必须使用chmod目录使脚本可执行。...这样就能在Spoon图形界面下进行设计开发调试,然后用命令行执行保存转换或作业(.ktr或.kjb文件),秉承Java程序一次编译到处运行理念。.../kitchen.sh # 运行一个存储在文件作业 Kettle-home> .

7.5K10
  • kettle在linux定时任务_CentOS(Linux)安装KETTLE教程 并配置执行定时任务

    大家好,又见面了,我是你们朋友全栈君。...进入到/opt/kettle/data-integration 授予 *.sh +x权限 即可执行权限 5,执行转换 编写测试转换执行如下命令即可 /opt/kettle-spoon/data-integration.../pan.sh -file=/opt/kettle-spoon/ktr/test/test1.ktr log=test1.log 6,执行job sudo /opt/kettle-spoon/data-integration.../kitchen.sh -file=/opt/kettle-spoon/ktr/test/SechuldUpdate.kjb log=timeLogUpdate.log (如果是job需要定时,如果我们需要执行是一个...job,则可跳过下列步骤,直接在job里设置定时参数即可) job和ktr路径变量问题需要注意,也可以直接写绝对路径 7,配置定时任务 7.1,如果是转换文件需要定时 可以按照如下方法操作,创建一个文件

    6.7K20

    kettle參数、变量具体解说「建议收藏」

    即使是不同转换它们也拥有相同值; 变量能够用在转换或作业,能够通过在转换中使用 Set Variable 步骤定义或在kettle.properties文件里定义。...文件路径默认例如以下: $HOME/.kettle (Unix/Linux/OSX) C:\Documents andSettings\\.kettle\ (Windows) C:...直接在里面定义,: TODAY=to_char(sysdate,’yyyy-mm-dd’),这里支持数据库函数,说更直白点,就是这里定义是个啥,那么在transformation里边取到它就是啥。...命名參数能够在转换或作业设置对话框定义,定义时给定默认值;当在SPOON执行作业或转换时。在执行对话框输入命名參数值。...例:执行job.kjb文件,有两个參数files.dir=/opt/files 、max.date=2010-06-02 Linux: .

    76320

    kettle 性能优化_kettle过滤记录

    样例:OPT=-Xmx1024m -Xms512m 2、 调整提交(Commit)记录数大小进行优化 修改RotKang_Test01“表输出”组件“提交记录数量”参数进行优化,Kettle...在KTR数据是使用流方式在不同步骤间传递数据,使用排序和分组操作会在这一步阻塞KTR执行,直到接收到前面所有步骤传过来数据为止,导致ETL运行时间增长,占用内存增大。...ktr步骤数量为机器核心总数3〜4倍最佳,如果超过这个范围,可以考虑通过减少步骤数量方式以提高ktr执行效率。...远程数据库用文件+FTP方式来传数据文件要压缩。(只要不是局域网都可以认为是远程连接); (16). 使用Carte管理kjb和ktr减小内存消耗; (17)....如果执行过程,会发现内存临时表大小到达了上限(控制这个上限参数就是tmp_table_size),会把内存临时表转成磁盘临时表。

    3.3K20

    使用kellte(ETL工具)对数据抽取、迁移等操作(入门安装篇)

    Kettle中有两种脚本文件,transformation和job,transformation完成针对数据基础转换,job则完成整个工作流控制。...首先解压下载下来压缩包:pdi-ce-8.2.0.0-342.zip   然后打开Spoon.bat,打开后请耐心等待一会儿时间。如图所示: 3、建立转换。   在文件->新建装换。   ...新建转换后在左边主对象树建立DB连接用以连接数据库。如图所示: 建立数据库连接过程与其他数据库管理软件连接数据库类似。...注意:在数据库链接过程,可能会报某个数据库连接找不到异常。那是因为你没有对应数据库链接驱动,请下载对应驱动后,放入kettlelib文件夹。...双击start可以编辑,可以设置执行时间等等 点开装换,可以设置需要执行转换任务,比如可以执行上面我们做转换,XXX.ktr 最后点击运行即可。

    2.4K20

    ETL开发工具KETTLE使用教程「建议收藏」

    Kettle简介:Kettle是一款国外开源ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。...Kettle中有两种脚本文件,transformation和job,transformation完成针对数据基础转换,job则完成整个工作流控制。...首先解压下载下来压缩包:pdi-ce-6.1.0.1-196.zip   然后打开Spoon.bat,如图所示:   打开后请耐心等待一会儿时间。 3、建立转换。   在文件->新建装换。   ...新建转换后在左边主对象树建立DB连接用以连接数据库。如图所示:   建立数据库连接过程与其他数据库管理软件连接数据库类似。   注意:在数据库链接过程,可能会报某个数据库连接找不到异常。...双击start可以编辑,可以设置执行时间等等   点开装换,可以设置需要执行转换任务,比如可以执行上面我们做转换,XXX.ktr   最后点击运行即可。

    1.6K10

    kettle实现动态SQL查询

    大家好,又见面了,我是你们朋友全栈君。 kettle实现动态SQL查询 在ETL项目中,通常有根据运行时输入参数执行一些SQL语句,查询数据。...本文通过kettle表输入(“table input”)步骤来说明动态查询、参数查询。示例代码使用内存数据库(H2),下载就可以直接运行,通过示例学习更轻松。...根据需要可以绑定多个值并循环执行。本示例名称为placeholders.ktr文件。...示例名称为variables.ktr,运行时不要忘了给parameter(命名参数)赋值进行测试。...示例下载 可以在这里下载示例文件。所有示例都kettle5.1版测试通过,而且测试数据是用H2内存数据库,下载后可以直接运行,非常容易,希望你学习顺利。

    5.5K20

    数据迁移工具】使用 kettle数据迁移从oracle到mysql图文教程

    如果在你电脑上启动之后,没有进入下面的页面,那么就换台机器。修改 Spoon.batjava内存参数不一定好使。 ? 因为这哥们使用Java写。...按照下图操作,输入相关数据连接参数  ?...3 最基本数据 导入数据基本流程如下图,可以分为三个步骤,首先建立源数据库和目标数据连接,然后建立源数据表和目标数据映射关系,最后建立作业任务,执行。  ?...第四步: ctrl+s 保存 ktr文件  4 建立作业 按照下图新建作业  ? 4.1 设置START 拖拽【START】到右侧空白区域  ?...4.2 配置作业转换 第一步:拖拽【转换】到右侧空白区域,并按住shift 拖动鼠标连线  ? 第二步:选择第3章保存ktr文件,保存即可。  ?

    10K20

    kettle学习笔记(三)——kettle资源库、运行方式与日志

    资源库可以使多用户共享转换任务,转换任务在资源库是以文件夹形式分组管理,用户可以自定义文件夹名称。   ...1.ketle资源库元数据   • 资源库     资源库包括文件资源库、数据库资源库     Kettle 4.0 以后资源库类型可以插件扩展   • XML 文件     .ktr 转换文件XML...kjb 作业XML根节点是   2.kettle资源库类型   数据库资源库:     • 把 Kettle 数据串行化到数据 R_TRANSFORMATION 表保    存了...    通过/logfile在命令行运行Job时设置     linux通过管道符进行输出重定向     默认日志文件保存在 java.io.tmpdir 目录下,文件名类似spoon_xxx.log...选择数据库连接->如果数据没有这个表,则可以点击下面的SQL,再通过执行进行新建   转换表配置如下: ?   其他日志表类似   监控表需要开启监控: ?

    4.9K21

    kettle教程(1) 简单入门、kettle简单插入与更新。打开kettle

    Kettle中有两种脚本文件,transformation和job,transformation完成针对数据基础转换,job则完成整个工作流控制。...首先解压下载下来压缩包:pdi-ce-6.1.0.1-196.zip   然后打开Spoon.bat,如图所示:   打开后请耐心等待一会儿时间。 3、建立转换。   在文件->新建装换。   ...新建转换后在左边主对象树建立DB连接用以连接数据库。如图所示:   建立数据库连接过程与其他数据库管理软件连接数据库类似。  注意:在数据库链接过程,可能会报某个数据库连接找不到异常。...使用作业可以定时或周期性执行转换,新建一个作业。并从左边面板拖入start 和转换。   ...双击start可以编辑,可以设置执行时间等等   点开装换,可以设置需要执行转换任务,比如可以执行上面我们做转换,XXX.ktr   最后点击运行即可。

    2.9K10

    使用Kettle连接动态分库

    d_p20161201、d_p20161202等,并使用Kettle连接这些数据库做数据清洗和ETL工作。...建立转换,用JavaScript步骤设置上一步引用变量,作为数据库名称日期部分。 3. 建立作业,在开始后首先调用上一步建立转换,后续转换或作业即可正常使用第1步建立数据库连接。...新建一个转换,保存为set_dbname.ktr 3. 建立数据库连接如下: ? 如图所示,在“数据库名称”引用了一个变量${current_date},此时该变量还没有定义。...新建一个转换如下,保存为table_output.ktr。 ? 此转换只有两个步骤,用来测试数据库输出,分别如下面两张图所示: ? “表输入”查询t1表数据。 ?...“文本文件输出”将表数据存储到一个txt文件。 7. 新建一个作业,调用前面的建立两个转换,保存为connect_db.kjb。 ? ? ? 8. 执行作业 9.

    1.8K31

    kettle工具作用和使用「建议收藏」

    3.准备连接数据驱动 数据库驱动,驱动一般放在kettle根目录bin或者lib下面,然后到服务启动mysql,重启kettle。...三.Kettle使用 1.运行Spoon.bat,打开spoon图形工具 2.创建连接资源库 这里测试,用我本地两个不同数据库(mysql,oracle)做一个数据转换 a.新建–转换 b.添加...db数据源 c.添加一个表输入和表输出 d.表输入 编辑 e.表输出 编辑 f.运行这个转换 g.查看表数据是否已经成功转换过来 h.最后将这个文件保存时候,生成一个ktr文件。...再我日常开发,将这个ktr脚本文件放在主机目录上,通过命令定时每月一号零点运行,就可以将日表统计数据,导入到月表。 后续还有很多值得研究和学习地方,可以慢慢挖掘,这里只是做个简单测试。...发现本站有涉嫌侵权/违法违规内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

    1.5K20

    Kettle教程一:Kettle简介和Kettle部署安装

    一 Kettle简介 1、ETL简介 ETL(Extract-Transform-Load缩写,即数据抽取、转换、装载过程),对于开发或者运维人员来说,我们经常会遇到各种数据处理,转换,迁移,...Kettle中有两种脚本文件,transformation和job,transformation完成针对数据基础转换,job则完成整个工作流控制。...3、kettle核心组件 4、Kettle概念模型 Kettle执行分为两个层次:Job(作业)和Transformation(转换)。...3、需准备其他东西:数据库驱动,将驱动放在kettle根目录bin文件夹下面即可。...3、kettle无法创建xml相关步骤,有相关步骤.ktr文件也打不开 可能是因为路径包含中文,将整个安装包移动到桌面或其他没有中文字符路径下,重启Spoon.bat即可。

    73.9K67

    Kettle与Hadoop(五)执行MapReduce

    执行作业并验证输出 (1)执行作业,日志如图12所示。 ? 图12 从图12可以看到,作业已经成功执行。 (2)检查HDFS输出文件,结果如图13所示。 ?...当给一个关系型数据仓库或数据集市准备待抽取数据时,这是一个常见使用场景。我们使用格式化web日志数据作为细节数据,并且建立一个聚合文件,包含按IP和年月分组PV数。 1....图18 将转换保存为aggregate_mapper.ktr。 3. 建立一个用于Reducer转换 (1)新建一个转换,如图19所示。 ?...图22 将转换保存为aggregate_reducer.ktr。 4. 建立一个调用MapReduce步骤作业,调用mapper和reducer转换。...图29 从图29可以看到,/user/root/aggregate_mr目录下生成了名为part-00000输出文件文件包含按IP和年月分组PV数。

    52230

    Kettle构建Hadoop ETL实践(三):Kettle对Hadoop支持

    生成聚合数据集 (1)准备文件与目录 (2)建立一个用于Mapper转换 (4)建立一个调用MapReduce步骤作业 (5)执行作业并验证输出 2....JAR文件MapReduce作业 Oozie job executor 执行Oozie工作流 Pentaho MapReduce 在Hadoop执行基于MapReduce转换...使用Shim能够连接不同Hadoop发行版本,CDH、HDP、MapR、Amazon EMR等。当在Kettle执行一个大数据转换或作业时,缺省会使用设置Active Shim。...确认用户已经被授予目录执行权限 检查集群安全设置(dfs.permissions等)是否允许shim访问。 验证HDFS主机名和端口号是否正确。...在本示例,我们先为Kettle配置Spark,然后修改并执行Kettle安装包自带Spark PI作业例子,说明如何在Kettle中提交Spark作业。 1.

    6.1K21

    kettle调度监控平台(kettle-scheduler)开源

    类似) 预装软件:jdk1.8、mysql、tomcat、kettle8.0 2.将源码kettle-scheduler.sql导入mysql数据库。...(.ktr)或作业(.kjb)路径,此功能未调试,暂时停用,待开发 kettle.file.repository=D:\\data-integration\\test 6.需要用到大数据组件:将data-integration...目录下simple-jndi、system和plugins文件夹拷贝到apache-tomcat-9.0.12\bin目录下 不需要用到大数据组件:将kettle-scheduler/src/main...8.监控管理 – 转换监控 处于运行转换会被系统监控,此处显示被监控转换监控信息,包括总转换任务数、总执行成功次数、总执行失败次数以及每个转换成功次数和失败次数。...发现本站有涉嫌侵权/违法违规内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

    9.1K150

    kettle工具介绍和使用

    Kettle是一款国外开源ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。...新建一个转换转换后缀名为ktr转换建立步骤如下: 步骤1建立DB连接:创建DB连接,选择新建DB连接,如下图,我们输入相应数据库配置信息之后点击Test按钮测试是否配置正确!...点击运行按钮可选择本地远程或远程执行或集群方式执行,我选择本地执行,之后提示文件已经改变,在运行转换前请先保存它,你想现在保存这个转换吗?可以选择保存下来。...步骤三:如果我们需要让这个转换定时执行怎么办呢,那么我们需要建立一个作业job 见下图,在简单表同步这个转换,我们把在A步骤建立ktl配置上,注意路径正确性; 这样我们在【Start】步骤上面双击...存在3张表: 目标表:etltest中一张表 Kettle具体解决方式,步骤比较繁琐,大家可以直接到下载中下载Demo数据文件ktr、kjb来实战测试,这样是最好,下面的操作仅供参考,转换预览图如下

    5.3K20
    领券