首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

用于所有操作的Oozie变量

Oozie是一个开源的工作流调度引擎,用于协调和管理Hadoop生态系统中的各种作业。在Oozie中,有一些特定的变量可以用于操作和控制工作流的执行。以下是用于所有操作的Oozie变量的详细解释:

  1. ${wf:id}:工作流实例的唯一标识符,由Oozie自动生成。
  2. ${wf:appPath}:工作流定义文件的路径。
  3. ${wf:conf(jobConf)}:工作流配置文件的路径。
  4. ${wf:user}:提交工作流的用户。
  5. ${wf:group}:提交工作流的用户所属的组。
  6. ${wf:name}:工作流的名称。
  7. ${wf:callbackUrl}:工作流完成后的回调URL。
  8. ${wf:errorCode}:工作流失败时的错误代码。
  9. ${wf:errorMessage}:工作流失败时的错误消息。
  10. ${wf:run}:工作流的运行次数。
  11. ${wf:lastErrorNode}:上次失败的节点。
  12. ${wf:lastErrorMessage}:上次失败的节点的错误消息。
  13. ${wf:actionData}:工作流中每个动作的输出数据。
  14. ${wf:actionExternalId}:工作流中每个动作的外部ID。
  15. ${wf:actionTrackerUri}:工作流中每个动作的Tracker URI。
  16. ${wf:actionExternalStatus}:工作流中每个动作的外部状态。
  17. ${wf:actionErrorCode}:工作流中每个动作的错误代码。
  18. ${wf:actionErrorMessage}:工作流中每个动作的错误消息。

这些变量可以在工作流定义文件中使用,并通过Oozie引擎在运行时进行替换。它们提供了对工作流执行过程中的各种信息的访问和控制,使得工作流的执行更加灵活和可控。

腾讯云提供了一系列与工作流调度和管理相关的产品和服务,例如:

  1. 腾讯云数据工厂(Data Factory):提供了可视化的工作流调度和数据集成服务,支持将各种数据源和计算引擎进行集成和调度。
  2. 腾讯云Serverless Workflow:提供了无服务器的工作流引擎,可以快速构建和管理复杂的工作流应用。
  3. 腾讯云容器服务(Tencent Kubernetes Engine):提供了基于Kubernetes的容器编排和调度服务,可以用于部署和管理容器化的工作流应用。

以上是关于Oozie变量的解释和腾讯云相关产品的介绍。希望能对您有所帮助。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • 基于Hadoop生态圈的数据仓库实践 —— ETL(三)

    三、使用Oozie定期自动执行ETL 1. Oozie简介 (1)Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统,其工作流作业是由一系列动作构成的有向无环图(DAGs),协调器作业是按时间频率周期性触发的Oozie工作流作业。Oozie支持的作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive、Sqoop和Distcp,及其Java程序和shell脚本等特定的系统作业。 第一版Oozie是一个基于工作流引擎的服务器,通过执行Hadoop Map/Reduce和Pig作业的动作运行工作流作业。第二版Oozie是一个基于协调器引擎的服务器,按时间和数据触发工作流执行。它可以基于时间(如每小时执行一次)或数据可用性(如等待输入数据完成后再执行)连续运行工作流。第三版Oozie是一个基于Bundle引擎的服务器。它提供更高级别的抽象,批量处理一系列协调器应用。用户可以在bundle级别启动、停止、挂起、继续、重做协调器作业,这样可以更好地简化操作控制。 (2)为什么需要Oozie

    02

    针对 Hadoop 的 Oozie 工作流管理引擎的实际应用

    Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架(如图 1 所示)使用 Oozie协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle系统提交或维护一组协调应用程序。作为本练习的一部分,Oozie 运行了一个 Apache Sqoop 作业,以便在 MySQL数据库中的数据上执行导入操作,并将数据传输到 Hadoop 分布式文件系统 (HDFS) 中。可以利用导入的数据集执行 Sqoop合并操作,从而更新较旧的数据集。通过利用 UNIX shell 操作,可从 MySQL 数据库中提取用来执行 Sqoop 作业的元数据。同理,可执行 Java操作来更新 Sqoop 作业所需的 MySQL 数据库中的元数据。

    03
    领券