我将使用在oozie工作流上运行的shell脚本将特定文件放到hdfs中。运行shell脚本时出现错误，我的作业被终止
在oozie工作流中运行shell脚本将特定文件放到HDFS中时出现错误导致作业被终止，可能是由于以下原因之一：
- 脚本语法错误：检查shell脚本中的语法错误，例如拼写错误、缺少引号、括号不匹配等。确保脚本能够在本地环境中正确运行。
- 权限问题：确认oozie工作流所在的用户对目标HDFS路径具有写入权限。可以使用Hadoop命令行工具或HDFS API进行验证和设置。
- HDFS配置错误：检查HDFS配置文件，确保HDFS的相关服务正常运行，并且oozie工作流能够正确连接到HDFS。
- 资源不足：检查集群资源是否足够支持作业运行。可能是由于集群负载过高或资源不足导致作业被终止。
- 输入输出路径错误：确认脚本中指定的输入文件路径和输出文件路径是否正确。确保文件存在并且路径正确。
针对以上问题，可以采取以下解决方案：
- 仔细检查shell脚本语法，确保脚本在本地环境中可以正确运行。
- 确认oozie工作流所在的用户对目标HDFS路径具有写入权限，可以使用Hadoop命令行工具或HDFS API进行验证和设置。
- 检查HDFS配置文件，确保HDFS的相关服务正常运行，并且oozie工作流能够正确连接到HDFS。
- 检查集群资源是否足够支持作业运行，可以增加集群资源或调整作业调度策略。
- 确认输入输出路径是否正确，可以通过打印日志或调试脚本来定位问题。
对于腾讯云相关产品和产品介绍链接地址，由于不能提及具体品牌商，建议您参考腾讯云官方文档或咨询腾讯云技术支持获取更详细的信息和解决方案。
相关·内容
3回答
从Oozie运行Spark2
、、、、
我试图运行一个火花作业(使用火花2-提交)从Oozie，所以这个作业可以运行的时间表。
作业在运行时运行良好，我们从服务帐户下的命令行运行shell脚本(而不是Yarn)。当我们以Oozie工作流的形式运行它时，会发生以下情况：
17/11/16 12:03:55 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.hadoop.security.AccessControlException: Permission denied:
user=yarn, access=WRITE, inode="/
浏览 6提问于2017-11-16得票数 0
回答已采纳
当我在包含shell脚本oozie上运行工作流时，我有错误。yarn应用日志显示错误：
>>> Invoking Shell command line now >>
Exit code of the Shell command 1
<<< Invocation of Shell command completed <<<
我将从ftp服务器下载文件，并使用oozie工作流将文件放入hdfs路径。我在shell脚本中使用shell脚本定义工作流，使用wget下载文件，然后使用hdfs dfs -put命令将文件从本地加载到hdf
浏览 46提问于2018-07-29得票数 2
1回答
我正在使用oozie的REST来调用shell脚本操作。任何包含访问或使用HDFS的脚本都会失败。
我用这个简单的脚本进行测试
#!/bin/bash -e
hadoop fs -touchz aaa
当我运行从命令行调用此脚本的Oozie工作流时--作为“根”--它工作得很好。当我从REST调用它时，错误代码JA018和错误消息都会失败：
Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
我确信我的oozie资产是正确设置的(即job.properties和workflow.xml)，因为如果我交换掉&#
浏览 3提问于2013-10-11得票数 0
1回答
我的机器上运行CDH4.5和virtualbox。在虚拟机中，我有一个本地目录：/home/cloudera/logs/abc.log，我想做一件非常简单的事情，我在oozie中安排了一个非常简单的脚本来将abc.log复制到HDFS (/user/cloudera/logs/)。
调度的作业被执行了，但是在stderr中，它向我展示了：cannot access /home/cloudera/logs/abc.log: No such file or directory
有没有什么办法可以让这件事起作用？因为我想使用oozie计划一个脚本，每天将文件从本地复制到HDFS作为洗浴作业。谢谢！！
浏览 0提问于2013-12-12得票数 2
我正在运行一个3节点的HDP 2.2集群。Oozie版本是4.1.0.2.2，Sqoop版本是1.4.5.2.2。我正在使用Sqoop作业从RDBMS到HDFS进行增量导入，如下所示：
sqoop job –create JOB1 –meta-connect “jdbc:hsqldb:hsql://ip-address:16000/sqoop” — import –connect jdbc:oracle:thin:@ip-address:db –username db_user –password-file hdfs://ip-address:8020/user/oozie/.password
浏览 2提问于2015-08-28得票数 0
2回答
如何在oozie中执行并行作业
、、、、
我在HDFS中有一个shell脚本。我用以下工作流程在oozie中安排了这个脚本。
工作流程：
<workflow-app name="Shell_test" xmlns="uri:oozie:workflow:0.5">
<start to="shell-8f63"/>
<kill name="Kill">
<message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</me
浏览 4提问于2017-04-18得票数 5
我有下面的Oozie工作流程，假设我在执行操作"Do_task1“时手动终止了作业，但我仍然想执行操作"Do_task2”，尽管手动终止了oozie作业(当操作"Do_task1“正在运行时)。我该怎么做呢？ <workflow-app name="simple-Workflow"
xmlns="uri:oozie:workflow:0.4">
<start to = "Do_task1" />
<!—Step 1 -->
<action name
浏览 24提问于2019-01-31得票数 0
我已经编写了一个oozie工作流，将文件从本地复制到hdfs。运行作业后不会显示任何错误，但不会将文件放入hdfs
以下是我的代码
nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
queueName=default
oozie.wf.application.path=${nameNode}/crazyoozie
focusNodeLogin=cloudera
shellScriptPath= /home/cloudera/Desktop/script.sh
workflow.xml
<workflow-app name=&
浏览 0提问于2016-04-27得票数 0
我正在尝试将一个文件从HDFS的一个目录复制到HDFS中的其他目录，在作为oozie作业一部分的shell脚本的帮助下，但是我无法通过oozie复制它。
我们能否使用oozie将HDFS中的文件从一个目录复制到HDFS中的其他目录中。
when i am running the oozie job, i am not any getting error.
it is showing status SUCCEEDED but file is not copying to destination directory.
oozie档案在下面。
test.sh
#!/bin/bash
echo &#
浏览 1提问于2016-08-04得票数 1
回答已采纳
2回答
我有一份只有一个弹壳动作的oozie工作。首先，shell操作以编程方式查找某些存储在hdfs上的sql脚本文件。然后尝试在impala上运行每个sql脚本。
因为我想要运行的sql脚本列表是事先不知道的，因此不能作为<file>参数传递给oozie操作，那么是否有一种方法可以运行黑斑羚并给它一个hdfs路径而不是linux路径？
浏览 1提问于2019-08-06得票数 3
回答已采纳
我的shell脚本如下所示
ssh -q -v -i id_rsa -o "StrictHostKeyChecking no" user@remotemachine script > file
hdfs dfs -put -f file hdfspath
当我用"“在oozie shell操作中运行这个脚本时，文件会从远程机器复制到我的机器上。实际上它的文件超过2kb。但是，当我使用(hdfs dfs -put)将其移动到hdfs时，它的命令如下所示
失败的Oozie启动程序、主类org.apache.oozie.action.hadoop.ShellM
浏览 0提问于2018-11-13得票数 0
回答已采纳
我有一个shell脚本example.sh
hive -e "select max(id) from dummy.table;" > data.txt
hdfs dfs -put -f data.txt /user/username/data.txt
此脚本从hive中获取数据并将结果存储在hdfs中。这在终端机上如预期的那样工作。但是当我创建一个oozie工作流时，创建的文件是空的。我试着打印一些硬编码的值，然后工作流运行良好。问题是，当涉及到hive查询时，尽管作业成功，但数据还是不存在。我试着用hql运行同样的程序，并且运行成功。
insert overwrite
浏览 7提问于2020-07-14得票数 1
当我试图运行oozie作业时，它会抛出以下错误Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
独立运行时，我的shell脚本运行良好。
job.properties
nameNode=hdfs://ns613.mycyberhosting.com:54310
jobTracker=ns613.mycyberhosting.com:8032
queueName=default
user.name=root
oozie.libpath=${nameNode}/u
浏览 1提问于2016-09-21得票数 0
我正在尝试设置一个触发python脚本的oozie作业。请注意，这不是一个pyspark应用程序，而是一个普通的python脚本。
我希望这个作业只在主节点上运行(因为我已经在主节点上单独安装了所需的依赖库)。
有没有办法通过oozie调度在master上运行这个作业？
非常感谢你的回答！
我已经在主节点上安装了依赖库，并手动运行了python脚本，它可以正常工作。我现在所做的就是从oozie中安排它。
浏览 0提问于2019-09-05得票数 0
1回答
我正在使用hadoop集群中的oozie实现猪作业的自动化。
我能够从oozie运行一个样例猪脚本，但我的下一个要求是运行一个猪作业，在那里猪脚本接收来自shell脚本的输入参数。请分享你的想法
浏览 2提问于2016-01-22得票数 0
我需要oozie的帮助，我试图运行一个创建HDFS文件夹的脚本，当我执行Oozie时，它只显示在运行状态下，请任何人帮助我识别我的workflow.xml或jo.properties是否有任何问题。我试着验证workflow.xml，它没有显示出任何错误。
workflow.xml
<workflow-app xmlns='uri:oozie:workflow:0.3' name='shell-wf'>
<start to='shell1' />
<action name='shell1'&g
浏览 1提问于2015-05-07得票数 3
我有python脚本，我可以通过spark-submit运行它。我需要在Oozie中使用它。
<!-- move files from local disk to hdfs -->
<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.3">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</na
浏览 0提问于2017-07-26得票数 0
2回答
我编写了类似于自定义oozie FTP操作的smth (在“专业Hadoop解决方案”中描述的简单示例: Boris Lublinsky；Kevin T. Smith；Alexey Yakubovich)。node1上有HDFS，node2上有Oozie服务器。Node2也有HDFS客户端。
我的问题是：
Oozie作业从node1开始(位于node1上的HDFS上的所有所需文件)。
Oozie自定义FTP操作成功地从node2上从FTP下载CSV文件(oozie服务器位于)
我应该将文件传递到HDFS，并在node1上从CSV创建外部表。我尝试使用Java操作并调用fileSys
浏览 0提问于2015-12-08得票数 1
回答已采纳
1回答
如何使用Oozie检查HDFS位置中的文件是否存在？
在我的HDFS位置，每天晚上11点我会得到一个像这样的test_08_01_2016.csv文件。
我想在晚上11点15分之后检查这个文件是否存在我可以使用Oozie协调器作业来调度批处理。
但是，如何验证HDFS中是否存在该文件？
浏览 3提问于2016-08-19得票数 6
回答已采纳
我正在尝试使用distcp将数据从s3复制到hdfs。下面是我正在执行distcp的shell脚本。
mkdir.sh
hadoop distcp s3n://bucket-name/foldername hdfs://localhost:8020/user/hdfs/data/
The above shell script works fine when i am running the script manually.
But when i try to run the same script using oozie workflow distcp fails.
I am trying
浏览 1提问于2014-09-30得票数 1
我有一个shell脚本，其中包含使用oozie操作运行的星火提交命令。
Oozie能够从shell脚本运行submit命令，但是作业在纱线中部署时失败了。
我们非常感谢你的帮助。
在NullPointerException下面抛出职务：
Exception in thread "main" java.lang.NullPointerException
at scala.collection.mutable.ArrayOps$ofRef$.length$extension(ArrayOps.scala:114)
at scala.collection.mutabl
浏览 5提问于2018-12-04得票数 2
回答已采纳
1回答
我正在尝试使用oozie调度程序运行mahout命令- sequence2sparse，但是它带来了一些错误。我试着使用oozie - shell标记运行mahout命令，但没有成功。
以下是奥兹的工作流程-
<action name="mahoutSeq2Sparse">
<shell xmlns="uri:oozie:shell-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node&g
浏览 3提问于2015-06-05得票数 0
2回答
我有一个文件夹，其中存储了我所有的应用程序日志文件。如果在文件夹中创建了新的日志文件，我的oozie应该立即触发一个Flume作业，该作业将把我的日志文件放到HDFS中。
如何在文件夹中创建新的日志文件时触发Oozie作业？非常感谢任何关于这个话题的帮助！
浏览 1提问于2013-12-21得票数 0
目前，我很难让Oozie在我的hadoop安装上正常工作。任何输入都是非常感谢的，因为我是所有这一切的完全初学者。我使用:Hadoop2.6.0(与Yarn一起使用)，oozie 4.0.1，hive 1.0.0，hue 3.7.1，pig 0.12，它是我在伪分布式环境下运行的本地安装。我安装了tars中的所有内容，并手动配置了它，因为遗憾的是，单击cloudera的在OS中无法工作。
据我所知，在CLI和Hue两种语言中，Hadoop+Hive似乎都很好。
来自Hue的Pig编辑器还不能完全工作，我可以访问和使用HDFS中的文件，但是当我尝试使用HCatalog访问Hive表时(ERROR
浏览 2提问于2015-04-01得票数 2
回答已采纳
我想运行一个简单的工作流，但每次我提交作业时，它都会停留在准备状态。在这里，我试图从文本文件中读取逗号分隔的值，并将它们打印在屏幕上。为此，我使用以下属性文件，工作流文件和脚本文件。
环境：
Hadoop: 2.6.0 (一个namenode和两个datanode)
Oozie : 4.1.0
猪: 0.14.0
这是我的属性文件：
`
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
浏览 5提问于2015-06-09得票数 0
2回答
我正在尝试通过Oozie工作流运行ssh操作，
<action name="ssh-action">
<ssh xmlns="uri:oozie:ssh-action:0.1">
<host>Server name.net<host>
<command>echo</command>
</ssh>
<ok to="endjob"/>
<error to="endjob"
浏览 0提问于2015-06-23得票数 0
我正在调用下面的shell-action来调用一个shell脚本，该脚本将输出写入一个文件。我在IBM和Cloudera上都尝试过这种方法，但是每当我尝试在BigInsight中写入新文件时，作业都会失败。
我检查了应用程序/作业id日志，但没有任何信息。从shell脚本写入hdfs是否有任何限制。
-sample.sh
hive -e "create t1(id int); insert into t1 values(1);"
hive -e "select * from t1;" > /user/cloudera/test123/t1_data.txt
浏览 0提问于2016-12-29得票数 1
8回答
我正在使用Hue中的oozie编辑器调用bash脚本。
我在工作流中使用了shell操作，并在shell命令中尝试了以下不同的选项：
使用“选择文件”上载shell脚本
给出了shell脚本存在的本地目录路径
给出了shell脚本存在的HDFS路径
但是，所有这些选项都出现了以下错误：
无法运行程序"sec_test_oozie.sh“(目录sec_test_oozie.sh java.io.IOException: error=2 )，没有这样的文件或目录
我应该如何给shell脚本执行命令？shell脚本文件应该驻留在哪里？
浏览 7提问于2014-05-13得票数 6
我有一个运行shell脚本的简单工作流(见下文)。shell脚本运行pyspark脚本，该脚本将文件从本地移动到hdfs文件夹。
当我运行shell脚本本身时，它工作得很好，日志通过shell脚本中的> spark.txt 2>&1重定向到一个文件夹。
但是，当我使用以下工作流提交oozie作业时，shell的输出似乎被抑制了。我尝试重定向所有可能的oozie logs (-verbose -log) > oozie.txt 2>&1，但是没有帮助。
工作流已成功完成(状态SUCCESSEDED，没有错误日志)，但我看到，文件夹没有复制到hdfs，但是当
浏览 2提问于2017-07-26得票数 1
回答已采纳
通过在命令行上使用以下命令，我们可以获得oozie作业的作业详细信息，尽管该作业仍在进行中。
export OOZIE_URL=http://..../oozie
oozie job -info 0177204-172227110941438-oozie-oozi-W
oozie工作流正在运行，在最后一个shell操作中，我试图将作业信息详细信息捕获到一个文件中。
job.sh
------------
job_id=${1}
export OOZIE_URL=http://..../oozie
oozie job -info job_id >> /tmp/job_id.txt
浏览 1提问于2018-01-12得票数 3
我已经编写了一个Oozie工作流，它运行一个BASH shell脚本来执行一些hive查询并对结果执行一些操作。脚本运行，但在访问某些HDFS数据时抛出权限错误。提交Oozie工作流的用户有权限，但脚本是以yarn用户身份运行的。
是否可以让Oozie以提交工作流的用户身份执行脚本？配置单元和Java操作都是以提交的用户身份执行的，只是shell的行为不同。
下面是我的Oozie行动的大致轮廓
<action name="start_action"
retry-max="12"
retry-interval="600
浏览 1提问于2015-08-01得票数 8
1回答
我有一个从MySQL to hdfs导入数据的shell脚本，即sqoop shell脚本。我想使用oozie来调度sqoop导入作业。
该脚本具有以下sqoop query
sqoop import --connect ${domain}:${port}/${database} --username ${username} --password ${password} --query "select * from ${table} where \$CONDITIONS" -m 1 --hive-import --hive-database ${hivedatabase}
浏览 2提问于2017-03-07得票数 1
回答已采纳
从oozie调用importtsv的最佳方式是什么？这是我想通过oozie运行的：
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns="HBASE_ROW_KEY,cf:name" nameTab hdfs://xyz.com:8020/user/me/name.csv
我是否必须将其放在脚本中，如果是，如何调用hbase，以及要添加的库是什么。菜鸟，请帮帮忙。
浏览 3提问于2016-06-22得票数 1
我已经使用Oozie创建了一个工作流，它由多个操作节点组成，并且能够成功地通过协调器运行这些节点。
我想通过包装器shell脚本调用Oozie工作流。
包装器脚本应该调用Oozie命令，等待oozie作业完成(成功或错误)，并返回Oozie成功状态代码(0)或失败的oozie操作节点的错误代码(如果oozie工作流的任何节点失败)。
从我到目前为止所看到的，我知道只要我调用oozie命令来运行一个工作流，该命令就会退出，并且作业id会在linux控制台上打印出来，而oozie作业会在后端保持异步运行。
我希望包装器脚本阻塞，直到oozie协调器作业完成并返回成功/错误代码。
您能让我知道如何/
浏览 1提问于2015-06-20得票数 5
我在Oozie中遇到过几个SparkAction作业的例子，其中大多数都是用Java语言编写的。我稍微编辑了一下，然后在Cloudera CDH Quickstart 5.4.0 ( Spark版本为1.4.0)中运行了这个示例。
workflow.xml
<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkFileCopy'>
<start to='spark-node' />
<action name='spark-node&#
浏览 2提问于2015-07-16得票数 1
我有一个星星之弹，我用启动了它-提交，它运行良好(读取文件，生成RDD，存储在hdfs中)。但是，当我试图在Oozie作业(oozie:spark-action)中启动相同的jar时，火花作业失败了。
当我查看日志时，出现的第一个错误是：
错误MetricsSystem:不能实例化接收器类org.apache.spark.metrics.sink.MetricsServlet。
此外，当我开始玩星火脚本时，我发现问题与saveAsText功能有关。当我午餐时，同样的火花工作，而不写到HDFS，整个工作流程工作良好。
有什么建议吗？
浏览 0提问于2017-05-15得票数 0
我有一个Oozie工作触发了一个R脚本。R脚本依次运行一个Hive查询，将一行插入到Hive表中。但问题是，在运行作业时，单个insert语句将插入4行。但是，如果我单独运行Rscript而不执行Oozie作业，它可以正常工作，并且只有一行被插入到表中。
请注意： Oozie作业运行在Cloudera分发版上，我怀疑问题在BigData环境中，因为处理在节点之间被分割。下面是R脚本中的代码。
library(RHive)
Sys.setenv("HADOOP_HOME"="/opt/cloudera/parcels/CDH/lib/hadoop")
Sys.se
浏览 4提问于2017-08-21得票数 0
1回答
我正试图通过cli启动一个Oozie Shell Action作业，如下所示：
oozie job -config jobprops/jos.prioperties -run
作业开始，它给我一个唯一的Id，我可以在Oozie中看到作业。
但是，Yarn控制台显示没有提交的作业，在签入oozie日志时，我得到以下消息：
Error starting action [folder-structure].
ErrorType [TRANSIENT], ErrorCode [JA009]
Message [JA009: Permission denied: user=vikas.r, access=
浏览 2提问于2016-02-24得票数 0
1回答
Oozie外壳动作失败
、、、
我正在我的cloudera (快速启动vm)中尝试测试oozie shell操作。运行一个简单的hdfs命令(hadoop -put .)脚本它的工作，但当我触发一个蜂巢脚本，oozie的工作是用状态“杀死”完成。关于oozie consol唯一的错误消息
主类org.apache.oozie.action.hadoop.ShellMain，退出代码1
而历史服务器中的底层作业(名称、节点日志)则是成功的。以下是奥兹的工作细节：
workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.5" name="
浏览 0提问于2018-05-16得票数 0
回答已采纳
2回答
我正在探索Oozie用于管理Hadoop工作流的功能。我正在尝试设置一个shell操作，它调用一些hive命令。我的shell脚本hive.sh如下所示：
#!/bin/bash
hive -f hivescript
其中hive脚本(已经独立测试)创建了一些表，等等。我的问题是在哪里保存hivescript，然后如何从shell脚本引用它。
我尝试了两种方法，第一种是使用本地路径，比如hive -f /local/path/to/file，另一种是使用相对路径hive -f hivescript，在这种情况下，我将hivescript保存在oozie应用程序路径目录中(与hive.sh和wo
浏览 6提问于2014-03-14得票数 5
2回答
我正在浏览oozie文档，我知道它是一个分布式工作流调度程序。
它能够在提交oozie作业的集群上调度工作流吗？要重新表述，oozie能够在集群中的任意随机节点上调度作业或运行脚本，它是否能够在客户端机器/边缘节点/其他集群(例如distcp )上执行操作。
浏览 4提问于2016-01-04得票数 0
回答已采纳
让我解释一下，这让我发疯了.
我有一个spark2程序，我想从一个oozie工作流提交。
因为默认情况下，spark2不能直接从oozie提交，所以我创建了一个sh，其中包含sh 2-submit语句来执行spark2作业。
如果我从控制台运行这个sh，它的工作原理是完美的。但是，当我从oozie工作流运行它时，没有办法让它工作，但更糟糕的是，我看不到执行返回的日志上有一个明显的错误。
以下是我正在使用的文件：
thintest.sh:
spark2-submit --master yarn --class main hdfs:///home/cloudera/thintest/thintes
浏览 0提问于2018-06-14得票数 0
1回答
我使用keytab文件绕过kerberos通过oozie运行shell脚本。Shell脚本包括hbase命令，因此我需要在运行hbase之前执行kinit，commands.This对我来说很好。
因此，如果我使用协调器启动作业，并使用keytab (服务帐户)在工作流中使用多个shell脚本，那么oozie中会出现冲突吗?因为我使用oozie协调器启动任务，但是在服务帐户的工作流中有keytab文件。
谢谢,
浏览 3提问于2014-10-17得票数 1
回答已采纳
1回答
目前比较基于DAG的工作流工具，如气流和Luigi，用于调度通用码头集装箱以及火花作业。
Apache能否通过其shell操作运行通用Docker容器？或者，Oozie严格意义上是用于Hadoop工具，如Pig和Hive？
Oozie与Hadoop堆栈的其他部分集成在一起，它支持多种类型的Hadoop作业(例如Java映射-还原、流映射-还原、Pig、Hive、Sqoop和Distcp)以及特定于系统的作业(例如Java程序和shell脚本)。
浏览 2提问于2019-01-28得票数 3
回答已采纳
我无法从shell脚本中添加/删除HDFS上的任何文件或目录，而我正在从Oozie工作流中执行该脚本。用户名是"scitest“，我试图编辑/add/delete is /user/scitest/的hdfs路径。
在shell脚本中，我试图从路径/user/scitest/中删除一个名为test123456的文件夹。
429737-oozie-oozi-W@shell-node] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
2016-12-2
浏览 3提问于2016-12-27得票数 0
我在oozie工作流中运行python脚本。python脚本从hdfs读取文件，操作并将其写回新文件夹中hdfs。在运行oozie工作流时，我没有收到任何错误。但被操纵的数据不会写入hdfs。我确实看到默认情况下新文件夹有一个用户映射。我不太确定这是否与mapred user有关。我以hdfs用户的身份运行oozie工作流。从shell脚本运行python脚本时，它会成功运行并给出预期的结果。
任何帮助都将不胜感激。
谢谢!
浏览 2提问于2014-06-20得票数 1
1回答
我试图通过脚本文件kafka-connect-hdfs使用Oozie version: 4.2.0.2.6.5.0-292运行sample.sh。
是的，我知道我们可以直接运行kafka-hdfs连接器，但是它应该通过oozie来实现。
卡夫卡有一个主题sample，里面有一些数据。
试图通过oozie将数据推送到hdfs。
在来到这里之前，我已经提到了很多资源，但现在运气好了。
错误
Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
2018-07-25 0
浏览 0提问于2018-07-25得票数 0
回答已采纳
我正试图用oozie在母版脚本中加载文本/csv文件，并将其安排在每天的基础上。文本文件位于本地unix文件系统中。
在执行oozie工作流中的hive脚本之前，我需要将这些文本文件放入hdfs。
在实时集群中，我们不知道作业将在集群中的任何一个节点上随机运行node.it。
有人能给我提供解决方案吗。
提前谢谢。
浏览 2提问于2015-08-15得票数 0
2回答
我们使用Cloudera cdh 5.4.0，并且一直试图从Java触发一个oozie作业来发送电子邮件。有一个依赖于两个第三方jar文件- activation.jar和mail.jar的电子邮件要发送出去使用SMTP登录。当第三方文件放在文件系统上的同一个文件夹中时，JAVA程序可以从IDE / packages文件中发送电子邮件。
但是，当我们将文件移到HDFS并尝试配置oozie作业时，它将无法完成。
我们的oozie作业xml如下(email.xml)所示：
<workflow-app name="Email" xmlns="uri:oozie:work
浏览 1提问于2015-12-27得票数 1
回答已采纳
当作业失败时，你能帮我把oozie错误日志放到hive表中吗？建议我如何做的方法，因为我是新手。
浏览 2提问于2017-08-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
