1回答
我正在尝试在apache oozie中设置spark操作工作流，但在配置单元上下文中的spark代码中调用select * from db.table时，我得到了以下错误：这个spark工作与spark-submit一起工作，所以我似乎无法确定这个问题。
浏览 9提问于2018-03-01得票数 2
当我使用oozie的spark动作启动一个spark应用程序时，oozie将首先启动一个mapreduce应用程序，然后mapreduce启动一个spark应用程序。我如何知道spark应用程序是由哪个mapreduce任务启动的？到目前为止，我可以看到MapReduce应用程序是用一些oozie信息命名的，比如oozie:launcher:T=spark:W=JavaWordCount:A=spark</e
浏览 0提问于2017-12-15得票数 0
我已经成功地运行了Hue Oozie工作流编辑器(在Cloudera5.5.1 QuickStart VM中)中提供的示例Spark工作流(“通过启动Spark程序复制文件”)。我现在尝试使用oozie命令行工具手动运行它：工作流XML基本不变--我已将其复制到HDFS，并具有以下job.pr
浏览 4提问于2016-05-24得票数 2
回答已采纳
我在HDP 2.5.3上运行oozie 4.2.0。火花动作设置为在纱线-客户端模式下运行。Spark作业用于从单元表中获取数据，处理数据并将其存储在HDFS中。workflow.xml <global>
<job-trackerxmlns="uri:ooz
浏览 2提问于2017-06-29得票数 1
回答已采纳
2回答
如何为oozie工作流中的不同操作指定不同的用户库路径<workflow-app name="batch-publisher" xmlns="uri:oozie:workflow:0.5"> <kill name="Kill">
<message>Ac
浏览 0提问于2018-06-29得票数 0
回答已采纳
1回答
我正在尝试使用Scala中的sys.env()方法通过Spark程序访问它。当我没有Oozie调度时，我能够正确地访问Spark中的环境变量。然而，当我尝试使用Oozie调度我的程序时，程序抛出一个错误，它无法读取环境变量。这是我的workflow.xml：
<workflow-app xmlns='uri:oozie:workflow:0.5' name='Security-User-Management'><start to='<em
浏览 1提问于2020-01-14得票数 0
我用Java编写了访问Hive表的SparkSQL，并打包了一个可以使用spark-submit运行的jar文件。工作流根路径的lib路径中复制jar，并将其添加到火花操作中的workflow.xml中：但是这导致了另一个指向另一个缺失类的我不明白的是当我用jar在shell中使用火花提交时，它运行正常，我可以选择并插入到我的Hive表中。只有当我使用Oozie</e
浏览 1提问于2015-07-21得票数 1
回答已采纳
lib_20161001110339/sparkworkflow.xml文件在我(user/livy)目录中，我还将我的应用程序jar上传到该目录中，以避免在spark提交时未找到类experion，该文件如下：
<workflow-appxmlns='
浏览 0提问于2017-05-26得票数 1
在Spark中运行Hive查询时，使用Oozie版本4.1.0.3作为java操作，获取表未找到异常。/user/${wf:user()}/${appRoot}/env/devbox/hive- site.xml</job-xml><property>
<name>oozie.hive.defaultsSNAPSHOT.jar</file
浏览 1提问于2015-10-13得票数 3
当oozie启动器产生另一个hadoop作业时，有没有办法获得应用程序ID，或者更好的资源管理器链接，指向那个产生的应用程序？看起来oozie启动器只知道它自己的id。
这是一个Spark动作。
浏览 4提问于2016-12-03得票数 1
我的主要星火项目依赖于其他实用程序，jars.So组合集可能如下所示： 2. main_spark-2.0.jar will work with utils_spark-2.0.jar (and some of the jobs use thisoozie spark action job1
<jar>main
浏览 1提问于2017-10-22得票数 0
回答已采纳
2回答
使用Hortonworks HDP 2.3预览沙箱( oozie :4.2.0.2.3.0.0-2130，spark:1.3和Hadoop:2.7.1.2.3.0.0-2130)，我试图使用“纱线-集群”作为主控调用oozie火花操作。同样的页面还建议，为了能够在Yarn上运行，火花组装罐应该可以用于火花动作。
我们如何使火花组装罐可用于火花行动？我应该在oozie火花动作中使用jar元素吗？primaryResource com.foo.bar.spark</
浏览 0提问于2015-06-17得票数 2
1回答
我有火花作业将数据保存到hdfs，然后将相同的数据保存到Hive表中。当我在木星上运行时，它成功地运行了。但是，当我在oozie中运行它时，当它达到写入数据到蜂箱的步骤时，它就会引发后续异常。/user/oozie/share/lib/lib_<ts>/spark2/arrow-vector-0.10.0.jar
/user/oozie/share/lib/lib_<t
浏览 10提问于2020-04-14得票数 1
我刚刚为EMR集群配置了spark，oozie，hue insatlled。我正在以纱线簇模式运行oozie中的spark动作。我收到以下错误：Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Attempt to add (hdfs:namenodeec2:8020/user&#x
浏览 0提问于2017-03-31得票数 0
在我的oozie工作流中，我动态地创建了一个蜂巢表，比如T1。这个蜂箱动作之后是一个地图减少动作。知道如何动态地设置一些oozie参数的值，以及如何从组不同的动作到oozie参数获得参数的值吗？
浏览 1提问于2016-07-12得票数 0
回答已采纳
workflow.xml <start to='spark-node' />
<spark xmlns="uri:oozie:spark<
浏览 2提问于2015-07-16得票数 1
我使用的是spark 2.2和oozie。我已经通过shell-script在oozie中安排了spark-action，也就是说，我在oozie中调用包含spark-submit命令的shell脚本。但是当我运行作业时，它给出了下面的INFO语句:将hive.metastore.warehouse.dir ('null')设置为spark.sql.warehouse.dir ('/user/hive现在，由于属性- h
浏览 0提问于2019-04-26得票数 0
所以我试着用sqoop将数据从impala导出到mysql中，这是由oozie job.But安排的，当第一个sqoop动作开始时，它停留在map100%，而reduce 0%.and则填充了所有其他动作奇怪的是，在我终止这个oozie作业之前，mysql中没有数据，但在我终止它之后，数据出现在mysql表中(只有与第一个阻塞的sqoop操作相关的表)。下面是我的导出脚本：，我的oozie作业操作显示如下：
并且不存在错误日志。
浏览 1提问于2017-03-21得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
