首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Oozie:为什么错误日志显示在mapreduce作业中,而不是Spark作业中?

Oozie是一个用于协调和调度Hadoop作业的工作流引擎。它可以管理和监控作业的执行,并提供错误日志和状态信息。

在错误日志显示在mapreduce作业中而不是Spark作业中的情况下,可能有以下几个原因:

  1. Oozie的设计初衷:Oozie最初是为Hadoop的MapReduce作业设计的,因此在错误日志中显示的信息主要是与MapReduce作业相关的。Spark作业是在后来引入的,因此可能没有被完全集成到Oozie的错误日志中。
  2. 日志记录方式的不同:MapReduce和Spark作业在执行过程中会生成不同的日志信息。MapReduce作业的日志通常会被记录在Hadoop集群的日志文件中,而Spark作业的日志则可能会被记录在Spark的日志文件中。Oozie可能更容易获取和显示MapReduce作业的日志信息。
  3. Oozie版本的限制:不同版本的Oozie可能对不同类型的作业支持程度不同。如果使用的是较旧的Oozie版本,可能会导致Spark作业的错误日志无法正常显示。

综上所述,错误日志显示在mapreduce作业中而不是Spark作业中可能是由于Oozie的设计初衷、日志记录方式的不同或Oozie版本的限制所导致的。为了更好地了解和解决这个问题,建议查阅Oozie的官方文档或寻求相关技术支持。

相关搜索:为什么在mapreduce作业中需要setMapOutputKeyClass方法在Java中提交作业时,如何解决Spark jobserver中的“作业加载失败”错误?laravel在本地运行失败的作业,而不是将其推回到队列中为什么用户注册而不是在mongoose中显示错误11000?在虚拟机服务器中设置CI的作业,而不是在docker映像中为什么同样的逻辑在Java中失败并显示索引错误,而不是JavaScript?在jenkins中获取父作业的内部版本号,而不是升级的内部版本号在工作项的作业状态中,即使处理因异常而失败," Status“也会显示”success为什么贴纸包在列表中显示贴纸,而不是在MSMessagesAppViewController的网格中为什么我在Python中得到错误的hmac结果而不是Perl?如何在警报中显示错误信息而不是在AspNet MVC中显示span类是否可以通过在实际脚本中列出参数,而不是在作业配置中列出参数,从而在Jenkins中创建参数化脚本管道HTML:为什么Android浏览器在键盘中显示"Go"而不是"Next"?为什么Ava js不在本地显示错误记录,而只在ci中显示?我希望客户端Firebase日志显示在StackDriver中,而不是用户的浏览器中为什么在flutter应用中登录后会显示黑屏而不是背景图片?为什么Android webview只在type ="number"而不是type ="text"时才在键盘中显示"Next"?如何将异步错误记录到控制台,而不是在flutter中显示ErrorWidget?为什么这可以在for循环中工作,而不能在forEach中工作?(数组不是构造函数错误)为什么在生产环境中运行我的rails应用程序时会出现此错误,而不是在开发中?
相关搜索:
页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

没有搜到相关的视频

领券