我看了看YARN，我发现我的4个员工有这种“不健康状态”，原因是
1/2 local-dirs are bad: /mnt/yarn; 1/1 log-dirs are bad: /var/log/hadoop-yarn此外，许多stderror和stdout文件会占用/var
浏览 204提问于2020-02-10得票数 0
以下命令按预期工作：$ echo $item
#file = /mnt/var/log/hadoop-yarn</e
浏览 1提问于2017-05-29得票数 0
回答已采纳
目前，我在EMR中配置它的方式如下，对于9r3.8xLarge：我的问题是，我是否也应该设置--conf spark.executor.pyspark.memory它应该和执行者内存一样吗？
我不能肯定以下几点，但我有一种感觉，当将两者和相同的值放在一起时，它会因java堆错误而崩溃(因此我认为
浏览 1提问于2019-08-05得票数 0
回答已采纳
我刚刚设置了一个AWS EMR集群(带有Spark 2.3.2的EMR版本5.18 )。我通过ssh进入主maschine并运行spark-shell或pyspark，得到以下错误：
log4j:ERROR setFile(null,true) call failedPlease check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn</em
浏览 0提问于2018-11-04得票数 15
1回答
我们通常可以在"/var/log/hadoop- yarn /containers“路径中看到yarn容器日志。虽然我可以看到成功作业的日志，但我看不到失败作业的日志。节点管理器日志显示日志被删除。DeletionService #1): Deleting path : /var/log/hadoop-yarn<
浏览 9提问于2017-07-19得票数 3
1回答
我的集群配置如下:节点- 10内存-122 My每个HDD -320 My每个spark-submit --deploy-mode=/var/log/hadoop-yarn/containers/application_1474446853388_0001/container_1474446853388_0
浏览 0提问于2016-09-21得票数 0
回答已采纳
在EMR中，我遇到了一些问题，在专用于HDFS的分区中，某些节点的使用率达到90%，但失败。
有240 46的丢失，约46%。
浏览 5提问于2022-06-13得票数 0
1回答
情况
我是新的火花，我运行一个火花作业在电子病历，它读取一堆S3文件，并执行地图/减少作业。总共有200个S3位置，平均包含400个文件。=/var/log/hadoop-yarn/containers/application_1507231957101_0001/container_1507231957101_0001_02_000001/__spark_conf__&#
浏览 3提问于2017-10-05得票数 1
我得到了这个错误，我试图增加集群实例上的内存以及executor和driver参数，但没有成功。顺便说一句，我使用YARN作为集群管理器
提前感谢
浏览 1提问于2017-05-24得票数 17
回答已采纳
我已经设置了Hadoop 2.3.0的2节点集群。它工作得很好，我可以成功地运行distributedshell-2.2.0.jar示例。但是当我尝试运行任何mapreduce作业时，我得到了错误。我已经根据()设置了用于运行MapReduce作业的MapRed.xml和其他配置，但我收到以下错误：
14/03/22 20:31:17 INFO mapreduce.Job: Job job_1395502230567如果查看stderr (作业日志)
浏览 196提问于2014-03-22得票数 19
3回答
我不明白如何在spark作业期间简单地在电子病历上列出S3存储桶的内容。但是，如果我指定了s3://mybucket/，那么fs.defaultFS应该无关紧要。PS:我也不明白日志是如何工作的。/conatiner..
浏览 1提问于2017-05-15得票数 2
我的spark应用程序读取3个文件，分别为7 MB、40 MB、100 MB和许多转换，并存储多个目录。/tmp -Dspark.yarn.app.container.log.dir=/var/log/hadoop-yarn/container/application_1521733534016_7233/tmp -Dspark.yarn.app.
浏览 0提问于2018-03-28得票数 5
回答已采纳
我在使用MapReduce时遇到了一个错误：<configuration>
</property>
</co
浏览 0提问于2017-07-06得票数 0
回答已采纳
3回答
我一直试图更改用户日志上的日志级别，即显示在CDH5.2.1上的/var/log/hadoop-yarn/userlogs/application_<id>/container_<id>下的文件。在我的作业jar文件中包括一个log4j.properties，该文件将根Log4j记录器设置为跟踪。修
浏览 4提问于2014-12-30得票数 3
回答已采纳
1回答
我想在我的程序中创建一个文件。但是，我不希望这个文件写在HDFS上，而是写在执行map操作的datanode文件系统上。我尝试了以下方法： throws IOException, InterruptedException"Error easy to look up in the logs.");
e.pri
浏览 3提问于2014-08-07得票数 3
回答已采纳
1回答
我有一个火花的工作，一些非常长的运行任务。当任务开始时，我可以转到executors选项卡，查看我的所有执行器及其任务。我可以点击stderr链接来查看这些任务的日志，这对于监视非常有帮助。如果单击它，就会得到java.lang.Exception: Cannot find this log on the local disk.。我深入研究了一下，问题似乎是 that 决定将日志压缩。也就是说，我仍
浏览 2提问于2017-02-07得票数 1
3回答
当我执行yarn node -list时，我无法看到我的节点，即使我已经用正确的属性配置了/etc/hadoop/conf/yarn-site.xml (在我看来，至少根据这个问题)。以下是我迄今所做的工作：
<proper
浏览 1提问于2017-03-20得票数 8
2回答
我试着学习Oozie，我想做一个非常简单的工作流程。为此，我使用色调创建了第一个oozie工作流。#!/bin/sh当我尝试将这段代码放入Oozie的shell图标中时，在
浏览 2提问于2017-06-20得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
