Hadoop Container失败，甚至100%完成
Hadoop Container是Hadoop框架中的一个重要概念，用于执行MapReduce任务的工作单元。当Hadoop Container失败或者任务100%完成时，可能会出现以下情况和解决方案：
- Hadoop Container失败：
- 概念：Hadoop Container是Hadoop集群中的一个容器，用于执行MapReduce任务的进程。当Container失败时，可能是由于资源不足、网络故障、硬件故障等原因引起的。
- 解决方案：可以通过以下步骤来解决Hadoop Container失败的问题：
- 检查资源：确保集群中的资源（CPU、内存、磁盘空间等）充足，并且没有被其他任务占用。
- 检查网络：检查网络连接是否正常，确保节点之间可以正常通信。
- 检查日志：查看Hadoop日志，定位具体的错误信息，并根据错误信息采取相应的措施修复问题。
- 重启服务：如果以上步骤无法解决问题，可以尝试重启相关的Hadoop服务，以恢复正常运行。
- 任务100%完成：
- 概念：当一个MapReduce任务完成时，表示所有的Map和Reduce阶段都已经执行完毕，并且输出结果已经生成。
- 解决方案：任务100%完成通常是期望的结果，但在某些情况下可能需要进一步处理或优化：
- 结果处理：根据任务的需求，对输出结果进行进一步的处理、分析或存储。
- 性能优化：如果任务的执行时间较长，可以考虑优化MapReduce程序的算法、调整集群资源分配或增加节点数量等方式来提高任务的执行效率。
- 数据可靠性：确保输出结果的可靠性和一致性，可以采用数据备份、容错机制等方式来保证数据的完整性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：提供高度可扩展的容器化应用管理平台，支持快速部署、弹性伸缩和自动化运维等功能。详情请参考：https://cloud.tencent.com/product/tke
- 腾讯云云服务器（CVM）：提供灵活可扩展的云服务器实例，适用于各种计算场景，包括Hadoop集群的搭建和运行。详情请参考：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（Tencent Cloud Object Storage，COS）：提供安全可靠的云端存储服务，适用于存储和管理大规模的非结构化数据。详情请参考：https://cloud.tencent.com/product/cos
相关·内容
我正在尝试执行Hadoop/Yarn (版本: 2.9.1) Docker-的简单示例：
vars="YARN_CONTAINER_RUNTIME_TYPE=docker,YARN_CONTAINER_RUNTIME_DOCKER_IMAGE=hadoop-docker"
hadoop jar hadoop-examples.jar pi -Dyarn.app.mapreduce.am.env=$vars -Dmapreduce.map.env=$vars -Dmapreduce.reduce.env=$vars 10 100
不幸的是，除了以下例外，作业失败了：
Failin
浏览 0提问于2018-09-08得票数 0
1回答
我正在开发多节点集群，其中四个从节点名为slave01、slave02、slave03和slave04，一个主节点作为主节点。
当我在地图任务中移除网线时，hadoop等待状态更新100秒钟(由于其值为100000)
在此之后，我可以看到映射任务失败，hadoop启动容器清理需要超过10分钟，而且它也不调度失败的任务anywhere.the，我发现从应用程序主机到丢失的node.After，哪个任务在另一个节点上得到调度时，没有路由托管异常的错误。
我希望减少尝试容器清理的时间，这样就可以在任何节点的映射任务超时之后对任务进行调度。
请帮助我如何通过设置配置来做到这一点。
我正在附加应用程序主
浏览 0提问于2016-05-14得票数 1
1回答
我们通常可以在"/var/log/hadoop- yarn /containers“路径中看到yarn容器日志。虽然我可以看到成功作业的日志，但我看不到失败作业的日志。节点管理器日志显示日志被删除。
日志：
2017-07-13 14:16:04,170 INFO org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor (DeletionService #1): Deleting path : /var/log/hadoop-yarn/containers/application_1234567890_123
浏览 9提问于2017-07-19得票数 3
1回答
我有hadoop集群，我正在尝试从我的java代码运行wordcount作业，该作业运行在使用REST API的另一台机器上。下面是我如何运行该作业
Configuration conf = new Configuration();
conf.set("yarn.resourcemanager.address", resourceManagerAddress);
conf.set("mapreduce.framework.name", "yarn");
conf.set("fs.default.name", f
浏览 2提问于2017-11-01得票数 0
1回答
我试图在纱线上运行PySpark，我的命令是这样的：
PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark --master yarn --deploy-mode client --num-executors 5
所以我想我会得到6个容器，包括一个AM容器，但实际上我有8个容器。
下面是AM的日志：
18/01/16 13:40:20 INFO client.RMProxy: Connecting to ResourceManager at master/192
浏览 2提问于2018-01-16得票数 0
我的MR工作结束于map 100%减少35%，有许多类似于running beyond physical memory limits. Current usage: 3.0 GB of 3 GB physical memory used; 3.7 GB of 15 GB virtual memory used. Killing container.的错误消息。
我的输入*.bz2文件大约是4GB，如果我解压缩它，它的大小将是大约38 4GB，它花了大约一个小时来运行这项工作与one Master和two slavers上的亚马逊电子病历。
我的问题是
为什么这份工作会占用这么多内存？
浏览 2提问于2015-11-08得票数 0
回答已采纳
我已经创建了一个德鲁伊集群，并提交了一个索引任务。看起来有一个减速器倾斜发生了，索引任务减少了99%。它失败，并出现以下错误。
2018-03-27T21:14:30,349 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - map 100% reduce 96%
2018-03-27T21:14:33,353 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - map 100% reduce 97%
2018-03-27T21:
浏览 3提问于2018-03-28得票数 0
我的头撞到墙上，因为我只是不能写一个地板文件到一个Azure Blob存储。在我的笔记本上，我基本上是: 1.读取与dataframe相同的blob存储中的CSV；2.尝试将数据写入同一个存储。
我能够读取CSV，但当我试图编写拼花文件时，出现了这个错误。
下面是堆栈跟踪：
工作因阶段失败而中止:第8.0阶段的任务0失败4次，最近的失败:第8.0阶段的任务0.3失败(TID 20，10.139.64.5，执行器0)：shaded.databricks.org.apache.hadoop.fs.azure.AzureException: java.io.IOException at shade
浏览 0提问于2019-07-30得票数 0
1回答
我有一个简单的hadoop集群，在上面运行Spark (也就是说，Spark使用纱线作为集群管理器)。
我正在使用Hadoop 2.7；scala 2.112.1；spark 2.1.0和jdk 8。
现在，当我提交一个作业时，它失败了，下面的消息如下：
17/04/06 23:57:55 INFO yarn.Client: Application report for application_1491534363989_0004 (state: ACCEPTED)
17/04/06 23:57:56 INFO yarn.Client: Application report for appli
浏览 3提问于2017-04-07得票数 0
1回答
我正试图在hadoop上执行一个map reduce程序。当我在我的Macbook上提交jar并在桌面上运行作业时，一个作业失败，容器超出了虚拟内存限制。但告诉我，我的工作成功了，结果似乎是正确的。
您可以看到，使用的物理内存大小为170MB，而使用的虚拟内存大小为17.8 is。输入的文件只有10MB。
我不明白的是，为什么程序使用了这么多的虚拟内存，为什么hadoop说我的工作成功了，所以这可能是容器被杀死后的结果。
16/11/07 21:31:40 INFO Join: 20161107213140620
16/11/07 21:31:41 WARN util.NativeCodeLo
浏览 0提问于2016-11-07得票数 0
我在Amazon EMR上运行自己的map reduce任务。我看到map任务正在失败，我无法找出map任务失败的原因。
import fileinput
import csv
myDict = {}
csvreader = csv.reader(fileinput.input(mode='rb'), delimiter=',')
for newline in csvreader:
#newline = line.split(',')
if newline[6] not in myDict.keys():
#
浏览 2提问于2014-12-02得票数 0
2回答
理解火花容器失效
、、
我有一个运行在AWS上的火花作业。它经常在几个步骤之后失败，并给出如下错误消息：
2016-08-18 23:29:50,167 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl (Container Monitor): Memory usage of ProcessTree 7031 for container-id container_: 48.6 GB of 52 GB physical memory used; 52.6 GB of 260 GB v
浏览 4提问于2016-08-19得票数 2
回答已采纳
2回答
如何将hadoop DFS的配置容量从默认的50 to增加到100 to？
我目前的设置是Hadoop1.2.1，运行在centOS6机器上，使用的是120 of的450 of。我将hadoop设置为伪分布式模式，使用"Hadoop the Definitive Guide 3‘rd“中建议的/conf。hdfs-site.xml只有一个配置属性：
<configuration>
<property>
<name>dfs.replication</name>
<value>1&
浏览 2提问于2013-10-23得票数 5
我在搞星火。
我的是2.1.1，hadoop版本是ApacheHadoop2.7.3。
在集群模式下，当火花作业在纱线上运行时，我可以通过stdout/stderr链接查看执行程序的日志，如
http://hadoop-slave1:8042/node/containerlogs/container_1500432603585_0148_01_000001/hadoop/stderr?start=-4096
但是当作业完成后，通过stdout/stderr链接查看执行者的日志将得到一个错误页面，如
重定向到container_1500432603585_0148_01_000001的日志服务
浏览 2提问于2017-08-10得票数 2
1回答
星火流作业在链接时失败
、、、
我在Hadoop集群上运行几个星火流作业(其中一个在Hadoop集群的输出文件夹中寻找输入)，使用HDFS，运行在Yarn集群模式下。
job 1 --> reads from folder A outputs to folder A'
job 2 --> reads from folder A'outputs to folder B
job 3 --> reads from folder B outputs to folder C
...
当独立运行这些工作时，它们工作得很好。
但是，当它们都在等待输入时，我将文件放在文件夹A中，job1将将其状态从运行更改
浏览 0提问于2015-01-30得票数 1
回答已采纳
我有HDP Hortonworks 2.5.3集群，MAPREDUCE在纱线中的作业正因错误而失败：
java.io.IOException: DistCp failure:作业job_1498784032636_0015失败:应用程序application_1498784032636_0015失败2次，原因是appattempt_1498784032636_0015_000002的AM容器退出exitCode：-1000以获得更详细的输出，请检查应用程序跟踪页面：，然后单击指向每次尝试日志的链接。诊断:应用程序application_1498784032636_0015初始化失败(exit
浏览 10提问于2017-07-12得票数 1
1回答
我提交了在纱线上运行的spark程序。
程序运行正常，yarnUI页面也显示正常，但在资源管理器日志中显示一些错误日志。
2020-07-01 10:05:43,497 ERROR webapp.Dispatcher (Dispatcher.java:service(171)) - error handling URI: /cluster
org.eclipse.jetty.io.RuntimeIOException: org.eclipse.jetty.io.EofException
at org.eclipse.jetty.server.ResponseWriter.isO
浏览 4提问于2020-08-03得票数 1
我理解，如果使用单个输入表，则使用结果序列化。
TableMapReduceUtil.initTableMapperJob( tableName, scan, Mapper.class, Text.class, Result.class, job );
有什么想法吗?如何在使用MultiTableInput (多个扫描作为输入)的同时实现同样的目标？
TableMapReduceUtil.initTableMapperJob( scans, SummaryMapper.class, Text.class, Result.class, job );
在运行MR作业时，我得到了以下错误：
信息m
浏览 2提问于2017-04-18得票数 0
回答已采纳
我有一个码头容器(Hadoop )，我可以使用sudo docker run -itd -p 50070:50070 -p 8088:8088 --name hadoop-master kiwenlau/hadoop:1.0命令运行它，没有任何问题，但是当试图将相同的映像部署到kubernetes时，pod无法启动。为了创建部署，我使用了kubectl run hadoop-master --image=kiwenlau/hadoop:1.0 --port=8088 --port=50070命令
这里描述荚命令的日志
Events:
FirstSeen LastSeen
浏览 6提问于2017-10-02得票数 1
回答已采纳
1回答
我一直试图使用hadoop中的资源管理器api来提交作业(如中给出的)。
当我尝试从任何用户(例如hadoop)提交一个作业时，它会以user - webuser的形式提交，而应用程序在消息中失败，
org.apache.hadoop.security.AccessControlException:用户webuser不能提交应用程序排队.
当我查看hadoop的配置文件时，我没有看到任何提到润湿器的地方。此外，没有当地的润湿器可用。
这个用户是从哪里被接走的？如何通过资源管理器作为原始用户提交作业并继续应用程序？
如能就这一问题提供任何指导，将不胜感激。谢谢!
编辑1-为调用添加输入
浏览 2提问于2016-10-12得票数 0
回答已采纳
我使用RHadoop的代码如下：
Sys.setenv(HADOOP_OPTS="-Djava.library.path=/usr/local/hadoop/lib/native")
Sys.setenv(HADOOP_HOME="/usr/local/hadoop")
Sys.setenv(HADOOP_CMD="/usr/local/hadoop/bin/hadoop")
Sys.setenv(HADOOP_STREAMING="/usr/local/hadoop/share/hadoop/tools/lib/hadoop-strea
浏览 2提问于2018-06-12得票数 1
我刚刚使用Hortonworks数据平台安装了Hadoop。我有三台机器运行CentOS 7，这三台计算机中有一台运行amabari服务器、NameNode、HiveServer2等。另外两个只运行这些服务的客户端。
每次我尝试执行需要MapReduce作业的Hive查询时，它们都会失败。在每个作业中，所有的TaskAttempts都失败，BlockMissingException和诊断设置为“[容器失败，exitCode=-1000。无法获得块.”。
例如：
hive> select count(*) from pgc;
Query ID = root_20160510184153_5
浏览 1提问于2016-05-10得票数 0
我尝试使用package 在Google平台中的集群上运行mapreduce作业，如下所示：
python mr_script.py -r dataproc --cluster-id [CLUSTER-ID] [gs://DATAFILE_FOLDER]
我可以成功地对相同的数据运行相同的脚本，并在Hadoop中本地运行正确的结果(使用-r hadoop选项)。但是，在Google平台上，同样的工作在大约1小时后失败，出现了以下错误消息：
Waiting for job completion - sleeping 10.0 second(s)
link_stats-vagrant-20170
浏览 7提问于2017-04-30得票数 0
4回答
在Ubuntu中，当我运行hadoop示例时：
$bin/hadoop jar hadoop-examples-1.0.4.jar grep input output 'dfs[a-z.]+'
$echo $HADOOP_HEAPSIZE
2000
在日志中，我得到的错误如下：
信息mapred.JobClient:任务Id : attempt_201303251213_0012_m_000000_2，状态:失败错误: Java堆空间 13/03/25 15:03:43信息mapred.JobClient:任务Id :attempt_201303251213_0012_m_
浏览 50提问于2013-03-25得票数 17
在Hadoop1.2.1中，我想了解以下问题的一些基本理解
谁接受hadoop的工作？是NameNode还是JobTracker？
如果有人在NameNode关闭时提交Hadoop作业，会发生什么情况? hadoop作业会失败吗？还是让它进去拿着？
如果有人在JobTracker关闭时提交Hadoop作业，会发生什么情况？hadoop任务失败了吗？还是让它进去拿着？
浏览 0提问于2016-03-18得票数 0
回答已采纳
1回答
我们的纱线在整整一个小时后就把所有的运转工作都毁了。不管是火花还是Sqoop作业(mapreduce)。
寻找潜在原因的建议。
我们在一个4节点集群上使用HDP 2.5.x hadoop发行版。
这就是我运行sqoop作业的方式。
nohup sqoop-import -D mapred.task.timeout=0 --direct --connect jdbc:oracle:thin:@HOST:Port:DB --username USERNAME --password PASS --target-dir /prod/directory --table TABLE_NAME --ver
浏览 3提问于2016-11-26得票数 1
回答已采纳
2回答
我正在使用spark流作业来执行多个任务。它正常运行了大约5-6个小时，但在那之后它失败了，出现了以下异常。Spark streaming作业在20 GB RAM和8核的yarn集群上运行。
Application application_1435667829099_0003 failed 2 times due to AM Container for appattempt_1435667829099_0003_000002 exited with exitCode: 11
For more detailed output, check application tracking page:ht
浏览 2提问于2015-07-08得票数 1
2回答
我有以下系统：
主机Linux带有Docker (在虚拟盒中)
我已经在Docker (Ubuntu，Virtual )中安装了HDFS。我使用了来自码头集线器的bde2020 hadoop图像。这是我的船坞-写作：
namenode:
image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8
container_name: namenode
restart: always
ports:
- 9870:9870
- 9000:9000
volumes:
- hadoo
浏览 21提问于2020-08-08得票数 2
我有hadoop-2.8.3、hive-2.3.2和tez (试用0.9和0.8.5版本)。tez-site basic conf：
tez.lib.uris: /app/tez/apache-tez-0.8.5-bin.tar.gz(上传到hdfs)
tez.use.cluster.hadoop-libs: false
容器日志stderr显示：
Error: Could not find or load main class org.apache.tez.dag.app.DAGAppMaster
纱线资源管理器跟踪显示：
Application application_15
浏览 2提问于2018-01-25得票数 0
1回答
我在Cloudera集群上以YARN客户端模式启动一个分布式Spark应用程序。一段时间后，我在Cloudera Manager上看到一些错误。一些执行器会断开连接，这会有系统地发生。我想调试这个问题，但是YARN没有报告内部异常。
Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1
ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runComman
浏览 1提问于2014-12-07得票数 14
回答已采纳
1回答
我安装了一个带有Hadoop2.6.3和Spark1.6的集群。
最近，我将spark升级到2.0，一切看起来都很好，直到我试着运行一些以前的工作，比如spark 1.6，它与spark 2.0有一些兼容的问题。
我试过的第一件事是：
echo $SPARK_HOME
/usr/local/spark-1.6.1-bin-hadoop2.6
/usr/local/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --master yarn--deploy-mode client /usr/local/spark-1.6.1-bin-hadoop2.6/ex
浏览 3提问于2016-10-21得票数 0
回答已采纳
我在我的Windows10笔记本上运行hadoop，但我找到了一些关于安装和运行以及运行基本字数统计程序的指南。hadoop的安装看起来很好，因为当我进入时，我可以看到仪表板，我认为这意味着“集群”已经启动并运行。
作为参考，我现在这样做只是为了学习它，这就是为什么我使用我的笔记本电脑和Windows 10。我遵循的指南如下：
它在一段时间内工作得很好，直到我必须真正提交作业时，它才转到ResourceManager，我可以在仪表板上看到它，但后来失败了，出现了一个非常不具体的错误：
Application application_1525309913796_0001 failed 2 ti
浏览 0提问于2018-05-03得票数 0
使用以下脚本在YARN (Hadoop 2.6.0.2.2.0.0-2041)上运行Spark 1.3.0 Pi示例时：
# Run on a YARN cluster
export HADOOP_CONF_DIR=/etc/hadoop/conf
/var/home2/test/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--executor-memory 3G \
--num-executors 50 \
/var/home2/test/spark/
浏览 0提问于2015-04-01得票数 8
我的hadoop集群遇到了一些问题。我试着用它做一些基准来检查它的性能，看看mapreduce是否工作正常，但是我得到了一些奇怪的beahviours。事实上，mapreduce正在启动和处理它的映射阶段，但我从中得到了一些错误:我首先使用teragen来创建数据：
$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen 500 random-data
然后工作开始了，我在没有停止这个过程的情况下失败了：
17/02/23 12:29:27 INFO clien
浏览 2提问于2017-02-23得票数 1
回答已采纳
我无法在yarn中提交作业。在yarn-client选项下，cluster.The作业运行正常。将其提交到yarn-cluster时，仅此日志会多次出现。
Application report for application_1421828570504_0002 (state: ACCEPTED)
并因以下异常而失败。
diagnostics: Application application_1421828570504_0002 failed 10 times due to AM Container for app
attempt_1421828570504_0002_000010 exit
浏览 0提问于2015-01-21得票数 0
1回答
纱线容器发射失败
、、、
我无法在蜂巢上运行查询。在启动map还原操作后，查询就会失败(MAP 0%减少0%)。在nodemanager日志中发现以下错误。
2017-03-16 11:53:03,581 ERROR [ContainerLauncher #0] org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl: Container launch failed for container_1489041811986_0005_01_000002 : java.lang.IllegalArgumentException: Does not
浏览 3提问于2017-03-16得票数 1
我在蔚蓝工厂有最近几天的问题，上周这个错误没有问题，ADF(Azure Data factory，azure Data Factory)管道也没有改变，但最后3天出现了这个错误。
{"StatusCode":"DFExecutorUserError"，“Message”：“作业由于原因而失败: Sink 'savetocurated'：org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException:不允许在非空目录上执行此操作。”&#
浏览 3提问于2022-03-31得票数 2
回答已采纳
我有一个Hadoop FileSystem，它使用带有JNI的本地库。
显然，我必须独立于当前执行的作业包含共享对象。但是我找不到告诉Hadoop/Yarn应该在哪里查找共享对象的方法。
我在以下解决方案中取得了部分成功，同时以纱线开始单词计数示例。
在启动资源时设置export JAVA_LIBRARY_PATH=/path -和nodemanager。
这有助于资源和nodemanager，但是实际的作业/应用程序失败了。在执行wordcount示例时打印LD_LIBRARY_PATH和java.library.path将产生以下结果。什么
/logs/userlogs/applica
浏览 5提问于2015-08-03得票数 2
回答已采纳
我正在EMR上运行一个应用程序。
我使用的是一个由1个主服务器和10个从机组成的集群，它们都是m3.2xsize机器。
该应用程序包括，基本上，通过西班牙语版的维基百科BFS (我调整了维基百科的信息，以适合Gi饼)。
我以以下方式执行应用程序：
/home/hadoop/bin/yarn jar /home/hadoop/giraph/giraph.jar ar.edu.info.unlp.tesina.lectura.grafo.algoritmos.masivos.BusquedaDeCaminosNavegacionalesWikiquotesMasivo /tmp/vertices.
浏览 1提问于2016-08-15得票数 0
回答已采纳
我试图使用Java1.7SDK和Hadoop2.7.1在Mac船长10.11上运行一个简单的wordcount MapReduce程序，我在容器日志"stderr“/bin/bash: /bin/ Java :没有这样的文件或目录中得到以下错误消息
申请日志-
5/11/27 02:52:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/11/27 02:52:33
浏览 0提问于2015-11-28得票数 15
回答已采纳
2回答
我正在处理一个作业，在这个作业中，Hive查询使用R文件，分布在要在每个节点上运行的集群上。
就像这样：
ADD FILES hdfs://path/reducers/my_script.R
SET hive.mapred.reduce.tasks.speculative.execution=false;
SET mapred.reduce.tasks = 80;
INSERT OVERWRITE TABLE final_output_table
PARTITION (partition_column1, partition_column2)
SELECT selected_column1
浏览 0提问于2017-10-18得票数 1
我在Hadoop2.6上运行mapreduce作业，得到了这个错误。请告诉我如何解决这个问题。
诊断：
Application application_1425522415042_0001 failed 2 times due to AM Container for appattempt_1425522415042_0001_000002 exited with exitCode: 1
For more detailed output, check application tracking page:http://xxx:8088/proxy/application_142552241504
浏览 2提问于2015-03-05得票数 1
回答已采纳
当我在Hadoop系统上运行我的map reduce程序时，我发现我的程序可能永远不会停止。当reduce过程达到一个百分比时，map阶段将从100%下降到25%，并且reduce将再次从0%开始，但这种现象似乎进入了一个令人沮丧的循环。
map 100% reduce 16%
map 100% reduce 22%
map 100% reduce 31%
map 100% reduce 33%
map 25% reduce 0%
map 70% reduce 0%
map 100% reduce 0%
map 100% reduce 13%
map 100% reduce 20%
map 1
浏览 1提问于2018-03-27得票数 2
我正在尝试在非安全模式下使用cgroups和YARN 2.6.0。如果我使用DefaultContainerExecutor，它工作得很好。但是，当我尝试使用LinuxContainerExecutor时出现错误。
现在，当我执行--> $ yarn nodemanager时，它失败了
ExitCodeException exitCode=24: File /home/hduser2/hadoop/hadoop-2.6.0/etc/hadoop must be owned by root, but is owned by 1001
at org.apache.hadoop.ut
浏览 4提问于2015-08-09得票数 1
4回答
我已经在3个集群上设置了hadoop2.2.0。一切都很顺利。在每个集群中启动NodeManager和Datanode。但是，当我运行wordcount示例时，发生了100%的映射，并给出了以下异常：
map 100% reduce 0%
13/11/28 09:57:15 INFO mapreduce.Job: Task Id : attempt_1385611768688_0001_r_000000_0, Status : FAILED
Container launch failed for container_1385611768688_0001_01_000003 : org.apac
浏览 0提问于2013-11-28得票数 8
在解决以下问题时需要帮助。我在Windows 10上将Ubuntu安装为Windows子系统。
当我在没有MapReduce的情况下运行普通查询时，它运行得很好。
hive> use bhudwh;
OK
Time taken: 1.075 seconds
hive> select id from matches where id < 5;
OK
1
2
3
4
Time taken: 6.012 seconds, Fetched: 4 row(s)
hive>
运行MapReduce查询时，会引发错误-错误:无法找到或加载主类1600。
hive> select
浏览 2提问于2020-05-29得票数 0
在hadoop中执行jar时，我得到以下错误：
16/11/04 18:32:59 INFO mapreduce.Job: Task Id : attempt_1478261728730_0005_m_000000_2, Status : FAILED
Exception from container-launch.
Container id: container_1478261728730_0005_01_000004
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.
浏览 0提问于2016-11-04得票数 1
回答已采纳
我试图在集群中的多个文件上运行一个简单的作业(wordcount示例)，但大多数映射都失败了。当我引用任务日志时，我只看到这样的错误：
ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Container complete event for unknown container id container_1388066512888_0001_01_000026
有什么想法吗？
UPDATE:我检查了这个作业很多次，有时由于映射失败而失败，有时是因为减少了失败，
浏览 10提问于2013-12-26得票数 3
我曾经遇到过Spark作业失败，跟踪结果如下所示：
./containers/application_1455622885057_0016/container_1455622885057_0016_01_000001/stderr-Container id: container_1455622885057_0016_01_000008
./containers/application_1455622885057_0016/container_1455622885057_0016_01_000001/stderr-Exit code: 52
./containers/application_14
浏览 0提问于2016-02-17得票数 17
回答已采纳
到2020年，是否有人为Azure InteractiveQueryHDI4.0集群(使用Hadoop 的 tested或TPC基准测试)工作和测试过？
我使用的是，但是我在为TPC和TPC生成数据时遇到了一个错误。
交互式查询HDI 4.0 (Hadoop3.1.1)。这个错误可能是什么？失败的步骤是当它运行jar文件时。
Generating data at scale factor 100.
Exception in thread "main" java.lang.IllegalAccessError:
class org.apache.hadoop.hdfs
浏览 4提问于2020-04-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
