现在我已经在我的pc上设置了hadoop，当我提交一个作业时，它永远不会通过接受状态。 在浏览器中，我可以看到该作业已被接受，但从未执行过。这是屏幕截图。 ? 我看到控制台中有一个警告： WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed.: number of splits:1
2019-05-01 22:27:43,250 INFO mapreduce.JobSubmitter: S
浏览 68提问于2019-05-02得票数 0
回答已采纳
2回答
我正在使用uhopper/hadoop docker镜像来创建纱线集群。我有3个节点，每个节点64 RAM。我已经添加了配置。我已经给了yarn 32 to。所以总的集群内存是96 is。value: "yarn" value: "8192" value: "81
浏览 0提问于2018-06-15得票数 5
我在我的系统上运行hive，在那里我成功地创建了一个数据库和一个表。我已经使用位于我的HDFS上的csv文件加载了该表。每当我试图运行一个比这更复杂的查询时，我的问题就开始了。具体地说，当我试图运行一个选择特定列名或选择任何数据聚合的查询时。如果我尝试其他任何操作，我会在map和reduce任务停留在0%一段时间后收到此错误消息。下面是我使用尽可能多的NULL检查运行
浏览 2提问于2014-11-26得票数 2
2回答
Oozie作业停滞在运行状态
、、、、
我有一个简单的作业工作流，它将mapreduce作业作为shell操作来执行。提交作业后，它的状态变为Running，并停留在那里，但永远不会结束。mapreduce集群显示有两个作业正在运行，一个属于shell应用程序启动器，另一个用于实际的mapreduce作业。但是，mapreduce作业的进程显示为未分配，进度为零(这意味着它已经启动)。
有趣的是，当我终
浏览 1提问于2015-05-30得票数 2
1回答
在哪里可以找到包含mapreduce作业失败信息的日志？如果出现问题，我只会得到一个状态为1的错误退出。我正在运行Hadoop 2.4.1，并使用Hadoopy进行mapreduce作业。
浏览 2提问于2014-08-17得票数 0
2回答
2个名称节点(2个32 3x，2个核心)和3个数据节点(3个16 3x，2个核心)
我在默认队列中调度来自单个用户的mapreduce作业(没有其他用户，也没有配置其他队列)。使用capacity scheduler时，会发生以下情况:我可以提交多个作业，但只有2个作业在并行执行(状态为“running”)。当使用公平调度程序时，会发生以下情况:我正在提交多个作业，并且集群/调度程序将4个作业设置为“运行”状态</e
浏览 0提问于2014-07-28得票数 0
1回答
我正在将现有的管道从spark 1.6.0迁移到spark 2.1.0(cdh 5.15.1)。我使用的oozie版本(4.1.0)不支持spark2操作，所以我们使用java操作来运行spark2作业。作业可以通过java action成功执行，但我面临的一个问题是，每当oozie工作流被终止时，spark应用程序都不会被终止，尤其是在运行集群模式时。
浏览 1提问于2019-03-30得票数 0
1回答
我对oozie完全陌生，我正在创建一个工作流来运行一个hive查询，只需使用select语句显示一个表格的数据，但是一旦我提交了作业，它就会出现以下错误。JA017:与行动0000000-150519212325700相关联的未知hadoop作业job_local1866275230_0001 -oozi@adstest。这次行动失败了！
浏览 2提问于2015-05-20得票数 0
2回答
纱线与MapReduce机架
、、、、
我知道纱线框架的基本知识，但是对于MapReduce，我仍然感到缺乏一些理解。关于纱线，我读到MapReduce只是可以在纱线上运行的应用程序之一；例如，对于纱线，在同一个集群上可以运行各种不同的作业，MapReduce作业、火花作业等等。是MapReduce框架吗？
据我所知，纱线是一个运行不同作业的基础设施；因此，当我们提交一个MapReduce作业时，它是否
浏览 0提问于2018-03-30得票数 0
回答已采纳
我正在使用org.apache.hadoop.mapreduce.Job创建/提交/运行MR作业(Cloudera3，20.2)，在它完成后，在一个单独的应用程序中，我尝试让作业获取计数器，以便对它们做一些工作，这样我就不必每次重新运行整个MR作业来测试我的代码是否正常工作。我可以从JobClient获取RunningJob，但不能从org.apache.hadoop.mapreduce.Job获取。RunningJob给我来自ma
浏览 2提问于2011-10-13得票数 2
我在AWS中创建了一个作业流，创建了上下文广告(配置单元脚本)的作业流-完成了“启动交互式配置单元会话”，选择了m1个小实例，在没有VPC子网id的情况下继续操作，并在配置引导操作中配置MapReduce现在，作业流进入启动状态，15-20分钟后进入失败状态，不会进入等待状态。它显示“上次状态更改原因:用户帐户未授权调用EC2”我通过IAM给自己的PowerUserAccess。
浏览 3提问于2012-04-30得票数 2
1回答
我有一个示例字计数应用程序的设置，运行和完成从网络界面.所以当我运行命令时：我收到./elastic-mapreduce --ssh --jobflow j-27PI699U14QHH
然后收到以下错误：
浏览 1提问于2013-11-23得票数 2
回答已采纳
1回答
我正在尝试检查Mapreduce作业的作业状态。 LOG.warn("** " + e.getMessage());
但是没有这种状态，因为我检查了Jobstatus(htt
浏览 1提问于2018-01-15得票数 0
我正在通过Amazon的上的集群运行Hadoop作业。我的终端打开了，在那里我可以进入我的主节点。当我试图关闭我的终端时，我会收到一个警告，所有的进程都会被关闭。这也会毁掉我的Hadoop工作吗？如果有关系，我正在使用Ubuntu13.10中的默认(bin/bash)终端。我是从猪剧本开始工作的。
浏览 2提问于2014-03-14得票数 1
回答已采纳
我正在使用我有一个mapreduce程序，它可以在集群模式下使用HFileOutputFormat将数据从HDFS在mapreduce程序中，我使用HFileOutputFormat.configureIncrementalLoad()来批量加载一个大小为7.3 to 800000个记录数据集，它运行正常，但它不能运行在8.3 of数据的情况下，我的mapreduce程序有133个地图和一个redu
浏览 3提问于2013-09-03得票数 2
我已经执行了"Kubernetes Up and Running“一书中的示例，其中运行了一个带有工作队列的pod，然后创建了一个k8s作业来消耗队列上的所有工作。我的期望是，一旦一个k8s作业完成，它的豆荚就会被删除，但是kubectl get pods -o wide显示豆荚仍然存在，尽管它报告了0/1的容器，并且它们似乎仍然分配了ip地址--参见下面的输出。运行带有工作队列的吊舱kind: ReplicaSet
metada
浏览 2提问于2018-07-08得票数 23
我想了解像Hadoop MapReduce作业/火花作业/Hive脚本/Pig脚本这样的ETL作业通常是如何部署在on premises生产/开发环境中的。它们是否总是使用像Apache气流或Apache这样的调度器来部署和运行？
我假设这些作业几乎从不独立运行，而且总是使用调度程序运行，即使它是一个简单的调度bash脚本。这个准确吗？
浏览 0提问于2021-10-29得票数 1
2回答
我正在运行一个本地hadoop集群，并尝试同时提交两个作业，但是我的第一个作业完成了，而第二个作业没有完成，并且在第一个作业完成之前一直处于未分配状态。我预感到这是一个记忆问题，但是我不能完全弄清楚。YARN.NODEMASAGER.resource.memory-mb=40960yarn.scheduler.maximum-allocation-mb=10240
mapred
浏览 0提问于2015-06-02得票数 1
我已经为hadoop编写了一个mapreduce应用程序，并在一台机器上通过命令行对其进行了测试。我的应用程序使用两个步骤Map1 -> Reduce1 -> Map2 -> Reduce2在aws mapreduce上运行此作业，我正在使用此链接。
浏览 0提问于2010-10-31得票数 0
回答已采纳
1回答
我正在使用hadoop中纱线应用程序命令的输出来了解通过使用作业名运行的mapreduce作业的细节。我的集群正在使用HDP发行版。有谁知道到工作状态还能维持多久吗？它是否记录了前几天的工作情况？
浏览 0提问于2018-03-02得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
