我想从windows机器远程运行hadoop作业。集群正在Ubuntu上运行。
基本上，我想做两件事：
远程执行hadoop作业。
从hadoop输出目录检索结果。
我不知道如何做到这一点。我正在使用hadoop版本1.1.2
我试图在作业配置中传递jobtracker/namenode，但失败了。
我尝试了以下示例：
结果:获得一致的错误，因为无法加载目录。它类似于这篇文章：
浏览 1提问于2014-03-05得票数 4
我有5个节点的hadoop集群。我为每个节点配置了10个映射器。当MR作业正在运行时，其中一个hdfs节点死机。这最终导致该任务跟踪器被列入黑名单。在被列入黑名单之后，在MR作业完成之前，如果我修复了受影响的hdfs节点，是否可以从黑名单中恢复任务跟踪器？
我在ubuntu上使用cloudera cdh 4.2。
浏览 1提问于2013-06-28得票数 2
1回答
我正在开始使用Hadoop -我想知道
群集的what all the factors that needs to be looked at when a Map Reduce job(say via Hive or Snapplex) is being triggered to ensure that the cluster is stable and that job does not do any major impact
人们将在哪里查找所有这些检查点，是否有任何标准阈值可供跟踪？
基本上是系统运行状况检查，以确保我们构建的MR作业是干净的。
感谢您的见解
浏览 0提问于2015-05-30得票数 0
我正在尝试使用Azure HDInsight的Hadoop。我通过ssh登录到集群，并运行以下命令
hadoop jar jar_name class_name wasb://container@storagename.core.windows.net/inputdir wasb://container@storagename.core.windows.net/outputdir
但我得到了以下例外：
线程"main“org.apache.hadoop.fs.azure.AzureException: org.apache.hadoop.fs.azure.AzureExceptio
浏览 1提问于2015-11-09得票数 9
回答已采纳
生产系统: HDP-2.5.0.0，使用Ambari 2.4.0.1
在HDP之上执行一系列代码(Java MR等，Scala，Spark，R)会带来大量的需求，但需要从桌面Windows机器IDE执行。
对于Spark和R，我们有R-Studio设置。
挑战在于Java、Scala等等，而且，人们使用了从Eclipse到IntelliJ Idea的一系列IDE。
我知道Eclipse Hadoop插件没有得到积极的维护，而且在使用最新版本的Hadoop时也有很多bug，IntelliJ Idea我在官方网站上找不到可靠的输入。
我相信Hive和HBase client API是从Eclips
浏览 0提问于2016-11-25得票数 1
Windows10，来自winutils项目的Hadoop 3.0.0。Map reduce作业在IDE (Intellij Idea)中工作正常，但在windows命令行(fat Jar)中失败： java -jar target/app1-1.0-SNAPSHOT-jar-with-dependencies.jar "E://folderin" "E://folderout" -Xmx8g 返回错误： Exception in thread "main" java.io.IOException: Cannot initialize Clus
浏览 11提问于2021-02-06得票数 1
6回答
集成测试配置单元作业
、、、、
我正在尝试使用Hive Thrift和JDBC接口编写一个重要的Hive作业，但我在设置一个像样的JUnit测试时遇到了麻烦。我所说的非平凡，是指作业至少会在一个MapReduce阶段产生结果，而不是只处理转储。
测试应该启动一个Hive服务器，将一些数据加载到一个表中，在该表上运行一些重要的查询，并检查结果。
我已经根据连接了一个Spring上下文。但是，该作业在MapReduce阶段失败，并抱怨不存在hadoop二进制文件：
java.io.IOException:无法运行程序"/usr/bin/hadoop“(在目录"/Users/yoni/opower/workspa
浏览 61提问于2013-05-24得票数 72
回答已采纳
我得到了以下异常：
java.io.FileNotFoundException: File does not exist: /log1/20131025/2013102509_at1.1382659200021.tmp
at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.fetchLocatedBlocks(DFSClient.java:2006)
at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.openInfo(DFSClient.java:1975)
...
而MR jo
浏览 2提问于2013-10-25得票数 2
默认情况下，如果一个映射器/reducer失败，hadoop会尝试运行它的其他实例，如果失败4次(默认值)，hadoop会将完成MR作业标记为失败。
我正在处理一些原始数据，如果MR job无法处理30%的数据，我也没问题。有没有什么配置可以让我设置，如果30%的映射器失败，不会终止作业，并输出剩余70%的数据。我可以在我的代码中处理异常，并在计数器中维护失败和成功记录，但我想知道hadoop中是否有这样的配置
浏览 4提问于2013-07-04得票数 3
回答已采纳
我试图通过在本地运行星火流作业来访问事件中心数据。在为eventhubs.checkpoint.dir设置事件中心配置时，我遇到了一个问题。我试着将值设置为
wasbs://container_name@storage_name.blob.core.windows.net/
https://container_name@storage_name.blob.core.windows.net/
https://storage_name.blob.core.windows.net/continer_name/
每个错误导致的错误与下列错误相似：
ERROR ReceiverTra
浏览 2提问于2015-09-09得票数 1
回答已采纳
2回答
这是一种情况，我有一个hadoop集群，它没有配置Kerberos安全性和工作站。Hadoop集群运行Cloudera CDH3发行版。群集上的数据都存储在'hdfs‘用户下。
该工作站是linux或macos工作站，它运行一个嵌入PIG客户端的复杂软件。PIG客户端连接到群集以运行分析作业。
这里有一个问题。群集和工作站上的用户帐户不同，hadoop群集中的所有数据都存储在'hdfs‘主目录下工作站具有完整的用户帐户集。是否可以告诉PIG在不同的用户帐户下执行作业。当前pig尝试使用当前登录到工作站的用户的帐户执行作业。作业实际运行，但无法访问数据，因为脚本使用相对于HDFS
浏览 0提问于2012-11-02得票数 0
回答已采纳
我已经安排了对hadoop的测试。我正在使用hive运行查询select COUNT(DISTINCT first_name) from user_test where country='India';。
当我使用hive.execution.engine=mr (mr)作为执行环境时，作业成功执行，并且在Hadoop上也可以看到日志。但是，当使用tez运行相同的任务时，我会出现以下错误，而且我也无法找到日志。
Launching Job 1 out of 1 FAILED: Execution Error, return code 1 from org.apache.hado
浏览 8提问于2015-06-24得票数 0
回答已采纳
1回答
在C#中连接hadoop
、、、
我想在c#中使用HDInsight连接hadoop。我在AZURE中创建了一个集群，并成功地创建了它。我还在里面启用了远程桌面连接。当我在C#中输入凭据并执行作业时，就会得到连接错误。我对提供参数感到困惑。请帮助我。
var hadoop = Hadoop.Connect(new Uri("https://clustername.azurehdinsight.net"), "admin", "");
//I have set remote desktop password
var config = new HadoopJobConfigurat
浏览 4提问于2014-05-05得票数 1
2回答
我已经在Hadoop MR作业的setup方法中初始化了redis(jedis)客户端连接。当我在映射作业中使用连接来更新键、值对时，在多个节点上运行的映射是否可以同时使用相同的连接来更新redis？或者连接上有锁吗？
浏览 21提问于2016-09-02得票数 0
回答已采纳
我正在尝试执行下面的distcp命令，但是它抛出了异常： hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report 抛出的异常如下： 我正在尝试执行下面的distcp命令，但是它抛出了异常： hadoop distcp wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_r
浏览 16提问于2019-02-06得票数 0
回答已采纳
2回答
我已经编写了一个MR作业，并使用以下配置设置在本地模式下运行它
mapred.local.dir=<<local directory having good amount of space>>
fs.default.name=file:///
mapred.job.tracker=local
在Hadoop 1.x上
现在我正在使用Hadoop 2.x和使用相同配置设置运行的同一个Job，但我收到错误消息：
Disk Out of Space
如果我从Hadoop 1.x切换到2.x (使用Hadoop-2.6 jar)，相同的配置设置将无法更改Tmp目录。？？
在Ha
浏览 0提问于2015-11-02得票数 2
以下哪一项是运行map reduce作业的区别
/bin/hadoop -jar /file.jar input output
并在eclipse中导入jars并运行代码？
浏览 0提问于2012-04-08得票数 1
回答已采纳
我使用java和hadoop 1.0.1开发了一些MR作业。但是，EMR仅支持Hadoop 0.20。是否可以在EMR上运行Hadoop 1.0.1作业，或者我是否必须降级我的库栈以符合EMR hadoop版本？
浏览 3提问于2012-04-07得票数 3
回答已采纳
2回答
我已经在我的机器(Windows)上安装了Hadoop-0.20.2。我尝试使用主节点和从节点来设置节点集群。但是我无法连接这些机器。存在密码身份验证错误。
如何解决这个问题？如果可能，请为我提供一个合适的链接，以便在Hadoop中设置多个集群。
浏览 2提问于2011-12-22得票数 1
我正在尝试将数据从teradata导出到hadoop。但是我的导出查询失败了，因为我给出了一个错误"Failed to write data".Please看看下面的Mapreduce和应用程序日志：
Log Type: syslog
Log Upload Time: Tue Mar 08 22:59:27 -0800 2016
Log Length: 4931
2016-03-08 22:47:07,414 WARN [main] org.apache.hadoop.metrics2.impl.MetricsConfig: Cannot locate configuratio
浏览 0提问于2016-03-09得票数 1
我正在8节点的Hadoop集群上工作，并且正在尝试使用指定的配置执行一个简单的流式作业。
hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u0.jar \-D mapred.map.max.tacker.failures=10 \-D mared.map.max.attempts=8 \-D mapred.skip.attempts.to.start.skipping=8 \-D mapred.skip.map.max.skip.records=8 \-D mapred.skip.mod
浏览 1提问于2011-07-15得票数 3
我在Hadoop集群上运行一个MRJob &我得到以下错误：
No configs found; falling back on auto-configuration
Looking for hadoop binary in $PATH...
Found hadoop binary: /usr/local/hadoop/bin/hadoop
Using Hadoop version 2.7.3
Looking for Hadoop streaming jar in /usr/local/hadoop...
Found Hadoop streaming jar: /usr/local/h
浏览 1提问于2017-02-27得票数 0
我在AWS EC2中有一个hadoop集群设置，但我的开发设置(Spark)是在本地windows系统中。当我尝试连接AWS Hive thrift服务器时，我可以连接，但当我尝试从本地spark配置提交作业时，它显示一些连接被拒绝错误。请注意，在windows中，我的用户名与Hadoop eco系统在AWS服务器中运行的用户名不同。谁能给我解释一下底层系统在这个设置中是如何工作的？
1)当我从本地的Spark向HIVE thrift提交作业时，如果该作业与任何MR作业相关联，ASW Hive setup将使用自己的身份提交该作业NN，或者它将继续使用我的spark setup身份。
2)在我
浏览 1提问于2017-08-28得票数 0
我有一个简单的火花作业，它在给定的输入文件中用逗号替换空格。
当该作业在本地提交时(使用IDE并执行已构建的jar)，它将成功完成，当主任务被设置为“纱线-客户端”时，作业挂起很长时间并抛出以下异常。
我们有一个实用程序，我们希望通过编程提交作业，而不是构建一个罐子并通过火花提交来提交它。
火花版本: 1.6.1 Hadoop版本: 2.7.1
我把所有的火花，纱线和hadoop依赖在我的pom中。
作业因下列异常而失败
java.net.ConnectException: Call From spark.node123.com/192.168.2.1 to 0.0.0.0:8032 fail
浏览 0提问于2016-04-13得票数 0
回答已采纳
1回答
我试图在Cloud4.2Basic集群上运行BigInsights上的火花线作业，但我遇到了以下问题：
Stack trace: ExitCodeException exitCode=1: /data/hadoop-swap/yarn/local/usercache/snowch/appcache/application_1480680664469_0038/container_1480680664469_0038_01_000004/launch_container.sh: line 24: $PWD:$PWD/__spark__.jar:/etc/hadoop/conf:/usr/iop/
浏览 4提问于2016-12-12得票数 0
回答已采纳
我想使用Hadoop插件来运行WordCount示例。
我有系统: Local: Windows 7，Eclipse (4.2.2)，hadoop-1.2.1解压缩。远程:安装和测试相同hadoop版本的Debian7.1。
我遵循了 Eclipse-pluginon-ubuntu-12-10的说明，并在windows机器上构建了插件。
hadoop正在运行，使用hadoop-示例WordCount和我新创建的wordcount进行测试。
插件的工作原理是：
我可以创建一个新的MR项目
我可以添加新的MR位置(在我的例子中是远程的)
我可以从DFS浏览/上传/下载/删除文件，
浏览 0提问于2013-08-07得票数 0
谁能告诉我MR1和yarn和MR2有什么区别吗？
我的理解是MR1将具有以下组件名称节点、辅助名称节点、数据节点、作业跟踪器、任务跟踪器
Yarn节点管理器资源管理器
纱线是由MR1还是MR2组成的(或者MR2和Yarn是相同的？)
如果我问了基本级别的问题，很抱歉
浏览 1提问于2015-05-12得票数 2
我是hadoop的新手。
我已经设置了一个2节点集群。
如何在hadoop中并行运行两个作业。
当我提交作业时，它们是按FIFO顺序逐个运行的。我必须并行运行这些作业。如何实现这一点。
谢谢MRK
浏览 2提问于2011-09-20得票数 11
回答已采纳
错误消息如下：
Could not load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist
实际上，我知道这个问题的答案。/mr-history文件的默认设置为：
hadoop fs -chown -R $MAPRED_USER:$HDFS_USER /mr-history
但是在运行作业时(在$HDFS_USER下)，作业文件保存到$HDF
浏览 1提问于2014-02-11得票数 0
我想构建一个UI工具，用户可以在其中提交他们的表达式，并基于该表达式在Hadoop集群上的后端触发MR作业。完成MR作业后，需要发送一封电子邮件，其中包含电子邮件正文中的结果摘要。
我以前从未以这样的方式执行过乔布斯先生，我对如何实现这一点感到相当困惑。有没有什么框架可以帮到我？或者是关于如何自己去实现它的想法？
谢谢
浏览 0提问于2015-04-09得票数 0
2回答
当我们将以下命令作为hadoop mapreduce流的一部分运行时
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streamingxxxx.jar -input cities.txt -output streamout -mapper /bin/cat -reducer 'grep -i CA‘
1)基于Java的mapreduce作业是否在后台运行？
浏览 1提问于2017-08-05得票数 1
在使用命令构建Spark之后，我使用Hive 0.14.0.2.2.0.0-2041实现了Hadoop 2.6.0.2.2.0.0-2041：
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.6.0 -Phive -Phive-thriftserver -DskipTests package
我尝试使用以下命令在YARN上运行Pi示例：
export HADOOP_CONF_DIR=/etc/hadoop/conf
/var/home2/test/spark/bin/spark-submit \
--class org.apache.spark.examp
浏览 3提问于2015-04-06得票数 3
我在dataproc中以作业的形式运行以下代码。在“群集”模式下运行时，无法在控制台中找到日志。
import sys
import time
from datetime import datetime
from pyspark.sql import SparkSession
start_time = datetime.utcnow()
spark = SparkSession.builder.appName("check_confs").getOrCreate()
all_conf = spark.sparkContext.getConf().getAll()
pri
浏览 23提问于2021-12-07得票数 3
回答已采纳
如何将Hadoop reducers的输出路径保存到变量中？
此变量将由所有其他MR作业使用。
这些作业将是连续的。
所有顺序的MR作业都会将其相应的输出写入该输出目录。
我需要相应地更新它们的path变量。
浏览 2提问于2011-05-30得票数 0
用例：
阿兹卡班开始星火作业
火花工作有些失败
预期结果：
Hadoop ResourceManager说工作的最终状态失败了
实际结果：
Hadoop RM说工作的最终状态是成功的。
有人知道怎么修好吗？
浏览 2提问于2017-12-01得票数 0
回答已采纳
使用brew安装hadoop，现在希望在intelliJ IDEA中运行hadoop作业。如何设置环境和解决依赖关系？
浏览 1提问于2017-11-25得票数 3
我有一个6节点集群-5个DN和1个NN。所有的内存都有32 GB。所有奴隶都有8.7 TB的HDD。DN有1.1TB HDD。这是我的，，的链接。
在运行了一个MR job之后，我检查了我的RAM使用情况，如下所述：
Namenode
free -g
total used free shared buff/cache available
Mem: 31 7 15 0 8 22
Swap: 31 0
浏览 2提问于2018-11-21得票数 0
1回答
这是我第一次尝试使用Hadoop。我只是在尝试使用一些示例代码。
我已经理解了这个例子，但我想知道这是否可能：
我的计算机上没有安装hadoop (它安装在网络中的另一台计算机上)。我想在我的PC上运行jar，但是我的程序创建的hadoop作业应该在该计算机的集群上运行。hadoop可以这样配置吗？
浏览 0提问于2014-11-07得票数 0
1回答
我可以使用以下命令从hadoop访问azure存储blobs
wasbs://@.blob.core.windows.net/
但我无法访问Azure文件。有人能建议如何像blobs一样从Hadoop访问azure存储文件吗？
浏览 4提问于2017-12-15得票数 0
3回答
我们遇到了Pig的多查询优化器无法按预期工作的问题。
据我所知，下面的脚本应该作为一个MR作业运行，但它在我们的集群上作为两个作业运行。我认为多查询优化在默认情况下应该是打开的，我是否遗漏了什么？如果我将group by替换为"filter“语句，那么它将作为单个MR作业工作。
data = LOAD 'input' AS (a:chararray, b:int, c:int);
A = GROUP data BY b;
B = GROUP data BY c;
STORE A INTO 'output1';
STORE B INTO 'outp
浏览 0提问于2013-08-24得票数 0
我在psuedo分布式模式下安装了Hadoop2.7.1(单机上的所有守护进程)。它已经启动并运行，我可以通过命令行访问HDFS并运行作业，并且能够看到输出。
我可以访问。它显示版本和集群状态，并可以访问hadoop文件系统。
我找到了一个，并应用了它被接受的解决方案，但这对我不起作用。当我试图访问时，我得到以下错误消息
It looks like you are making an HTTP request to a Hadoop IPC port. This is
not the correct port for the web interface on this daemon.
任何帮
浏览 4提问于2015-09-21得票数 1
回答已采纳
2回答
我正在尝试处理配置单元中的多字符分隔符。
我已经成功地创建了一个具有相同属性的表
create external table showtmp3(doc_name STRING,doc_content STRING) row format SERDE 'org.apache.hadoop.hive.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ('field.delim'='#a#') location '/unmesha/OUT';
然后我需要发出查询，如下所示。
INSERT O
浏览 0提问于2017-02-25得票数 1
1回答
由于预期必须通过查找日志文件中的错误消息来调试Python代码，我创建了一个Hadoop流作业，该作业将引发异常，但无法找到错误消息(或堆栈跟踪)。
类似的问题和使用Python的logging模块，这在这里是不可取的，因为Python已经记录了错误，所以我们不应该这样做。
下面是映射程序代码；我们使用Hadoop的内置还原器aggregate。
#!/usr/bin/python
import sys, re
import random
def main(argv):
line = sys.stdin.readline()
pattern = re.compile("[a-
浏览 4提问于2019-10-01得票数 2
回答已采纳
1回答
我计划从Hadoop版本1更新到Hadoop版本2。有人能告诉我(如果您尝试过hadoop版本2)，版本2中的MR /Hive/Pig作业比版本1有性能提升吗？
浏览 0提问于2014-01-22得票数 2
我正在使用org.apache.hadoop.mapreduce.Job创建/提交/运行MR作业(Cloudera3，20.2)，在它完成后，在一个单独的应用程序中，我尝试让作业获取计数器，以便对它们做一些工作，这样我就不必每次重新运行整个MR作业来测试我的代码是否正常工作。
我可以从JobClient获取RunningJob，但不能从org.apache.hadoop.mapreduce.Job获取。RunningJob给我来自mapred包的计数器，而作业给我来自mapreduce包的计数器。我尝试使用new Job(conf, "job_id")，但这只会在状态为DEFI
浏览 2提问于2011-10-13得票数 2
我理解，如果使用单个输入表，则使用结果序列化。
TableMapReduceUtil.initTableMapperJob( tableName, scan, Mapper.class, Text.class, Result.class, job );
有什么想法吗?如何在使用MultiTableInput (多个扫描作为输入)的同时实现同样的目标？
TableMapReduceUtil.initTableMapperJob( scans, SummaryMapper.class, Text.class, Result.class, job );
在运行MR作业时，我得到了以下错误：
信息m
浏览 2提问于2017-04-18得票数 0
回答已采纳
我正在尝试向HDInsight群集提交MapReduce作业。在我的工作中，我没有写reduce部分，因为我不想减少任何东西。我所要做的就是解析每个文件名，并将值附加到文件中的每一行。这样我就可以在文件中包含所有需要的数据。
我的代码是
using Microsoft.Hadoop.MapReduce;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace GetMetaDataFromFileN
浏览 0提问于2014-12-10得票数 5
当我使用IntelliJ IDEA社区提交hdinsight火花作业时
错误：
Failed to submit application to spark cluster.
Exception : Forbidden. Attached Azure DataLake Store is not supported in Automated login model.
Please logout first and try Interactive login model
浏览 5提问于2017-06-14得票数 0
回答已采纳
运行配置单元查询时，我看到以下错误。无法修复它，即使在重新安装hive.Please建议。
select col1，col2，col3，col4 from y2014_01 order by col4 DESC limit 10；
作业提交失败，出现异常‘file:/usr/local/hadoop/apache-hive-1.0.0-bin/lib/mysql-connector-java-5.1.21-bin.jar’(文件java.io.FileNotFoundException不存在)
失败:执行错误，从org.apache.hadoop.hive.ql.exec.mr.MapRedT
浏览 3提问于2015-07-29得票数 0
1回答
我开始学习Hadoop了。我有一个hadoop服务器，它连接3个集群节点。如果我运行一个MapReduce作业，它工作得很好。我需要为这些集群设置优先级。
例如
node2，node3是我的集群，它与我的hadoop服务器相连。在这里，如果我运行MR作业，它每次都会拆分并分配类似上述优先级的作业。有可能吗？
因为集群节点具有不同的内存容量。所以我需要设置高内存节点将首先处理作业。
浏览 0提问于2014-03-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
