如何在hadoop worker计算机之间同步配置
在Hadoop集群中，配置同步是确保所有Worker节点具有相同配置的重要步骤。以下是在Hadoop Worker计算机之间同步配置的步骤：
- 创建一个配置文件：首先，您需要创建一个包含所有配置参数的配置文件。该文件可以是XML格式，例如
hadoop-site.xml。 - 配置文件位置：将配置文件放置在Hadoop集群的一个共享位置，例如NFS共享目录或分布式文件系统（如HDFS）中的某个目录。
- 配置文件访问权限：确保所有Worker节点都可以访问该共享位置，并具有读取配置文件的权限。
- 配置文件下载：在每个Worker节点上，通过使用适当的命令或脚本从共享位置下载配置文件。例如，可以使用
wget或curl命令从NFS共享目录下载配置文件。 - 配置文件放置：将下载的配置文件放置在每个Worker节点上的Hadoop配置目录中。通常，该目录是
$HADOOP_HOME/etc/hadoop/。 - 配置文件覆盖：如果Worker节点上已经存在相同名称的配置文件，则需要备份原始文件并将新的配置文件覆盖到相应目录中。
- 配置参数检查：确保配置文件中的所有参数都正确设置，并与集群中的其他节点保持一致。特别注意检查与集群拓扑、数据存储位置和网络通信相关的参数。
- 重启服务：在所有Worker节点上，重新启动Hadoop相关的服务，以使新的配置生效。这可以通过执行适当的命令或使用集群管理工具来完成。
通过以上步骤，您可以在Hadoop Worker计算机之间同步配置，确保集群中的所有节点具有相同的配置参数。这样可以确保集群的一致性，并提供更好的性能和可靠性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Hadoop产品：https://cloud.tencent.com/product/emr
- 腾讯云NFS共享存储：https://cloud.tencent.com/product/cfs
- 腾讯云集群管理工具：https://cloud.tencent.com/product/tke
相关·内容
我们有一个庞大的hadoop集群，我们安装了一个协调器preso节点和850个presto worker节点。现在我们想要更改文件- <code>D0</code>中的值，但这应该在所有的workers上完成！
所以在下面
<code>A1</code>
该文件如下所示
<code>A2</code>
我们想把它改成
<code>A3</code>
但这只在第一个节点- worker01上完成，但我们也需要在所有工作节点上执行。我们可以通过scp将此文件复制到所有其他worker，但不是为了防止ro
浏览 17提问于2019-03-29得票数 0
回答已采纳
第一种情况：
我已经在ubuntu 14上下载了spark，但是当我在下面运行它的时候，结果就来了。无法正常启动并询问root用户密码。
root@sueeze-Lenovo-G580:~/Spark/spark-2.3.0-bin-hadoop2.6/sbin# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/sueeze/Spark/spark-2.3.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.master.M
浏览 16提问于2018-03-03得票数 0
我是flume的支持者，当我尝试编写一个模板来研究如何使用flume来实时处理发布到HDFS的文件时，我得到了一个关于连接被拒绝的错误。我想在模板中做什么：-->使用flume收集由hive创建的日志，并将其发布到HDFS 这是我的job_conf #name sources,sinks,and channels
a2.sources=r2
a2.sinks=k2
a2.channels=c2
#sources conf,specify the log file i want to watch
a2.sources.r2.type=exec
a2.sources.r2.command
浏览 189提问于2019-07-03得票数 0
我们是否必须修改hadoop集群的主节点和从节点的mapred-site.xml，以获得参数，例如map的最大no值，并减少要并行执行的任务，还是只有主节点上的配置更改就足够了。
在mapred-site.xml中对主节点上的mapred.map.child.java.opts和mapred.reduce.child.java.opts等参数所做的更改也会在客户端节点上进行吗？或者我们把他们都做了。
我们是否必须在主节点和客户端节点指定dfs.block.size以使块大小与默认值不同？
如果没有，是否必须同时在主节点和客户端节点指定参数以优化hadoop集群？
浏览 2提问于2013-09-14得票数 1
回答已采纳
我试图在Hadoop2.6下运行以下Spark示例，但我得到了以下错误：
INFO RMProxy:在/0.0.0.0:8032连接到ResourceManager，客户端进入一个试图连接的循环。我正在运行一个由两台机器组成的集群，一台主计算机和一台从机。
./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 2g \
--executor-memory 2g \
--executor-cores 1 \
浏览 10提问于2015-12-06得票数 9
默认情况下，hadoop 2.7.3中的一个作业可以有两个映射器。我有一个由2个系统组成的集群，每个系统上都有4个可用内核。一个是master，一个是worker。现在我想运行3个map任务worker节点。我能做到吗？我正在使用hadoop流来运行作业。那么，为了这个目的，我应该设置什么参数。另外，我只想将一个输入(行)设置为一个映射器。参数的格式应该是什么。我当前没有完成作业的命令是
hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar\
-D mapred.output.compress
浏览 18提问于2017-01-09得票数 1
我使用了以下步骤在Windows中使用独立模式集群配置spark，
步骤1:从下面的http://www.apache.org/dyn/closer.cgi/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.4.tgz链接下载spark注意:我已经安装了Hadoop2.5.2和Scala2.10.4
步骤2:将星星之火-1.3.1-bin-hadoop2.4.tgz放在F:/目录中
步骤3:使用以下命令Tar -xf spark 1.3.1-bin-hadoop2.4.tgz解压缩该文件
步骤4:使用以下命令设置环境变量以创建SPARK环境
浏览 1提问于2015-04-22得票数 4
我看到了几篇关于这个话题和各种网站的帖子，也在堆叠中，但我不明白真正的问题是什么，也不明白我能做些什么来解决它。事实上，我对Hadoop非常陌生。
因此，我使用的是5.4.2虚拟机。我用嵌入式eclipse开发了典型的WordCount示例，一切都运行良好。
现在，我试图在虚拟机之外的另一个eclipse中执行相同的代码，并获得一个ConnectException。
到VM的连接是正常的，我的"output“目录的创建已经完成，但是它在执行map()/reduce()任务之前失败了。
确切地说，我的情况是:主持人：
CentOS 6.6 x64与Oracle 1.7.0_67
浏览 5提问于2015-08-28得票数 0
回答已采纳
我正在尝试在spark-2.0.0-bin-hadoop2.7上配置Ubuntu 16.04.1 LTS。我已经准备好
export JAVA_HOME=/home/marc/jdk1.8.0_101
export SCALA_HOME=/home/marc/scala-2.11.8
export SPARK_HOME=/home/marc/spark-2.0.0-bin-hadoop2.7
export PATH=$PATH:$SCALA_HOME/bin:$JAVA_HOME/bin
在.bashrc的末尾，也包括在start-all.sh文件中的spark/sbin文件夹。
当我输入ec
浏览 3提问于2016-08-03得票数 10
回答已采纳
我正在使用spark为HDFS编写一个大文件。基本上，我所做的是连接3个大文件，然后使用toJSON()将结果数据转换为json，然后使用saveAsTextFile将其保存到HDFS。最后要写入的文件大约为4TB。应用程序运行得很慢(正如我所期望的那样？)6小时后，它抛出了一个例外java.lang.IllegalArgumentException:自抑制不允许。详细的故障原因将从监视页面复制到下面：
Job aborted due to stage failure: Task 37 in stage 6.0 failed 4 times, most recent failure: Lost
浏览 0提问于2015-12-21得票数 1
回答已采纳
在研究多个网站和视频中的材料时，我对3个hadoop组件ZooKeeper、日志节点和仲裁日志管理器的功能和用途的差异感到困惑。
谁能给我解释一下发明上述每一个组件的原因，以及上述三个组件在用途和功能上的差异？
提前谢谢。
浏览 4提问于2014-09-25得票数 10
回答已采纳
我有一些Hadoop worker使用不同的SSH端口，所以我想为它们设置不同的SSH端口，因为Hadoop使用22作为默认SSH端口，虽然您可以更改Hadoop AFAIK的SSH端口，但它适用于所有worker。我还没有找到任何关于这方面的指南。
浏览 118提问于2021-01-13得票数 0
回答已采纳
1回答
这是我第一次尝试使用Hadoop。我只是在尝试使用一些示例代码。
我已经理解了这个例子，但我想知道这是否可能：
我的计算机上没有安装hadoop (它安装在网络中的另一台计算机上)。我想在我的PC上运行jar，但是我的程序创建的hadoop作业应该在该计算机的集群上运行。hadoop可以这样配置吗？
浏览 0提问于2014-11-07得票数 0
1回答
我们的Hadoop集群显示作业跟踪器进程会逐渐消耗内存，因此我们必须每周重新启动集群。我四处寻找可能的解决方案。其中一个帖子提到要将'mapred.jobtracker.completeuserjobs.maximum‘减少到5，所以我检查了name节点上/hadoop-install/conf目录下的mapred-site.xml，发现该参数有两个条目，一个设置为30，另一个设置为5，当我转到任何一个数据节点并检查mapred-site.xml时，我根本找不到该参数的设置。但是，当我在M/R管理页面上检查正在运行作业，并检查他们的作业文件时，它显示参数设置为100。我真的很困惑这个参
浏览 3提问于2015-01-31得票数 0
几乎每天都会下降一次。
FATAL namenode.FSEditLog (JournalSet.java:mapJournalsAndReportErrors(398)) -
**Error: flush failed for required journal** (JournalAndStream(mgr=QJM to [< ip >:8485, < ip >:8485, < ip >:8485], stream=QuorumOutputStream starting at txid <>))
java.io.IOException: T
浏览 4提问于2016-04-21得票数 0
回答已采纳
4回答
我已经在3个集群上设置了hadoop2.2.0。一切都很顺利。在每个集群中启动NodeManager和Datanode。但是，当我运行wordcount示例时，发生了100%的映射，并给出了以下异常：
map 100% reduce 0%
13/11/28 09:57:15 INFO mapreduce.Job: Task Id : attempt_1385611768688_0001_r_000000_0, Status : FAILED
Container launch failed for container_1385611768688_0001_01_000003 : org.apac
浏览 0提问于2013-11-28得票数 8
我们有hadoop群集- HDP 2.6.5，其中包含配置单元元存储和presto工作进程 在presto worker中，我们定义了以下配置 [root@presto_worker catalog]# ls -ltr
total 12
-rw-r--r-- 1 root root 247 Aug 5 14:30 jmx.properties
-rw-r--r-- 1 root root 54 Aug 5 14:30 memory.properties
-rw-r--r-- 1 root root 329 Aug 5 14:30 hive.properties
[root@pres
浏览 39提问于2020-08-30得票数 0
1回答
我想问一下如何运行hadoop均衡器？我以前尝试过在namenode上运行hadoop均衡器命令，但完全没有效果(我的新datanode仍然是空的)。我还读到hadoop balancer不是在namenode上运行，而是在客户机节点上运行。那么，什么是客户端节点，如何配置它，以及客户端节点如何访问hadoop文件系统？
谢谢大家，我需要你们的建议
浏览 0提问于2015-05-08得票数 0
我目前正试图在我的Java代码中启动一个Apache作业。在我开始我的问题之前，我想提供一些关于我的代码和工作环境的信息。
自从我在开发环境(Ubuntu14.04，v7)上工作以来，我已经以独立模式设置了Hadoop。详细地说，我只在我的.bashrc文件中做了以下更改：
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/home/db2inst1/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
因此，我得到
浏览 4提问于2014-07-05得票数 1
回答已采纳
我使用的是独立集群模式1.5.2。
尽管我在spark-env.sh中设置了SPARK_WORKER_MEMORY，但这个设置似乎被忽略了。
我在bin/sbin下的脚本中找不到任何设置了-Xms/-Xmx的迹象。
如果我在worker pid中使用ps命令，它看起来像是设置为1G的内存
[hadoop@sl-env1-hadoop1 spark-1.5.2-bin-hadoop2.6]$ ps -ef | grep 20232
hadoop 20232 1 0 02:01 ? 00:00:22 /usr/java/latest//bin/java
-cp /wo
浏览 0提问于2016-01-13得票数 0
我有一个简单的火花作业，它在给定的输入文件中用逗号替换空格。
当该作业在本地提交时(使用IDE并执行已构建的jar)，它将成功完成，当主任务被设置为“纱线-客户端”时，作业挂起很长时间并抛出以下异常。
我们有一个实用程序，我们希望通过编程提交作业，而不是构建一个罐子并通过火花提交来提交它。
火花版本: 1.6.1 Hadoop版本: 2.7.1
我把所有的火花，纱线和hadoop依赖在我的pom中。
作业因下列异常而失败
java.net.ConnectException: Call From spark.node123.com/192.168.2.1 to 0.0.0.0:8032 fail
浏览 0提问于2016-04-13得票数 0
回答已采纳
2回答
我已经用Spark设置了EC2集群。一切正常，所有的主人/奴隶都在运转。
我正在尝试提交一个样本工作(SparkPi)。当我在ssh中聚集并提交它的时候--一切都很好。然而，当在远程主机(我的笔记本电脑)上创建驱动程序时，它无法工作。我为--deploy-mode尝试过这两种模式
--deploy-mode=client**:**
从我的笔记本电脑：
./bin/spark-submit --master spark://ec2-52-10-82-218.us-west-2.compute.amazonaws.com:7077 --class SparkPi ec2test/target/sc
浏览 1提问于2015-02-23得票数 13
回答已采纳
如何不用distcp命令将数据从一个Hadoop集群移动到另一个Hadoop集群。因为我们不能用这个。我们还有其他选择像Sqoop或Flume吗？
浏览 2提问于2015-10-13得票数 0
1回答
这是我的错误日志：
$ /spark-submit --master yarn --deploy-mode cluster pi.py
...
2021-12-23 01:31:04,330 INFO retry.RetryInvocationHandler: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sbn
浏览 14提问于2021-12-23得票数 0
回答已采纳
BOINC 的区别是什么？
与Hadoop/Spark/等大数据框架？它们似乎都是分布式计算框架--我有什么地方可以读到其中的差异，尤其是BOINC吗？
看来欧盟的大型强子对撞机正在使用BOINC，为什么不使用Hadoop呢？
谢谢。
浏览 3提问于2016-06-25得票数 1
回答已采纳
当我这样做的时候
spark-1.3.0-bin-hadoop2.4% sbin/start-slave.sh
我收到了这个消息
failed to launch org.apache.spark.deploy.worker.Worker:
Default is conf/spark-defaults.conf.
即使我有这个：
spark-1.3.0-bin-hadoop2.4% ll conf | grep spark-defaults.conf
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix 507 Apr 29 0
浏览 0提问于2015-04-29得票数 6
回答已采纳
问题: Eclipse Hadoop插件问题(本地异常:java.io.EOFException调用本地主机/127.0.0.1:50070失败)。有人能给我解决这个问题的办法吗？
我正在进行Cloudera培训教程。它使用Eclipse(Helios)3.6和Hadoop.0.20.2-cdh3u2版本。
我下载了hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar，并将其复制到/home/training/eclipse/plugins/文件夹中。
Run --> Eclipse --> gone to File (which is in Menu
浏览 0提问于2012-11-28得票数 0
我有一个以独立模式运行的Apache集群(2.2.0)。到目前为止，正在使用HDFS来存储拼花文件。我正在使用ApacheHive1.2的Hive服务来访问，使用Thriftserver，Spark。
现在，我想使用S3对象存储代替HDFS。我将以下配置添加到我的hivesite.xml中：
<property>
<name>fs.s3a.access.key</name>
<value>access_key</value>
<description>Profitbricks Access Key</de
浏览 9提问于2018-01-08得票数 2
回答已采纳
我正在尝试设置一个伪分布式Hadoop2.6集群来运行Gi相图作业。由于我找不到这方面的全面指南，我一直依赖Gi饼QuickStart () (不幸的是Hadoop0.20.203.0)和一些Hadoop2.6/纱线教程。为了做正确的事情，我想出了一个bash脚本，它应该安装Hadoop和Gi相图。不幸的是，Gi相图作业多次失败，“输入拆分期间工人失败”异常。如果有人能指出我的部署先例中的错误或提供另一种工作方式，我将非常感激。
编辑:我的主要目标是能够开发Gi饼1.1作业。我不需要自己运行任何繁重的计算(最后，作业将在外部集群上运行)，所以如果有任何更简单的方式来拥有Gi相图开发环境，它就可
浏览 0提问于2015-02-24得票数 2
回答已采纳
1回答
试图使用pyspark im运行spark，得到以下错误：
An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0) (pi1 executor driver): or
浏览 2提问于2021-07-26得票数 0
回答已采纳
在Centos OS中，我使用默认配置部署了BAM 2.0.1服务器。在此之后，我配置了AS和ESB工具箱，并将我的AS和ESB服务器配置为使用此BAM。
当我重新启动BAM服务器时，我开始在控制台中看到此错误：
TID: [0] [BAM] [2012-12-06 12:06:00,031] INFO {org.wso2.carbon.analytics.hive.task.HiveScriptExecutorTask} - Running script executor task for script esb_stats_903. [Thu Dec 06 12:06:00 CST 20
浏览 1提问于2012-12-07得票数 1
1回答
我正在尝试使用NFS在同一lan上的5台机器上设置hadoop集群。我面临的问题是，一台机器上的hadoop副本在所有机器上都是复制的，所以我不能为每个从服务器提供独占属性。由于这个原因，我得到了“无法创建锁”之类的错误。FAQ建议不应该使用NFS，但我没有其他选择。有没有一种方法可以指定属性，比如，主机应该从location1中选择它的配置文件，slave1应该从location2中选择它的配置文件.....
浏览 2提问于2011-07-30得票数 2
回答已采纳
我们有基于ambari的Hadoop集群，因为thrift服务器的性能很差，我们决定用presto替换它。我们当前的Hadoop集群有以下机器960台数据节点机器(基于redhat 7操作系统) presto- Presto (或称PrestoDB)是一个开源的分布式SQL查询引擎，专为对任意大小的数据进行快速分析查询而设计。它既支持非关系源，如Hadoop分布式文件系统(HDFS)， 我们安装了新的presto服务器，如下所示:首先，我们安装了操作系统( redhat 7)，总共安装了13台机器，1台机器用于presto协调器，12台机器用于presto工作进程 安装操作系统后，我们成功地
浏览 35提问于2019-04-18得票数 1
2回答
在远程计算机(example.host.com)上安装了Hadoop。Pig也安装在该机器上。
如何从其他机器访问该机器上的hdfs？
我不想从远程复制文件。我只想在那些以avro格式存储的文件上运行查询，这些文件也有模式。
我在本地机器上安装了Pig，并在pig.properties文件中添加了以下几行
fs.default.name=hdfs://example.host.com:8020
mapred.job.tracker=example.host.com:8021
但是，当我启动pig时，它会给出以下错误
2013-02-15 12:35:26,534 [main] INFO or
浏览 0提问于2013-02-14得票数 0
2回答
我将我的代码提交给一个星星之火的独立集群。提交命令如下所示：
nohup ./bin/spark-submit \
--master spark://ES01:7077 \
--executor-memory 4G \
--num-executors 1 \
--total-executor-cores 1 \
--conf "spark.storage.memoryFraction=0.2" \
./myCode.py 1>a.log 2>b.log &
我在上面的命令中指定执行器使用4G内存。但是使用top命令来监视executor进程，我注意到
浏览 3提问于2016-05-11得票数 9
1回答
Im new to Hadoop. I setting up a hadoop-cluster with 1 Master and 3 Slaves. Everything is working fine so far. If I start a MapReduce Job the output folder isnt set like do命令说
hadoop jar TestApp.jar /hdfs/input /hdfs/output
但是在/hdfs/中没有输出目录，它在/user/hduser/hdfs/output中，我无法获得作业的结果。
有人能解释一下吗？
曼纽尔
浏览 0提问于2015-04-24得票数 1
16回答
如何在Spark中关闭信息记录？
、、、、
我使用亚马逊网络服务的EC2指南安装了Spark，我可以使用bin/pyspark脚本很好地启动程序，进入spark提示符，还可以成功地执行Quick Start quide。
然而，我无论如何也想不出如何在每个命令之后停止所有详细的INFO日志记录。
我已经在下面的代码中尝试了几乎所有可能的场景(注释掉，设置为OFF)，在我启动应用程序的conf文件夹中的log4j.properties文件中，以及在每个节点上，都没有任何效果。在执行每条语句之后，我仍然可以打印日志记录INFO语句。
我对这应该如何工作感到非常困惑。
#Set everything to be logged to the c
浏览 279提问于2014-08-08得票数 164
回答已采纳
我试图同步2台计算机与软件中心，但这是令人困惑的。我已经使用相同的帐户登录了这两个帐户，但它们似乎没有显示在其他列表中。因此，也许一步一步地指导如何使用它将是有帮助的。
浏览 0提问于2011-11-01得票数 7
回答已采纳
1回答
我有一个客户端使用Firefox作为他们的主要浏览器。我们已经通过GPO为他们的桌面和文档文件夹启用了文件夹重定向功能，我希望对他们的火狐书签也这样做，因为所有用户都有一个桌面和一个Windows2008RDS会话，可以远程访问，还有一些用户有笔记本电脑。
我知道有两种方法可以做到这一点：
启用Firefox同步。我的问题是，这都是用户驱动的。他们必须注册它，管理他们的密码，在其他机器上使用时启用它，等等。
打开Appdata\漫游文件夹，重定向GPO。然而，我在几个不同的论坛上看到，这会给不同的应用程序带来问题，最常见的是Adobe，所以如果可能的话，我想避免它。
有没有人知
浏览 2提问于2017-02-01得票数 0
我是Hadoop / Pig的新手，我刚刚开始阅读文档。
有很多关于在集群模式下安装Hadoop的博客。
我知道Pig运行在Hadoop之上。
我的问题是: Hadoop安装在所有集群节点上。
我是应该在所有集群节点上也安装Pig，还是只在主节点上安装Pig？
浏览 3提问于2018-06-11得票数 0
我使用OpenTSDB over HBase (虚拟盒上的伪分布式Hadoop )在非常高的负载下发送数据(~ 5万条记录/秒)。这个系统正常工作了一段时间，但它突然崩溃了。我终止了OpenTSDB和HBase。不幸的是，我再也不能提起他们了。每次我试图运行HBase和OpenTSDB时，他们都会显示错误日志。在这里，我列出了日志：
区域服务器：
2015-07-01 18:15:30,752 INFO [sync.3] wal.FSHLog: Slow sync cost: 112 ms, current pipeline: [192.168.56.101:50010]
2015-07-0
浏览 4提问于2015-07-01得票数 12
回答已采纳
我想直接从spark worker读取Рadoop中的一些数据： 所以，在spark程序中，我有一个hadoop配置：val configuration = session.sparkContext.hadoopConfiguration，但我不能在worker中使用它，因为它不是Serializable spark.sparkContext.parallelize(paths).mapPartitions(paths => {
for (path <- paths) yield {
//for example, read the parquet fo
浏览 7提问于2019-10-09得票数 1
1回答
我已经安装了xubuntu，并在我的学院使用这个指南使它成为一个文件服务器。如何构建自己的文件服务器
好吧，我对这些东西很陌生，但我想知道几件事？
1)据我所知，这台机器在我的大学里，并有一个本地静态IP分配给它。我怎么才能从外面的任何地方进入那台机器呢？(港口运输？但如何做到这一点？)
2)在上面安装了proftpd，但不知道如何使用它？
3)如何远程访问该机器？现在，我只能使用putty访问shell。
4)我如何最大限度地利用它？这台机器有一条专门的54 MBps线。
浏览 0提问于2013-03-30得票数 0
使用strat-all.sh启动Hadoop时，出现以下错误：
2012-06-28 19:51:56,655 FATAL org.apache.hadoop.mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: localhost:54311
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:147)
at org.apache.hadoop.net
浏览 1提问于2012-06-29得票数 1
我在两个节点(主节点和从节点)上安装了Hadoop。我会问是否可以从Slave machine运行Map/Reduce作业，或者从Slave Machine使用HDFS。从主节点运行map/reduce作业没有问题，但当我尝试从Slave节点运行Map/Reduce作业时，出现以下错误。
Java.net.connectionException在连接异常时失败。
浏览 0提问于2011-12-04得票数 1
2回答
我在运行hive时遇到以下错误。我正在使用默认的derby db。
我正在使用以下hadoop版本
root@edmg-u10:~/dse-1.0.1/bin# dse hadoop version
Hadoop 0.20.204.1-dse1-SNAPSHOT
Subversion git://ip-10-98-83-84/ on branch (no branch) -r e44f689b34165e7909e7c7c48c7f1a5a9171e8c7
Compiled by hudson on Thu Nov 3 16:05:34 EDT 2011
hive> show t
浏览 0提问于2012-01-10得票数 3
我在mac os上使用brew安装了Spark3.0，它是用Hadoop3.2预置的。我可以运行火花-shell命令，但在运行hadoop命令时得到的命令没有找到错误。
如果在安装了上面的hadoop之后，我必须单独安装hadoop，这是否意味着我的系统上安装了两个版本的hadoop？或者，我必须卸载用hadoop预先构建的星星之火，然后重新安装没有hadoop的星星之火，并想出如何将火花连接到hadoop？
浏览 1提问于2020-07-23得票数 0
回答已采纳
如何在配置单元嵌入模式下运行此查询(1)
select product,count(*) as cnt from hive_bigpetstore_etl group by product
在maven控制台中，我得到了一个InvocationTargetException异常
在配置单元日志文件中，我发现
java.lang.Exception: java.lang.NullPointerException
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:354)
Caused by: java
浏览 0提问于2014-01-07得票数 1
我正在经历我在标题中提到的问题，我真的不知道如何解决它。我尝试了许多相关的答案，提供了解决方案，论坛等，但我无法沉默它。
我有一个EC2 Ubuntu 16机器(RAM ~32 16，ROM ~70 16，8核)运行一个独立的Spark。下面我展示了我的总体配置。
星星之火-env.sh
. . .
SPARK_PUBLIC_DNS=xx.xxx.xxx.xxx
SPARK_MASTER_PORT=7077
. . .
/etc/主机
127.0.0.1 locahost localhost.domain ubuntu
::1 locahost localhost.domain ubuntu
浏览 3提问于2017-08-19得票数 0
回答已采纳
3回答
[hadoop@worker-18 tmp]$ ./sysupdate
-bash: ./sysupdate: Operation not permitted
[hadoop@worker-18 tmp]$ chmod +x ./sysupdate
[hadoop@worker-18 tmp]$ ./sysupdate
-bash: ./sysupdate: Operation not permitted
[hadoop@worker-18 tmp]$ sudo ./sysupdate
sudo: unable to execute ./sysupdate: Operation not per
浏览 29提问于2020-05-08得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
