hadoop配置在spark worker中的使用
Hadoop配置在Spark Worker中的使用是指将Hadoop集群配置文件应用于Spark Worker节点，以便Spark作业可以与Hadoop集群进行交互和访问分布式存储系统。
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集并提供高可靠性、高性能和可扩展性。Spark是一个快速、通用的大数据处理引擎，提供了比Hadoop更高的性能和更丰富的功能。将Hadoop配置应用于Spark Worker节点可以使Spark作业充分利用Hadoop集群的资源和功能。
以下是将Hadoop配置应用于Spark Worker节点的步骤：
- 安装和配置Hadoop集群：在Hadoop集群中设置好所有必要的配置文件，包括core-site.xml、hdfs-site.xml、yarn-site.xml等。确保Hadoop集群可以正常工作。
- 安装和配置Spark集群：在Spark集群中设置好所有必要的配置文件，包括spark-env.sh、spark-defaults.conf等。确保Spark集群可以正常工作。
- 在Spark Worker节点上复制Hadoop配置文件：将Hadoop集群中的配置文件（core-site.xml、hdfs-site.xml等）复制到Spark Worker节点的相应目录中。这可以通过将配置文件复制到每个Worker节点的相同路径来实现。
- 配置Spark Worker节点的环境变量：在Spark Worker节点的spark-env.sh文件中，设置HADOOP_CONF_DIR环境变量为Hadoop配置文件所在的目录路径。这样Spark Worker节点在启动时会自动加载Hadoop的配置信息。
- 测试Spark与Hadoop的交互：在Spark集群中提交一个Spark作业，并验证作业是否能够与Hadoop集群进行交互和访问分布式存储系统（如HDFS）。可以通过执行读写HDFS文件或使用其他基于Hadoop的库进行操作来进行测试。
Hadoop配置在Spark Worker中的使用有以下优势和应用场景：
优势：
- 资源共享：通过将Hadoop配置应用于Spark Worker节点，Spark作业可以共享Hadoop集群的计算和存储资源，充分利用集群资源，提高作业的执行效率。
- 数据访问：Spark作业可以直接访问Hadoop分布式存储系统（如HDFS）中的数据，无需复制或移动数据，减少数据传输和存储成本。
- 生态系统整合：Hadoop和Spark都是大数据生态系统中常用的工具，它们之间的整合可以实现更复杂的数据处理和分析任务。
应用场景：
- 大规模数据处理：当需要处理大规模数据集时，可以使用Spark作业结合Hadoop集群进行分布式计算，加速数据处理速度。
- 复杂数据分析：Spark提供了丰富的数据处理和分析功能，通过与Hadoop集群的整合，可以实现复杂的数据分析任务，如机器学习、图计算等。
- 实时数据处理：Spark Streaming可以与Hadoop集群整合，实现对实时数据流的处理和分析，提供实时的洞察和决策支持。
腾讯云提供了一系列与Hadoop和Spark相关的产品和服务：
- 腾讯云弹性MapReduce（EMR）：提供托管式Hadoop集群服务，可方便地创建、配置和管理Hadoop集群。链接地址：https://cloud.tencent.com/product/emr
- 腾讯云TKE：容器服务，可在Kubernetes上运行Spark集群，实现大规模分布式计算。链接地址：https://cloud.tencent.com/product/tke
- 腾讯云CVM：云服务器，可用于搭建自己的Hadoop和Spark集群。链接地址：https://cloud.tencent.com/product/cvm
请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。
相关·内容
我使用的是独立集群模式1.5.2。
尽管我在spark-env.sh中设置了SPARK_WORKER_MEMORY，但这个设置似乎被忽略了。
我在bin/sbin下的脚本中找不到任何设置了-Xms/-Xmx的迹象。
如果我在worker pid中使用ps命令，它看起来像是设置为1G的内存
[hadoop@sl-env1-hadoop1 spark-1.5.2-bin-hadoop2.6]$ ps -ef | grep 20232
hadoop 20232 1 0 02:01 ? 00:00:22 /usr/java/latest//bin/java
-cp /wo
浏览 0提问于2016-01-13得票数 0
我想直接从spark worker读取Рadoop中的一些数据： 所以，在spark程序中，我有一个hadoop配置：val configuration = session.sparkContext.hadoopConfiguration，但我不能在worker中使用它，因为它不是Serializable spark.sparkContext.parallelize(paths).mapPartitions(paths => {
for (path <- paths) yield {
//for example, read the parquet fo
浏览 7提问于2019-10-09得票数 1
我正在尝试在一个新的ubuntu18.10VM上设置Spark (具体地说是pySpark)。我已经设置了Hadoop，SSH没有密码(localhost)，不同的名为hduser的用户，这是我在Hadoop中需要的。现在我已经在它旁边放置了Spark文件夹，并添加了bashrc的路径： export HADOOP_HOME=/usr/local/hadoop-3.1.2
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HAD
浏览 214提问于2019-04-14得票数 1
我们正在尝试使用ZK设置Spark HA设置。我们有2台主机用于Spark进程，另外3台用于Spark Slaves，spark HA的Master Machine中的配置如下在spark-env.sh中完成：
# - SPARK_DAEMON_JAVA_OPTS, to set config properties for all daemons (e.g. "-Dx=y")
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url
浏览 18提问于2016-09-07得票数 1
我使用了以下步骤在Windows中使用独立模式集群配置spark，
步骤1:从下面的http://www.apache.org/dyn/closer.cgi/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.4.tgz链接下载spark注意:我已经安装了Hadoop2.5.2和Scala2.10.4
步骤2:将星星之火-1.3.1-bin-hadoop2.4.tgz放在F:/目录中
步骤3:使用以下命令Tar -xf spark 1.3.1-bin-hadoop2.4.tgz解压缩该文件
步骤4:使用以下命令设置环境变量以创建SPARK环境
浏览 1提问于2015-04-22得票数 4
这是我的情况：
Apache spark版本2.4.4
Hadoop版本2.7.4
我的应用程序jar位于hdfs中。
我的spark-submit看起来像这样：
/software/spark-2.4.4-bin-hadoop2.7/bin/spark-submit \
--class com.me.MyClass --master spark://host2.local:7077 \
--deploy-mode cluster \
hdfs://host2.local:9000/apps/myapps.jar
我得到了这个错误：
Exception in thread "main&
浏览 0提问于2019-10-15得票数 0
我正在学习Spark，并希望运行由两台物理机器组成的最简单的集群。我已经完成了所有的基本设置，看起来还不错。自动启动脚本的输出如下所示：
[username@localhost sbin]$ ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/username/spark-1.6.0-bin-hadoop2.6/logs/spark-username-org.apache.spark.deploy.master.Master-1-localhost.out
localhost: sta
浏览 2提问于2016-02-16得票数 10
回答已采纳
1回答
日志文件spark-hadoop-org.apache.spark.deploy.master.Master-1-master.outis中的信息如下：
在日志文件spark-hadoop-org.apache.spark.deploy.worker.Worker-1-master.out中，它写道：
请帮帮忙。我的spark版本是:spark-1.6.0-bin-2.6.0 hadoop.tgz Scala版本是:2.10.5 Hadoop版本是:2.6.0
浏览 3提问于2016-02-23得票数 0
2回答
我将我的代码提交给一个星星之火的独立集群。提交命令如下所示：
nohup ./bin/spark-submit \
--master spark://ES01:7077 \
--executor-memory 4G \
--num-executors 1 \
--total-executor-cores 1 \
--conf "spark.storage.memoryFraction=0.2" \
./myCode.py 1>a.log 2>b.log &
我在上面的命令中指定执行器使用4G内存。但是使用top命令来监视executor进程，我注意到
浏览 3提问于2016-05-11得票数 9
16回答
如何在Spark中关闭信息记录？
、、、、
我使用亚马逊网络服务的EC2指南安装了Spark，我可以使用bin/pyspark脚本很好地启动程序，进入spark提示符，还可以成功地执行Quick Start quide。
然而，我无论如何也想不出如何在每个命令之后停止所有详细的INFO日志记录。
我已经在下面的代码中尝试了几乎所有可能的场景(注释掉，设置为OFF)，在我启动应用程序的conf文件夹中的log4j.properties文件中，以及在每个节点上，都没有任何效果。在执行每条语句之后，我仍然可以打印日志记录INFO语句。
我对这应该如何工作感到非常困惑。
#Set everything to be logged to the c
浏览 279提问于2014-08-08得票数 164
回答已采纳
4回答
如何配置蜂巢使用火花？
、、、
我在星火上使用蜂巢有问题。我已经在我的CentOS 6.5上通过Ambari安装了一个单节点HDP 2.1 (Hadoop2.4)。我试图在星火上运行蜂巢，所以我使用了下面的说明：
我已经下载了-version的“Hadoop2.4的预构建”，这是我在Apache官方网站上找到的。所以我开始学大师：
./spark-class org.apache.spark.deploy.master.Master
然后，该工人：
./spark-class org.apache.spark.deploy.worker.Worker spark://hadoop.hortonworks:7077
然后我用
浏览 4提问于2014-09-24得票数 4
回答已采纳
我想要更新我的hive表中的一些行。因为pyspark根本无法识别更新，所以我选择了DELETE和INSERT，但在DELETE操作上得到了"Operation not allowed“。
为了解决这个问题，我将表指定为orc，并尝试了这个站点上提到的其余要求：
我还设置了tableproperty "transactional"="true“。下面您将看到我如何尝试设置属性的一些代码
sqlCtx.sql("""SET spark.hadoop.hive.support.concurrency=true""")
浏览 17提问于2019-07-26得票数 0
1回答
我已经成功地设置了scala、Hadoop和spark并启动了主节点。我刚刚安装了scala & spark，也启动了worker(从)。所以我困惑的是，是否也应该在worker中设置Haddop来运行任务？
浏览 0提问于2016-04-14得票数 0
第一种情况：
我已经在ubuntu 14上下载了spark，但是当我在下面运行它的时候，结果就来了。无法正常启动并询问root用户密码。
root@sueeze-Lenovo-G580:~/Spark/spark-2.3.0-bin-hadoop2.6/sbin# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/sueeze/Spark/spark-2.3.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.master.M
浏览 16提问于2018-03-03得票数 0
1回答
因此，我有一个具有16个工作节点和一个主节点的火花独立集群。我使用spark_home/conf文件夹中主节点中的“start all.sh”命令启动集群。主节点有32 14和14 VCPUS，而我每个节点有16 14和8 VCPUS。我还有一个spring应用程序，当它启动时(使用java -jar app.jar)，它初始化星火上下文。Smack-env.sh文件是：
export SPARK_MASTER_HOST='192.168.100.17'
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=14000mb
浏览 1提问于2020-08-06得票数 1
回答已采纳
在使用Spark执行我的第一个步骤时，我遇到了从应用程序代码向集群提交作业的问题。在挖掘日志时，我注意到主日志中有一些周期性的警告消息：
15/10/08 13:00:00 WARN remote.ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkDriver@192.168.254.167:64014] has failed, address is now gated for [5000] ms. Reason: [Disassociated]
问题是ip地址在我们的网络上不存在，并且没有在
浏览 4提问于2015-10-08得票数 0
我正在尝试在spark-2.0.0-bin-hadoop2.7上配置Ubuntu 16.04.1 LTS。我已经准备好
export JAVA_HOME=/home/marc/jdk1.8.0_101
export SCALA_HOME=/home/marc/scala-2.11.8
export SPARK_HOME=/home/marc/spark-2.0.0-bin-hadoop2.7
export PATH=$PATH:$SCALA_HOME/bin:$JAVA_HOME/bin
在.bashrc的末尾，也包括在start-all.sh文件中的spark/sbin文件夹。
当我输入ec
浏览 3提问于2016-08-03得票数 10
回答已采纳
1回答
我是码头新手
对码头容器的概念有些困惑
我试着在齐柏林飞艇上使用下面这个网站的火花
这个网站我下载了zeppelin docker容器
现在我有了这个码头容器
1a8030d60105 bde2020/spark-worker:2.4.4-hadoop2.7 "/bin/bash /worker.sh" 13 days ago Exited (137) 12 days ago 8081/tcp spark-worker-1 <br/>
efbf74de4e87 bde2020/spa
浏览 2提问于2019-11-04得票数 0
2回答
我将火花流计算任务提交给我的独立星体群。提交命令如下所示：
./bin/spark-submit \
--master spark://ES01:7077 \
--executor-memory 4G --num-executors 1\
/opt/flowSpark/sparkStream/latest5min.py 1>a.log 2>b.log
请注意，我使用的是num- executor 1，因为我只需要一个执行器。
然后使用ps comand，我可以找到下面的输出。
[root@ES01 ~]# ps -ef | grep java | grep -v gre
浏览 1提问于2016-05-09得票数 0
回答已采纳
2回答
我正在星火独立集群中编程火花应用程序。当我运行以下代码时，我得到了下面的ClassNotFoundException(参考屏幕截图)。因此，我跟踪工人(192.168.111.202)日志。
package main
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object mavenTest {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("stream t
浏览 4提问于2016-03-24得票数 1
回答已采纳
2回答
我是spark的新手，我们在纱线上运行spark。我可以很好地运行我的测试应用程序。我正在尝试收集Graphite中的spark指标。我知道要对metrics.properties文件做什么更改。但是我的spark应用程序将如何查看这个conf文件呢？
/xxx/spark/spark-0.9.0-incubating-bin-hadoop2/bin/spark-class org.apache.spark.deploy.yarn.Client --jar /xxx/spark/spark-0.9.0-incubating-bin-hadoop2/examples/target/scala-2
浏览 0提问于2014-05-08得票数 6
当我尝试使用脚本start-all.sh启动spark时，它抛出一个错误，如下所示
> localhost: failed to launch: nice -n 0 bin/spark-class
> org.apache.spark.deploy.worker.Worker --webui-port 8081
> spark://dev-pipeline-west-eu.jwn4tgenexauzewylryxtm545b.ax.internal.cloudapp.net:7077
> localhost: at
> sun.launcher.Lau
浏览 1提问于2017-04-05得票数 2
在Google Colab中，当前目录是/myContent，该目录包含以下内容：
setup.py spark-2.4.5-bin-hadoop2.7.tgz trainer/
在trainer文件夹中，它有__init__.py task.py。task.py有我的Python代码，带有import pyspark
下面是setup.py中安装spark依赖文件的代码片段：
from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['spark-
浏览 1提问于2020-05-18得票数 0
当我运行星火提交时，它抛出错误，指示文件系统中没有如下所示的文件。
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/user/sclee/clustering2/mapTemplate_micron
我认为我的文件在hdfs上，而不是在我的本地系统中。我发现我的hadoop配置文件配置正确，如下所示
<property>
<name>fs.defaultFS</name>
&l
浏览 1提问于2017-11-22得票数 3
回答已采纳
我在独立集群管理器中使用Spark1.5.1。星火的默认spark-assembly-1.5.1-hadoop2.6.0.jar包括Avro1.7.7。我想使用我的自定义Avro库来完成我所有的星火作业，让我们称之为Avro 1.7.8。这在开发模式(master=local*)中工作得很好。但是，当我以客户端模式将我的应用程序提交到集群时，执行者仍然使用Avro 1.7.7库。
URL url = getClass().getClassLoader().getResource(GenericData.class.getName().replace('.','/'
浏览 0提问于2016-03-24得票数 1
我得到了下面的错误。Spark_local_dir已设置，并具有足够的空间和inode。
java.io.IOException: No space left on device
at java.io.FileOutputStream.writeBytes(Native Method)
at java.io.FileOutputStream.write(FileOutputStream.java:326)
at org.apache.spark.storage.TimeTrackingOutputStream.write(TimeTrackin
浏览 1提问于2016-05-03得票数 1
1回答
我想在火花作业中使用Kryo序列化。
public class SerializeTest {
public static class Toto implements Serializable {
private static final long serialVersionUID = 6369241181075151871L;
private String a;
public String getA() {
return a;
}
public void setA(Strin
浏览 3提问于2015-09-21得票数 1
回答已采纳
我们已经生成了一个Jar的Spark引导应用程序。
./spark-submit --class com.recordlinkage.coreTest.IntegratedRecordLinkageTest
--deploy-mode cluster
--master spark://UCSL-GKL-HDP-02:6066/home/hadoop/spark-2.1.0-bin-hadoop2.7/bin/AIRecordLinkage.jar
在系统中运行时没有出现错误，我们在将其导出到jar之前开发了。当
浏览 4提问于2017-04-21得票数 3
1回答
如何:火花纱簇
、、
我已经安装了一个hadoop集群，其中有3台机器，一台主计算机和2台从机。
SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true sbt/sbt clean assembly
添加了HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop火花-env.sh
Then i ran SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar HADOOP_CONF_DIR=/usr/local/hadoop/etc/hado
浏览 1提问于2014-10-23得票数 0
回答已采纳
我想将Spark Standlone模式安装到包含两个虚拟机的集群中。
使用spark-0.9.1-bin-hadoop1版本，我在每个vm中成功地执行了spark-shell。我遵循，使一个vm(ip:xx.223)同时作为主虚拟机和工作者虚拟机，并使另一个虚拟机(ip:xx.224)仅作为工作者虚拟机。
但是224-ip虚拟机不能连接223-ip虚拟机。下面是223( master )的主日志：
[@tc-52-223 logs]# tail -100f spark-root-org.apache.spark.deploy.master.Master-1-tc-52-223.out
Spa
浏览 3提问于2014-04-14得票数 13
2回答
我有一个关于纱线簇的问题
我在localhost上运行hdfs-namenode，hdfs-datanode，yarn，然后在localhost上运行一个spark-master和一个spark-worker，如下所示：
$ jps
5809 Main
53730 ResourceManager
53540 SecondaryNameNode
53125 NameNode
56710 Master
54009 NodeManager
56809 Worker
53308 DataNode
56911 Jps
我可以看到spark-worker链接到spa
浏览 0提问于2016-10-12得票数 0
1回答
我是星火(3.0.0_preview)和斯卡拉(SBT)的新手。我编写了一个火花流作业，可以在本地IDE上成功运行
现在，我正在寻找一种修改代码的方法，这样我就可以使用构建星星体集群的docker来运行它了。
我的船坞-写作：
version: "3.3"
services:
spark-master:
image: rd/spark:latest
container_name: spark-master
hostname: spark-master
ports:
- "8080:8080"
- "70
浏览 3提问于2020-01-07得票数 0
2回答
我们只是在尝试星火，结果证明很慢。为了说明我的意思，我给出了下面的一个例子--在一个包含HDFS 10行的文本文件中加载Spark需要将近2秒的时间，并计算行数。我的问题：
这是意料之中吗？你的站台需要多长时间？
有什么可能的想法吗？目前，我正在两个节点Hadoop集群上使用Spark1.3(都是8核，64 G RAM)。谈到Hadoop和Spark，我非常绿色，所以除了Ambari/HDP默认设置之外，我做了很少的配置。
最初，我在一亿行上进行测试--星火只需10分钟就能计算出来。
示例：
创建10个数字的文本文件，并将其加载到hadoop中：
for i in {1..10
浏览 2提问于2015-11-24得票数 5
1回答
我有docker-compose.yml与下面的图像和配置 version: '3'
services:
spark-master:
image: bde2020/spark-master:2.4.4-hadoop2.7
container_name: spark-master
ports:
- "8080:8080"
- "7077:7077"
environment:
- INIT_DAEMON_STEP=setup_spark
spark-worker-1:
浏览 15提问于2019-12-08得票数 1
7回答
我使用它作为文档建议的
spsark版本1.1.0
./spark/bin/spark-submit --py-files /home/hadoop/loganalysis/parser-src.zip \
/home/hadoop/loganalysis/ship-test.py
以及代码中的conf：
conf = (SparkConf()
.setMaster("yarn-client")
.setAppName("LogAnalysis")
.set("spark.executor.memory&
浏览 0提问于2014-12-25得票数 22
通过定义不同的端口，我希望在同一台机器上启动两个主机，但它失败了：
$ $SPARK_HOME/sbin/start-master.sh --port 8001 --webui-port 8011
starting org.apache.spark.deploy.master.Master, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandl-org.apache.spark.deploy.master.Master-1-scicomp-mac-12.local.out
$ $SPARK_HOME/s
浏览 0提问于2017-09-06得票数 1
我正在尝试使用这个docker-compose创建一个只有一个工人的分布式spark集群
master:
image: gettyimages/spark:2.0.0-hadoop-2.7
command: bin/spark-class org.apache.spark.deploy.master.Master -h master
hostname: master
container_name: spark-master
environment:
SPARK_CONF_DIR: /conf
SPARK_PUBLIC_DNS: <MASTER
浏览 0提问于2018-09-19得票数 3
1回答
我在VM上有一个ClouderaCdh5.3快速启动程序。我在运行星火有问题。我已经走过了那些台阶..。运行exapmle这个词就成功了。但是当我去找主人(quickstart.cloudera:18080)的时候，那里没有工人-- cores=0，memory=0.当我去(quickstart.cloudera:18081)时，有一个工人。我的问题是如何增加工人？在出口STANDALONE_SPARK_MASTER_HOST中我应该输入什么？
这是火花-env.sh：
#Change the following to specify a real cluster's Master h
浏览 3提问于2015-04-03得票数 1
回答已采纳
我已经安装了ApacheSpark1.5.2(用于Hadoop 2.6+)。我的集群包含以下硬件：
主处理器:12个CPU核心和128 GB内存
Slave1: 12个CPU核心和64 GB内存
Slave2: 6个CPU核心和64 GB内存
实际上，我的奴隶文件有两个条目：
slave1_ip
slave2_ip
因为我的主人也有一个非常“强”的硬件，所以它不会只被主线程使用。因此，我想问一问，是否有可能从主计算机向第三个工作实例提供一些CPU核心和RAM .？谢谢!
首次尝试解决问题
在Jacek Laskowski的回答之后，我设置了以下设置：
spark-defa
浏览 9提问于2015-12-01得票数 3
3回答
启动Apache星系团
、、、
我已经在我的四个节点集群上安装了Hadoop。我还在其中的每一个上安装了Apache。我可以在没有密码的情况下从主人那里进入每个奴隶。我也可以很好地启动我的主节点。但是，当我尝试使用/opt/start/sbin/start-all.sh运行Spark时，我会得到以下错误：
starting org.apache.spark.deploy.master.Master, logging to /opt/spark/logs/spark-hduser-org.apache.spark.deploy.master.Master-1-lebron.out
doublet: chown: changin
浏览 9提问于2016-10-19得票数 4
回答已采纳
我做了一个测试，以比较火花和mapreduce的性能。我有三个节点集群，每个节点具有128内存。
我运行一个作业来计算一个10 job文件中的行数。
我用hadoop的默认配置使用mapreduce运行行计数作业。我只花了23秒钟。
当我在每个node.It运行8 8GB内存的火花外壳中运行行计数作业时，我需要6分钟以上的时间，这真的让我感到惊讶。
下面是启动火花壳的命令和火花作业的代码。
spark-shell --master spark://10.8.12.16:7077 --executor-memory 8G
val s= sc.textFile("hdfs://ns/al
浏览 3提问于2016-09-23得票数 2
回答已采纳
我正在尝试将一个用Scala编写的Spark项目从Spark1.2.1升级到1.3.0，因此我将build.sbt更改如下：
-libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.1" % "provided"
+libraryDependencies += "org.apache.spark" %% "spark-core" % "1.3.0" % "provided"
然后制作一个ass
浏览 1提问于2015-03-20得票数 7
回答已采纳
1回答
我用JDK1.7和Hadoop2.6.2构建了MonoSpark(基于Spark1.3.1)，使用这个命令(我编辑了我的pom.xml，让这个命令可以工作) ./make-distribution.sh --tgz -Phadoop-2.6 -Dhadoop.version=2.6.2 然后，我得到了一个名为'spark-1.3.1-SNAPSHOT-bin-2.6.2.tgz‘的tgz文件。我将tgz文件放在我的hadoop集群上，该集群有一个主服务器和4个从服务器。然后，我使用以下命令启动spark。 $SPARK_HOME/sbin/start-all.sh 火花工作得很好，
浏览 246提问于2019-03-31得票数 1
“我正在设置一个新的apache- setting 2节点集群”问题:从节点还没有开始。
首先，我没有编辑我的/etc/host文件，因为我想手动在我的机器上安装和启动。
在conf/从节点中，我在主节点和从节点目录中提供了单个从主机名。
我已经在SPARK_HOME中配置了不同的.bashrc路径。在主节点主机中，给出了主节点目录路径，在从节点主机上给出了从节点目录路径。
在每个主机.bashrc文件中包含所有细节之后。我试着启动集群。主节点正在启动，而不是从节点。我得到了下面的错误。
主节点在正确的进程中启动，但当ssh进入从主机后，它将弹出以下错误
slave-h
浏览 0提问于2019-08-04得票数 1
我在远程Ubuntu机器上运行着一个Spark和Worker。
我正在尝试运行示例。但是当我从我的Windows机器提交到Linux集群时，我得到
C:/spark 1.6.0-bin-hadoop2.6/bin/spark提交-主火花://10.123.45.67:6066-部署模式集群-类com.company.spark.app.JavaDirectKafkaWordCount "C:/Dev/spark-app/target/spark-app-1.0-SNAPSHOT.jar“kafka-服务器:9092 topic1
使用REST应用程序提交协议运行Spark。使用spa
浏览 3提问于2016-02-11得票数 0
我正在尝试更改spark写入临时文件的位置。我在网上找到的所有东西都说要通过设置spark-env.sh文件中的SPARK_LOCAL_DIRS参数来设置它，但我没有幸运地看到这些更改真正生效。
下面是我所做的：
亚马逊使用 EC2实例创建了一个2-worker测试集群。我使用spark 2.2.0和R sparklyr包作为前端。worker节点使用弹性伸缩组进行旋转。在/tmp/jaytest创建了一个存放临时文件的目录。在每个worker中有一个，在spark master计算机和两个worker中的master.Puttied中也有一个，导航到home/ubuntu/spark-2.2
浏览 188提问于2018-08-29得票数 6
在火花流作业中，我使用下面的代码片段将我的rdd数据保存到Hadoop的HDFS中的parquet文件中：
readyToSave.foreachRDD((VoidFunction<JavaPairRDD<Void, MyProtoRecord>>) rdd -> {
Configuration configuration = rdd.context().hadoopConfiguration();
Job job = Job.getInstance(configuration);
浏览 3提问于2017-06-14得票数 0
我们有一个在本地独立模式下运行良好的spark作业。我们已将其提交到aws EMR-5.0 (spark 2.0，hadoop 2.7.2)，并收到以下错误：
java.io.FileNotFoundException: File does not exist: hdfs://ip.us-west-2.compute.internal:8020/user/hadoop/.sparkStaging/application_1470941709244_0001/__spark_libs__3533384422462530422.zip
at org.apache.hadoop.hdfs.D
浏览 1提问于2016-08-16得票数 3
我正在尝试通过窗口上的spark提交我的spark-mongo代码jar，我在独立模式下使用spark。我在同一台机器上配置了spark master和两个worker。我想使用一个master和两个workers.I来执行我的jar。我正在尝试执行以下命令：spark-submit --master spark://localhost:7077 --deploy-mode cluster --executor-memory 5G --class spark.mongohadoop.testing3 G:\sparkmon1.jar
我面临以下错误：
Running Spark using
浏览 41提问于2017-02-28得票数 1
3回答
在Spark1.3.0中重新分区DataFrame之后，当保存到亚马逊的S3时，我会得到一个.parquet异常。
logsForDate
.repartition(10)
.saveAsParquetFile(destination) // <-- Exception here
我收到的例外是：
java.io.IOException: The file being written is in an invalid state. Probably caused by an error thrown previously. Current state: COLUMN
at
浏览 6提问于2015-04-30得票数 13
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
