使用代码扩展spark worker节点
使用代码扩展Spark Worker节点是指通过编写代码来增加Spark集群中的Worker节点数量，以提高集群的计算能力和处理能力。下面是一个完善且全面的答案：
概念： Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。Worker节点是Spark集群中的计算节点，负责执行任务和处理数据。
分类： 根据集群规模和需求，可以将Worker节点分为主节点和从节点。主节点负责协调整个集群的工作，而从节点负责执行具体的任务。
优势： 使用代码扩展Spark Worker节点具有以下优势：
- 提高集群的计算能力：增加Worker节点可以增加集群的计算资源，从而加快任务的执行速度。
- 提高集群的处理能力：增加Worker节点可以增加集群的处理能力，从而能够处理更大规模的数据。
- 提高集群的容错性：增加Worker节点可以提高集群的容错性，当某个节点发生故障时，其他节点可以接管任务的执行。
应用场景： 使用代码扩展Spark Worker节点适用于以下场景：
- 大规模数据处理：当需要处理大规模数据时，可以通过增加Worker节点来提高集群的处理能力。
- 高并发计算：当需要进行高并发计算时，可以通过增加Worker节点来提高集群的计算能力。
- 提高任务执行速度：当需要加快任务的执行速度时，可以通过增加Worker节点来提高集群的计算能力。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了一系列与Spark相关的产品和服务，可以帮助用户扩展Spark Worker节点。以下是其中几个推荐的产品和产品介绍链接地址：
- 腾讯云弹性MapReduce（EMR）：EMR是一种大数据处理和分析服务，可以快速构建和扩展Spark集群。详情请参考：https://cloud.tencent.com/product/emr
- 腾讯云容器服务（TKE）：TKE是一种容器管理服务，可以方便地扩展Spark Worker节点。详情请参考：https://cloud.tencent.com/product/tke
- 腾讯云云服务器（CVM）：CVM是一种弹性计算服务，可以提供高性能的计算资源来扩展Spark Worker节点。详情请参考：https://cloud.tencent.com/product/cvm
注意：以上推荐的产品和链接仅供参考，具体选择应根据实际需求和情况进行决策。
相关·内容
2回答
Docker群尺度
、、、
我有一个用docker-swarm构建的集群，我们在其中运行apache spark应用程序。在集群中，我有一个管理器节点和3个worker nodes.In这个集群，我们有一个spark的主容器和许多worker容器。我可以使用以下命令扩展工作节点的数量。
sudo docker service scale spark_worker=<number of workers>
当我增加worker的数量时，我希望在worker节点上创建新的容器，而不是在管理器节点上。
浏览 0提问于2018-06-19得票数 2
最近我发现自己有点困惑于不同的火花设置-- spark.executor.memory，SPARK_WORKER_MEMORY，SPARK_MEM，SPARK_MASTER_MEMORY，以及与SPARK_WORKER_INSTANCES和SPARK_WORKER_CORES的关系。
我发现了这篇文章，但它没有讨论SPARK_MASTER_MEMORY
浏览 1提问于2014-10-30得票数 9
回答已采纳
编辑1:在工作节点上尝试使用network_mode: host，结果相同
我正在建立一个多节点多码头星火集群，在独立的配置：
1节点，具有1个火花主节点和X工作人员
docker-为master+worker节点编写：
version: '2'
services:
spark:
image: bitnami/spark:latest
environment:
- SPARK_MODE=master
ports:
- '8080:8080'
- '4040:4040'
浏览 8提问于2022-07-02得票数 0
我的星星团共有6个节点。每个节点有5个核心和32 of内存，其中一个节点(节点4)有8个核心和32 of内存。
所以我总共有6个节点-28个核心，192 to内存。(我想使用一半的内存，但所有的核心)
计划在集群上运行5个星火应用程序。
我的spark_defaults.conf如下：
spark.master spark://***:7077
spark.eventLog.enabled false
spark.driver.memory 2g
worker_max_heapsize
浏览 1提问于2016-10-23得票数 2
回答已采纳
我使用了以下步骤在Windows中使用独立模式集群配置spark，
步骤1:从下面的http://www.apache.org/dyn/closer.cgi/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.4.tgz链接下载spark注意:我已经安装了Hadoop2.5.2和Scala2.10.4
步骤2:将星星之火-1.3.1-bin-hadoop2.4.tgz放在F:/目录中
步骤3:使用以下命令Tar -xf spark 1.3.1-bin-hadoop2.4.tgz解压缩该文件
步骤4:使用以下命令设置环境变量以创建SPARK环境
浏览 1提问于2015-04-22得票数 4
因此，我试图通过下面的链接在ubuntu上安装ApacheSpark1.2.1独立集群。
但是，我使用了两台不同的机器，而不是从VmWare工作站的主服务器中克隆从服务器。
我已经声明了火花-env.sh中的下列变量
# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
export SPARK_MASTER_IP=<master-node IP>
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default
浏览 3提问于2015-11-15得票数 0
回答已采纳
1回答
无法访问的星火web用户界面
、、、、
我已经在12个节点(在集群独立模式下)上安装了spark2.0.0，当我启动它时，我得到如下信息：
./sbin/start-all.sh
启动/home/mName/fer/spark-2.0.0-bin-hadoop2.7/logs/spark-mName-org.apache.spark.deploy.master.Master-1-ibnb25.out，登录到org.apache.spark.deploy.master.Master
localhost192.17.0.17: ssh:无法解析主机名localhost192.17.0.17:名称或服务未知
192.17.0.20:启动
浏览 2提问于2016-08-30得票数 1
3回答
我目前正在使用apache进行记录器分析。我是阿帕奇·斯派克的新手。我尝试过使用apache独立模式。我可以通过在客户机上提交具有部署模式的jar来运行我的代码。但是我不能运行多节点集群。我曾经用过工人节点是不同的机器。
sh spark-submit --class Spark.LogAnalyzer.App --deploy-mode cluster --master spark://rishon.server21:7077 /home/rishon/loganalyzer.jar "/home/rishon/apache-tomcat-7.0.63/LogAnalysisBack
浏览 3提问于2015-10-20得票数 0
下面是我的星火主UI，它显示了一个注册员工。我试图使用以下提交脚本在集群上运行sparkPi应用程序
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://159.8.201.251:7077 \
/opt/Spark/spark-1.2.1-bin-cdh4/lib/spark-examples-1.2.1-hadoop2.0.0-mr1-cdh4.2.0.jar \
1
但是它不断地发出以下警告，并且从未完成执行：
WARN TaskSchedulerImpl
浏览 1提问于2015-05-01得票数 2
回答已采纳
我在试验在独立模式下运行火花。主节点和工作节点在主机os上启动并运行。
我正在尝试启动一个码头容器，以作为一个工作节点运行。主机os为ubuntu18.04 64位。容器Dockerfile如下所示，它将运行高寒linux。
### Dockerfile for creating images of spark worker
#set the base image as alpine-java
# headless openjdk8.
FROM anapsix/alpine-java
#install few required dependencies in the alpi
浏览 0提问于2018-08-05得票数 0
回答已采纳
3回答
启动Apache星系团
、、、
我已经在我的四个节点集群上安装了Hadoop。我还在其中的每一个上安装了Apache。我可以在没有密码的情况下从主人那里进入每个奴隶。我也可以很好地启动我的主节点。但是，当我尝试使用/opt/start/sbin/start-all.sh运行Spark时，我会得到以下错误：
starting org.apache.spark.deploy.master.Master, logging to /opt/spark/logs/spark-hduser-org.apache.spark.deploy.master.Master-1-lebron.out
doublet: chown: changin
浏览 9提问于2016-10-19得票数 4
回答已采纳
2回答
我试图使用星星之火在Kubernetes集群(现有的设置: emr +纱线)。我们的用例是处理太多的工作，包括短暂的工作(几秒钟到15分钟)。此外，我们有高峰时间，许多工人需要运行以处理同时运行的1000多个作业。
所以我想要实现的是，管理大师和固定少数工人(比如说5)，并在高峰时间将工人增加到40-50人。另外，我更喜欢使用动态分配。
我把它设为下面
主图像(火花母版:x)
FROM <BASE spark 3.1 Image build using dev/make-distribution.sh -Pkubernetes in spark>
ENTRYPOIN
浏览 2提问于2021-01-08得票数 4
在Spark独立模式下，当我使用start-slave.sh spark://master:7077启动一个worker时，我可以通过--host [host]指定worker监听的主机。如果一个人有多个worker，这是不实际的。
如何在不逐个启动的情况下使工作进程以指定的主机名出现在主WebUI中？有没有它的环境变量？或者我可以以某种方式将特定于worker的参数传递给启动脚本(start-slaves.sh)？
例如：
conf/slaves：
worker1
worker2
worker3
该集群由start-all.sh启动，并应具有与相同的效果(请注意-h参数)：
ssh work
浏览 0提问于2017-05-24得票数 1
提前道歉，因为我是新来的火花。我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。
我正在编写一个应用程序，并使用SparkSession.builder将其连接到集群(我不想使用spark- submit提交它)。
我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'SPARK_WORKER_MEMORY‘和'SPARK_WORKER_CORES’
我的问题是:如何配置主服务器的属性？因为此文件中没有'SPARK_MASTER_CORES‘或&#
浏览 10提问于2017-07-26得票数 1
回答已采纳
1回答
我使用的是容器，它基于容器。
我如何解决这个异常：
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/README.md
Main.java
context = new SparkContext(
new SparkConf()
.setAppName("Test App")
.setMaster("spark://s
浏览 0提问于2018-08-08得票数 0
1回答
日志文件spark-hadoop-org.apache.spark.deploy.master.Master-1-master.outis中的信息如下：
在日志文件spark-hadoop-org.apache.spark.deploy.worker.Worker-1-master.out中，它写道：
请帮帮忙。我的spark版本是:spark-1.6.0-bin-2.6.0 hadoop.tgz Scala版本是:2.10.5 Hadoop版本是:2.6.0
浏览 3提问于2016-02-23得票数 0
1回答
我有一个3节点集群的单服务器，总核心是72。
Node 1 - cassandra + spark master + 1 spark worker
Node 2 - cassandra + 1 spark worker
Node 2 - cassandra + 1 spark worker
但是每个火花工作者只需要两个执行者。
SparkSession spark = SparkSession.builder().appName("CassandraSparkJavaDemo")
.config("spark.cassandra.conn
浏览 0提问于2018-02-26得票数 1
我正在计划一个新的星火簇。我的问题是，我是否需要在所有数据节点上安装spark worker节点？例如，如果我有50个数据节点，而我只安装了10个spark worker节点，这是否合理？谢谢!
浏览 3提问于2016-05-11得票数 1
1回答
未找到程序集
、、、、
获得以下异常。我确保在该位置有jars，并以root权限运行作业。
ERROR [ExecutorRunner for app-20170509111035-0004/19686] 2017-05-09 11:11:19,267 SPARK-WORKER Logging.scala:95 - Error running executor
java.lang.IllegalStateException: No assemblies found in '/usr/apps/cassandra/dse/resources/spark/lib'.
at org.apac
浏览 2提问于2017-05-10得票数 0
我有两个节点，让我们调用A(192.168.2.100)和B(192.168.2.200)。A是给主人和工人的。在节点中
./bin/spark-class org.apache.spark.deploy.worker
./bin/spark-class org.apache.spark.deploy.master
B是给一个烤工的
./bin/spark-class org.apache.spark.deploy.worker
我的应用程序需要加载cav文件在节点A中处理，
./spark-submit --class "myApp" --master spark://192
浏览 4提问于2016-03-25得票数 0
回答已采纳
我正在尝试使用一个主节点和几个工作节点在集群上调试Spark应用程序。我已经成功地使用Spark独立集群管理器设置了主节点和工作节点。我下载了包含二进制文件的spark文件夹，并使用以下命令设置工作节点和主节点。这些命令是从spark目录执行的。
用于启动主机的命令
./sbin/start-master.sh
启动worker节点的命令
./bin/spark-class org.apache.spark.deploy.worker.Worker master-URL
用于提交申请的命令
./sbin/spark-submit --class Application --master URL
浏览 0提问于2015-03-17得票数 21
当我启动一个Spark作业时，我会找到Executor启动命令行，如下所示：
bin/java -cp /opt/conf/:/opt/jars/* -Xmx1024M -Dspark.driver.port=56559
org.apache.spark.executor.CoarseGrainedExecutorBackend
--driver-url spark://CoarseGrainedScheduler@10.1.140.2:56559
--executor-id 1 --hostname 10.1.140.5 --cores 2
--app-id app-20161221
浏览 0提问于2016-12-22得票数 0
在spark-env.sh中，可以配置以下环境变量：
# - SPARK_WORKER_MEMORY, to set how much memory to use (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=22g
[...]
# - SPARK_MEM, to change the amount of memory used per node (this should
# be in the same format as the JVM's -Xmx option, e.g. 300m or 1g)
export SPARK_MEM=3
浏览 0提问于2013-06-18得票数 9
回答已采纳
我正在尝试使用spark执行一个简单的应用程序示例代码。使用spark submit执行作业。spark-submit --class "SimpleJob“--master spark://:7077 target/scala-2.10/simple-project_2.10-1.0.jar
15/03/08 23:21:53 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/03
浏览 2提问于2015-03-09得票数 0
我已经安装了ApacheSpark1.5.2(用于Hadoop 2.6+)。我的集群包含以下硬件：
主处理器:12个CPU核心和128 GB内存
Slave1: 12个CPU核心和64 GB内存
Slave2: 6个CPU核心和64 GB内存
实际上，我的奴隶文件有两个条目：
slave1_ip
slave2_ip
因为我的主人也有一个非常“强”的硬件，所以它不会只被主线程使用。因此，我想问一问，是否有可能从主计算机向第三个工作实例提供一些CPU核心和RAM .？谢谢!
首次尝试解决问题
在Jacek Laskowski的回答之后，我设置了以下设置：
spark-defa
浏览 9提问于2015-12-01得票数 3
我有一个2节点星火集群，每个节点有4个核心.
MASTER
(Worker-on-master) (Worker-on-node1)
火花配置：
奴隶:主人，node1
SPARK_WORKER_INSTANCES=1
我试图理解星火的paralellize行为。sparkPi示例具有以下代码：
val slices = 8 // my test value for slices
val n = 100000 * slices
val count = spark.parallelize(1 to n, slices).map { i
浏览 4提问于2014-09-05得票数 12
回答已采纳
如何在使用独立群集管理器时配置SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES的核心数量。
浏览 10提问于2020-08-26得票数 0
1回答
我正在以以下方式提供Google集群：gcloud dataproc clusters create spark --async --image-version 1.2 \ --master-machine-type n1-standard-1 --master-boot-disk-size 10 \ --worker-machine-type n1-highmem-8 --num-workers 4 --worker-boot-disk-size 10 \ --num-worker-local-ssds 1
在yarn-cluster模式下启动星火应用程序
spark.driver
浏览 2提问于2017-12-28得票数 0
回答已采纳
运行sparkling-shell时：
bin/sparkling-shell
出现以下错误：
org.apache.spark.SparkException: Asked to launch cluster with 2048 MB RAM / worker but requested 20480 MB/worker
我们在spark-env.sh中设置了如下内容：
export SPARK_WORKER_MEMORY=108GB
export SPARK_WORKER_INSTANCES=4
以及spark-defaults.conf中的以下内容：
spark.executor.memor
浏览 1提问于2016-04-07得票数 1
1回答
我尝试使用本地Ubuntu虚拟机作为master，使用远程Ubuntu虚拟机作为worker来构建spark集群。由于本地虚拟机在virtualbox中运行，为了使远程来宾能够访问它，我将虚拟机的7077端口转发到主机的7077端口。我以如下方式开始掌握：
./sbin/start-master.sh -h 0.0.0.0 -p 7077
我让它在0.0.0.0上侦听，因为如果我使用默认的127.0.1.1，远程来宾将无法连接到它。我通过在远程机器上执行以下命令来启动worker：
./bin/spark-class org.apache.spark.deploy.worker.Worker
浏览 1提问于2016-02-26得票数 5
我们在所有节点上拥有全部6台机器、hdfs和yarn服务，1个主机和6个从机。我们在3台机器上安装Spark，1个master，3个worker(1个node master + worker)。我们知道当--master spark://[host]:[port]时，作业将只运行3个节点使用独立模式。当使用spark-submit --master yarn提交jar时，它会使用所有6个服务器的cpu和内存，还是只使用3个spark worker节点机器？如果可以运行所有6个节点，那么剩下的3个服务器怎么知道它是Spark作业呢？
Spark: 2.3.1 Hadoop: 2.7.3
浏览 19提问于2019-07-26得票数 0
在Compute Engine上使用4个实例，每个运行的spark都使用Cloudera Manager设置。我在本地浏览器中启动主服务器并进行连接没有任何问题，它以spark://instance-1:7077的形式连接。当我在其余实例上启动start-slave时，我没有得到任何错误，直到我查看了日志：
16/05/02 13:10:18 INFO worker.Worker: Started daemon with process name: 12612@instance-2.c.cluster1-1294.internal
16/05/02 13:10:18 INFO worker.W
浏览 1提问于2016-05-03得票数 0
1回答
在过去的3天中，我尝试安装一个带有3个组件的Docker机器:一个火花公子，一个火花工人和一个驱动程序(Java)应用程序
当司机从码头出发时，一切正常。然而，启动这三个组件将导致端口防火墙主机噩梦。
为了保持(一开始)的简单性，我使用了docker这是我的docker-compose.yml：
driver:
hostname: driver
image: driverimage
command: -Dexec.args="0 192.168.99.100" -Dspark.driver.port=7001 -Dspark.driver.host=driver -
浏览 2提问于2016-01-15得票数 2
回答已采纳
我是一个初学者，想学习spark。我正在使用spark-shell，并做了一些实验以获得快速的结果，我想从spark worker节点获得结果。
我总共有两台机器，其中一台机器上有一个驱动程序和一个工人，另一台机器上有另一个工人。
当我想要获取计数时，结果并不是来自两个节点。我有一个JSON文件要读取并进行一些性能检查。
代码如下：
spark-shell --conf spark.sql.warehouse.dir=C:\spark-warehouse --master spark://192.168.0.31:7077
val sqlContext = new org.apache.spa
浏览 1提问于2017-08-10得票数 3
我想对数据集进行重新分区，然后将其写入目标路径。然而，由于DiskPressure，我的pods被驱逐了。Spark只显示它丢失了一个worker，但当我在OpenShift控制台中看到events时，我看到pod(worker)已被驱逐。
下面是我重新划分分区的方式：
df = df.repartition("created_year", "created_month", "created_day")
df.write.partitionBy("created_year", "created_month", &#
浏览 0提问于2020-08-12得票数 1
我正在尝试运行一个SparkPi示例的简单执行。我启动了主程序和一个工作人员，然后在本地的“集群”上执行了作业，但最终得到了一系列的错误，这些错误都以
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398
最初，我尝试在没有配置的情况下运行我的主程序和工作程序，但结果却出现了同样的错误。我试图将其更改为127.0.0.1，以测试它是否只是防火墙问题，因为服务器是从外部世界锁定的。
我的conf/spark-c
浏览 1提问于2014-03-02得票数 8
回答已采纳
我无法配置YARN和Spark来利用我在GCP上的Dataproc Spark集群上的所有资源。 我正在运行1个master (4个核心)和2个worker (16个核心)集群，我希望我的Spark应用程序使用worker实例上可用32个核心中的30个。但是当我查看YARN UI时，它显示只使用了5个内核。当我查看Spark Executors UI时，它显示正在使用20个内核。当我查看工作进程上的CPU活动时，几乎没有任何活动。 我完全糊涂了。请帮帮忙。 创建Dataproc集群的命令： gcloud dataproc clusters create default-cluster \
浏览 35提问于2020-04-07得票数 4
我已经在主机和2个工人上安装了Spark。每个worker的原始核心数是8。当我启动主机时，worker可以正常工作，没有任何问题，但问题是在Spark GUI中每个worker只分配了2个核心。 亲切地，我怎样才能增加每个工人工作的8个核心的核心数量？
浏览 8提问于2019-12-05得票数 2
回答已采纳
~/spark/spark-2.1.1-bin-hadoop2.7/bin$ ./spark-submit --master spark://192.168.42.80:32141 --deploy-mode cluster file:///home/me/workspace/myproj/target/scala-2.11/myproj-assembly-0.1.0.jar
Running Spark using the REST application submission protocol.
Using Spark's default log4j profile: org/ap
浏览 4提问于2017-06-20得票数 6
2回答
我正在集群上运行一个spark simple程序：
val logFile = "/home/hduser/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile).cache()
val numAs = logData.filter(line => line.con
浏览 0提问于2015-10-28得票数 0
我正在运行一项工作，其中我结合了维基百科和维基百科的页面浏览量，并且我正在使用一个由两到三个节点组成的小型google集群。我的问题是，大多数时候，一个节点是完全空闲的，尽管我在开始作业之前尝试通过将数据分区到多个分区来提高并行度。此外，我根据Spark的parallelism参数对数据进行重新分区，但无论我尝试什么，都只有一个节点在使用中。
我最后的努力是下面的脚本，它没有做太多的事情。它提高了工作节点的性能，但空闲节点仍然空闲。
我用来运行作业的脚本如下：
gcloud dataproc clusters create mycluster \
--zone europe-west1-b
浏览 6提问于2017-03-16得票数 0
我正在尝试将一个作业(python中的K意思集群)提交给我在EC2上独立的星星之火集群。它有18个节点。我正在使用最新版本的火花(1.4.0)。
我通过以下方式提交硕士的工作：
SPARK_WORKER_INSTANCES=30 SPARK_WORKER_CORES=4 SPARK_WORKER_MEMORY=30g SPARK_MEM=30g OUR_JAVA_MEM="30g“SPARK_DAEMON_JAVA_OPTS="-XX:MaxPermSize=30g - Xms30g -Xmx30g”./spark/bin/spark提交app.py -主SPARK_WORK
浏览 5提问于2015-06-17得票数 1
对于一个项目，我想通过一个网页运行星火。这里的目标是动态提交请求和状态更新。作为灵感，我使用了以下网站链接:当我请求时，在提交以下火花请求后，我将发送一个REST请求来检查火花提交：
星火作业提交的请求代码如下：
curl -X POST http://sparkmasterIP:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
"action" : "CreateSubmissionRequest",
浏览 2提问于2017-03-02得票数 0
我在远程Ubuntu机器上运行着一个Spark和Worker。
我正在尝试运行示例。但是当我从我的Windows机器提交到Linux集群时，我得到
C:/spark 1.6.0-bin-hadoop2.6/bin/spark提交-主火花://10.123.45.67:6066-部署模式集群-类com.company.spark.app.JavaDirectKafkaWordCount "C:/Dev/spark-app/target/spark-app-1.0-SNAPSHOT.jar“kafka-服务器:9092 topic1
使用REST应用程序提交协议运行Spark。使用spa
浏览 3提问于2016-02-11得票数 0
df = spark.read.parquet('xxx')
tmstmp = df['timestamp']
spark.conf.set("spark.sql.session.timeZone", "Singapore")
time_df = spark.createDataFrame([('tmstmp',)], ['unix_time'])
time_df.select(from_unixtime('unix_time').alias('ts')).col
浏览 1提问于2019-05-30得票数 1
我在Linux上使用Pyspark与Spark2.4的独立模式，使用木星笔记本(目前用于测试)通过Kafka处理大量传入的数据。我想将这些选项添加到这个笔记本中，以防止/tmp/目录在几个小时后填充数十in：
spark.worker.cleanup.enabled=true
spark.worker.cleanup.appDataTtl=120
但是，这些conf位置不起作用：
spark的默认配置(spark/conf/spark env.sh)似乎根本不被Juypter笔记本所使用：
SPARK_WORKER_OPTS="spark.worker.cleanup.enabled=
浏览 1提问于2021-03-30得票数 1
我在集群中以独立模式运行Spark (100台机器，每台计算机16个CPU核，每台机器32 GB RAM )。我在运行任何应用程序时都会指定SPARK_WORKER_MEMORY和SPARK_WORKER_CORES。
在星火程序设计中，我把它当作一个串行程序来编程，然后星火框架会自动并行任务，对吗？
当我使用SPARK_WORKER_CORES = 16运行程序时，我遇到了OOM崩溃。我再次尝试使用SPARK_WORKER_CORES = 4，程序成功地完成了。
当然，通过数据并行来开发多线程需要更大的内存，但我不知道我的Spark程序中的哪个功能是由多线程并行化的。所以我不知道哪个部门负责
浏览 2提问于2017-01-23得票数 0
回答已采纳
当我向standalone集群提交应用程序时，我遇到了这个异常。
奇怪的是，它来来去去了好几次。我已经将SPARK_LOCAL_IP设置为正确的ip地址。
但是我不明白为什么工作总是访问端口0
环境是：
vm1: 10.3.100.169，运行主备
vm2: 10.3.101.119，运行从站
有人遇到过这个问题吗？对如何解决有什么想法吗？
下面是命令行和spark-env.sh
bin/spark-submit --master spark://10.3.100.169:7077 --deploy-mode cluster --class ${classname} --driver-java
浏览 1提问于2015-12-15得票数 0
因此，我使用Spark来进行情感分析，并且我一直在使用序列化器(我认为)来传递python对象时出现错误。
PySpark worker failed with exception:
Traceback (most recent call last):
File "/Users/abdul/Desktop/RSI/spark-1.0.1-bin- hadoop1/python/pyspark/worker.py", line 77, in main
serializer.dump_stream(func(split_index, iterator), outf
浏览 0提问于2014-07-25得票数 7
我尝试从笔记本电脑启动bin/spark-shell和bin/pyspark，并在yarn-client模式下连接到Yarn集群，但我收到了相同的错误
WARN ScriptBasedMapping: Exception running
/etc/hadoop/conf.cloudera.yarn1/topology.py 10.0.240.71
java.io.IOException: Cannot run program "/etc/hadoop/conf.cloudera.yarn1/topology.py"
(in directory "/Users/euge
浏览 2提问于2015-07-14得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
