我正在尝试用下面的代码计算每个executor中的核心数量：然而，我得到了这个错误：java.util.NoSuchElementException: spark.executor.cores
at org.apache.spark.SparkConf
浏览 30提问于2016-07-26得票数 1
我的集群由几个n1-standard-8工作人员组成，我正在每个核心运行一个执行器(spark.executor.cores=1)。
浏览 0提问于2018-05-11得票数 4
回答已采纳
我正在使用h1-highmem-16机器运行数据处理作业，每台机器都有104 GB的内存。然而，我得到了这个错误：为什么YARN没有使用全部104 GB的内存？
浏览 21提问于2017-01-19得票数 3
回答已采纳
1回答
因此，我有一个火花独立服务器，16核和64 of的RAM。我在服务器上运行了主服务器和工作人员。我没有启用动态分配。我正在使用Spark2.0--num-executors 2只有4个核心应该被占据。然而，当作业被提交时，它接受了所有16个核心，不管如何，它都会启动8个执行程序，从而绕过num-executors参数。但是，如果我将executor-cores参数更改为4，它将相应地进行调整，并且4个执行者将向上旋转。
浏览 2提问于2016-09-08得票数 11
回答已采纳
我有一个，其中包含一组培训数据。每个组由" group“列标识。--------------------------------------1 | 553 | 346 | 12 | 623 | 498 | 0... | ...
浏览 2提问于2020-06-10得票数 2
我曾经读过，在Spark中，每个执行器有5个内核可以达到最佳的读写吞吐量--因此通常需要设置spark.executor.cores = 5。
浏览 4提问于2019-10-14得票数 1
回答已采纳
我有一个采用Kerberos身份验证的HDFS集群。如何使用PySpark读取HDFS上的文件。
浏览 62提问于2019-07-25得票数 1
我有一个结合了4个物理节点和少量RAM的环境，每个节点都有8个CPU核心。我注意到spark自动决定为每个CPU分配RAM。结果是发生了内存错误。我正在处理大数据结构，我希望每个executor都拥有物理节点上的整个RAM内存(否则我会得到一个内存错误)。我尝试在'yarn-site.xml‘文件上配置’YARN.NODEMAGER.resource.cpu-vcores 1‘或在spark-defaults.conf上配置'spark.driver.cores 1’，但没有成功。
浏览 1提问于2016-02-23得票数 1
我们有一个算法，目前以分区的方式处理数据的foreachPartition.我意识到这可能不是处理星火中数据的最好方法，但理论上，我们应该能够让它工作。
浏览 4提问于2021-11-10得票数 1
1回答
但是，我的工作失败了，但是我并不完全理解。它似乎是由但是我怎样才能增加中的内存。16/05/05 01:12:42 WARN org.apache.spark.scheduler.TaskSetManager: Lost task 332.0 in stage 0.0 (TID 332, cluster-4-w-40.c.l
浏览 3提问于2016-05-05得票数 0
1回答
我有一个在WordCount集群上提交的apache-spark实现。我见过，但我不确定我是否能将答案应用到我的案件中。
import org.apache.spark._
浏览 1提问于2015-09-02得票数 1
我收到以下错误： 原因: org.apache.spark.SparkException:由于阶段故障而中止作业:阶段7.0中的任务653失败了4次，最近一次失败:阶段7.0中丢失的任务653.3 (TID 27294，ip-10-0-57-16.ec2.internal，executor 34)：ExecutorLostFailure (executor 34由正在运行的任务之一导致退出)原因:标记为失败的容器:主机上的container_1602898457220_0001_01_000370 :ip-10-0-57-16.ec2.Internal。退出状态: 143。诊断:容器在请求时
浏览 73提问于2020-10-17得票数 1
1回答
我刚刚在Apache独立集群上安装了Apache，但是Zeppelin不能分配多个执行器。我需要做什么有什么想法吗？
浏览 2提问于2016-12-13得票数 0
回答已采纳
我正尝试在Dataproc集群上运行Spark作业，但由于Yarn配置错误，Spark无法启动。15/11/08 21:27:16 ERROR org.apache.spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (38281+2679 MB)
浏览 0提问于2015-11-09得票数 10
回答已采纳
2回答
这个异常在Scala中意味着什么：
java.util.NoSuchElementException: Predicate does not hold for ...
浏览 1提问于2015-09-24得票数 8
回答已采纳
在我们的应用程序中，我们提交了具有以下配置值的Spark作业：'spark.executor.coresspark.executor.memory‘- 1g在Spark的“环境”页面中，观察到以下值：'spark.executor.cores‘- '4’
我们是否可以假定“spa
浏览 1提问于2022-07-31得票数 1
我使用的是Apache (独立模式) ALS推荐算法和60 GB的数据，问题是当算法启动时CPU Spike为100%，我如何设置限制CPU使用的火花？例如，只需使用50%的CPU。我在服务器上以独立模式运行spark，配置如下：OS Name: Microsoft Windows Server 2016 StandardSystem Ty
浏览 1提问于2019-07-21得票数 4
1回答
Google DataProc集群上火花2.0.0 :1主处理器和2名工作人员都具有相同的规格: n1-highmem-8 -> 8 vCPU，52.0GB内存-500 GB磁盘spark\:spark.executor.cores
浏览 3提问于2016-09-03得票数 0
其中一个spark配置选项设置为："spark.executor.cores": "8" "spark.cores.max": "8" 设置完所有选项后： SparkSession.builder.config我的问题是，选项"local[*]"和"spark.executor.cores": "8"如何影响spark驱动程序(本地执行器将消耗多少内核)？
浏览 51提问于2021-08-12得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号