在哪里设置"spark.yarn.executor.memoryOverhead“
"spark.yarn.executor.memoryOverhead"是在Apache Spark中用于设置YARN执行器的内存开销的参数。它指定了每个执行器（Executor）的额外内存量，用于执行器的JVM堆外内存和其他内部开销。
具体来说，"spark.yarn.executor.memoryOverhead"参数用于控制每个执行器的内存分配，以确保Spark应用程序在运行过程中不会因为内存不足而失败。它的值通常设置为执行器内存的10%到20%之间。
设置"spark.yarn.executor.memoryOverhead"的位置取决于您如何提交Spark应用程序。如果您使用命令行方式提交应用程序，可以在spark-submit命令中通过--conf参数进行设置，例如：
spark-submit --conf spark.yarn.executor.memoryOverhead=2g ...如果您使用编程方式提交应用程序，可以在SparkConf对象中设置该参数，例如：
from pyspark import SparkConf
conf = SparkConf()
conf.set("spark.yarn.executor.memoryOverhead", "2g")对于该参数的设置，需要根据具体的应用程序需求和集群配置进行调整。如果设置过高，可能会导致资源浪费；如果设置过低，可能会导致内存不足而导致应用程序失败。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
考虑提升spark.yarn.executor.memoryOverhead。
我在创建SparkSession时在程序中设置了spark.yarn.executor.memoryOverhead。我的问题是-在创建SparkSession时设置"spark.yarn.executor.memoryOverhead“是可以的，还是应该在运行时使用spark-submit传递它？
浏览 18提问于2018-07-28得票数 1
回答已采纳
对于AWS来说，在堆栈溢出上有多个答案来设置--conf表参数。然而，有时在一个作业中，我们需要在一个作业中设置多个-conf键值对。我尝试了以下方法来将多个-conf值全部设置为错误：
添加另一个名为--conf的表参数。这将导致AWS仪表板移除名为--conf的第二个参数，并将焦点设置为第一个参数--conf的值。在表-conf参数的值中用逗号分隔配置键值参数。将--conf的值设置为让--conf字符串分隔每个键值。如何在AWS Glue中<
浏览 1提问于2019-04-04得票数 7
回答已采纳
在AWS Glue中运行python作业时，我会得到以下错误：在脚本开头运行此命令时：print 'spark.yarn.driver.memory_conf.get("spark.yarn.executor.memoryOverhead")
print
浏览 1提问于2018-08-23得票数 6
在Spark 2.0中。如何在运行spark submit时设置spark.yarn.executor.memoryOverhead。我知道对于像spark.executor.cores这样的东西，你可以设置--executor-cores 2。此属性是否具有相同的模式？
浏览 0提问于2018-08-01得票数 4
回答已采纳
yarn-client --num-executors 10 --executor-memory 4G --conf spark.yarn.executor.memoryOverhead考虑提高spark.yarn.executor.memoryOverhead。
我已经尝试过将spark.yarn.executor.memoryOverhead设置为100000。
浏览 1提问于2017-06-14得票数 0
我有一个Spark作业，它在本地运行良好，但数据较少，但当我在YARN上调度它执行时，我不断收到以下错误，慢慢地所有执行器都从UI中删除，我的作业失败我使用以下命令在yarn
浏览 0提问于2015-07-30得票数 52
回答已采纳
2回答
我正在设置--conf spark.executor.instances=20 --conf spark.driver.memory=4GContainer
浏览 2提问于2016-10-27得票数 4
回答已采纳
你能帮我解决我遇到的问题吗？我正在写一个100Go的文件。我尝试运行以下代码： .filter(lambda x : x[0][0:10]=="2015-03-21") .reduceByKey(lambda x, y : x+y )) .cache())
经过很长一段时间(大约30')后，它最终以一个
浏览 0提问于2015-10-13得票数 0
1回答
另外，yarn-site.xml究竟位于哪里？我无法在主机中找到它(在/usr/lib/zeppelin/conf/、/usr/lib/spark/conf、/usr/lib/hadoop-yar/中找不到它)来更改它，如果更改了，我需要‘重新启动
浏览 0提问于2018-05-29得票数 6
回答已采纳
我不明白以下设置spark.yarn.executor.memoryOverhead和spark.memory.offHeap.size之间有什么区别。两者似乎都是将堆外内存分配给火花执行器的设置。此外，建议为executor for内存设置什么？
非常感谢！
浏览 4提问于2019-11-01得票数 6
我在我的代码中给出了spark作业的这些参数。spark.streaming.stopGracefullyOnShutdown", "true") .set("spark.yarn.executor.memoryOverhead下面是工作在纱线上的外观：这是运行的执行器数量和它们的内存的样子为什么分配的内存是53248
浏览 2提问于2019-12-13得票数 0
我想要设置的配置值是
spark.yarn.maxAppAttempts=1 spark.yarn.executor.memoryOverhead = 1152 hive.merge.orcfile.stripe.level= false请注意，我不想使用Ambari用户界面来设置这些值，我想使用脚本操作。
浏览 4提问于2017-06-02得票数 1
1回答
当容器耗尽内存时，有什么工具或方法可以在堆和堆外的内存转储中看到吗?还是有一种方法可以远程连接到容器JVM并查看哪些对象正在引发内存泄漏。
谢谢
浏览 3提问于2016-12-28得票数 1
我已经阅读了很多关于通过设置yarn.scheduler.maximum-allocation-mb来解决这类问题的文章，我想我已经将其设置为2 2gb，因为我现在运行的是select count(*)我设置在一台机器上，即我的台式机，它有4-gb内存和2个内核。将Spark作为Hive执行引擎运行是不是很低？目前，我正在从java运行此作业，我的设置是
Connection connect = DriverManager.getConnection("jdbc:hive2:/
浏览 2提问于2017-07-30得票数 2
1回答
AWS胶水遗嘱执行人垂死
、、、、
这种行为也可以从AWS Glue度量标准中找到：我已经读过这个，它不幸地使用了JDBC源代码(在我的例子中是S3)，并建议在任何地方使用Glue DynamicFrames。
浏览 1提问于2019-03-05得票数 1
回答已采纳
1回答
我正在使用aws和Spark在一个1 MasterNode，3 WorkerNode配置中运行一个星火集群，而MasterNode是客户端机器。所有4个节点都有8GB的内存和4个核心。考虑到硬件设置，我设置如下：spark.executor.cores = 3我想假设纱线总内存是由spark.executor.memo
浏览 1提问于2018-05-21得票数 3
由于GC开销内存错误，我的工作失败了，所以我试图增加内核和内存设置。
我正在处理的总容量是两个文件中的50M记录。
浏览 2提问于2016-02-01得票数 0
回答已采纳
因此，我试图使用三个m4.2x大型实例(一个主节点和两个核心节点)在EMR上运行我的星火代码。
每台机器都有32 has的内存。为了增强内存，在创建conf之前，我将在Spark代码中使用以下SparkContext设置。
浏览 6提问于2016-07-17得票数 0
回答已采纳
6回答
我发现AWS设置了执行器实例，内存限制为5 Gb --conf spark.executor.memory=5g，有时在一个大数据集中，它会在java.lang.OutOfMemoryError中失败。
浏览 0提问于2018-02-28得票数 18
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
