我正在努力寻找最近Spark应用程序在生产中失败的根本原因。当Spark应用程序运行时，我可以检查NodeManager的YARN.NODEMASAGER.log-dir属性，以获得Spark executor容器日志。容器有两个正在运行的Spark应用程序的日志
以下是容器日志的视图:drwx--x-3纱线yarn 51 Jul 19 09:04 applica
浏览 19提问于2016-07-20得票数 2
回答已采纳
2回答
火花吐露：- spark.executor.memory = 5g纱线吐露：- yarn.nodemanager.resource.cpu-vcores = 15
- yarn.scheduler.maximum-allocation-
浏览 0提问于2015-11-09得票数 0
有可能在Spark executor崩溃后重新启动它吗？我知道失败的任务会在现有的工作Spark executor中重新运行，但我希望有一种方法可以重新启动崩溃的Spark executor。在客户端模式下，我在YARN上运行pyspark 1.6
浏览 16提问于2016-07-31得票数 2
回答已采纳
--driver-memory 4G --executor-memory 4G --executor-cores 2 hdfs://`hostname -f`:8020/data/x.jar yarn-client然后火花就崩溃了。在纱线日志中，我可以看到以下内容：17/02/17 16
浏览 1提问于2017-02-18得票数 1
2回答
请建议我们所说的这句话是什么意思："The application master will start an executor in container".换句话说，一个执行者将在容器中运行。我知道容器的定义是指我们分配了%的资源(cpu，ram，disk)，但这句话仍然让我感到困惑，应用程序主机将在容器中启动一个执行器。我们的意思是，当java虚拟机加载到Ram中时，执行器将在容器中运行吗？ 更清楚地说，请看下面两个屏幕： ? 来源:https:/
浏览 45提问于2019-09-11得票数 0
2回答
我的Log4j配置是加载的，我从日志中看到并应用于驱动程序的日志(我只看到我的日志级别和日志中的模式)，但是来自执行程序的日志不可用。我在日志里找不到“你好词”。另外，我检查了${yarn.nodemager.log-dirs}，它是空的，看起来很奇怪。我的日志呢？
先谢谢你
浏览 9提问于2015-06-19得票数 0
回答已采纳
1回答
我正尝试在EMR Spark上运行多个yarn应用程序，但我无法同时运行超过5个应用程序。", "spark.executor.heartbeatInterval":"spark.yarn.executor.mem
浏览 7提问于2019-07-11得票数 0
回答已采纳
我的火花应用程序，它运行在纱线集群上，崩溃了，我正在试图确定根本原因。在我使用yarn logs -applicationId <application_id>从纱线中获得的日志中，我看到大量连接在块获取期间被拒绝，还有一个内存错误。很难说是什么原因造成的。因此，在容器日志中，我看到了执行程序是如何在容器上启动的
exec /bin/bash "LD_LIBRARY_PATH="&
浏览 0提问于2018-10-23得票数 0
1回答
我正在尝试记录在一个Yarn集群中运行的每个Spark应用程序的属性(如spark.shuffle.compress、spark.reducer.maxMbInFlight、spark.executor.instances我知道我们可以通过" yarn“命令访问纱线日志，但是我所说的属性并没有存储在那里。
有什么办法可以接触到这种信息吗？这个想法是跟踪集群中运行的所有<e
浏览 1提问于2015-12-10得票数 0
我想知道如何在set中每个节点设置几个Apache执行器。我是否需要在yar-site.xml中指定它呢？
浏览 4提问于2014-11-28得票数 0
回答已采纳
我使用spark 1.3作为spark流媒体应用程序。当我启动我的应用程序时。我可以在spark UI中看到很少的jobs有failed tasks。关于调查工作细节的。我发现很少有任务因为Executor Lost Exception而失败，无论是ExecutorLostFailure (executor 11 lost)还是Resubmitted (resubmitteddue to lost executor)。在yarn的<e
浏览 1提问于2016-06-22得票数 0
2回答
我已经用以下设置配置了我的应用程序，其中spark.max.cores =2& spark.default.cores =2&内存设置为3GB。Spark-defaults.conf spark.yarn.applicationMaster.waitTries18080
spark.yarn.se
浏览 7提问于2016-02-03得票数 4
PROPERTIES="\spark:spark.executor.memory=8g,\spark:spark.executor.heartbeatInterval=10000000,\
spark</em
浏览 39提问于2020-06-15得票数 2
回答已采纳
我正在尝试使用uber jvm profiler来分析我的spark应用程序(spark 2.4，在EMR5.21上运行) 以下是我的集群配置 [ "properties": {
"spark.executor.memory&quo
浏览 36提问于2019-12-08得票数 2
回答已采纳
3回答
=3g spark.default.parallelism=1000 spark.yarn.executor.memoryOverhead=2000"
" --conf spark.yarn.memoryOverhead=3g --conf spark.default.parallelism=1000 --conf spark.yarn.executor.memoryOverhead=2000&q
浏览 0提问于2018-05-09得票数 1
回答已采纳
我不明白以下设置spark.yarn.executor.memoryOverhead和spark.memory.offHeap.size之间有什么区别。两者似乎都是将堆外内存分配给火花执行器的设置。此外，建议为executor for内存设置什么？
非常感谢！
浏览 4提问于2019-11-01得票数 6
1回答
我们正在运行一个火花流应用程序，我们希望增加执行程序的数量- spark，更新后的spark-default.conf，将spark.executor.instances从28增加到40，但是更改没有反映在用户界面中truespark.executor.instances 28
spa
浏览 4提问于2017-01-28得票数 0
1回答
我启动了一个EMR集群，其规格如下：
经过几次尝试后，似乎每次火花作业大约在1小时零15分钟内终止(我可以在Spark中看到完成的作业，我可以在S3中看到很好的输出)。为什么EMR集群在上一次作业完成后要花费这么多时间才能终止？
浏览 3提问于2018-05-18得票数 0
1回答
我在纱线模式下运行spark作业。我使用spark-submit在Unix shell脚本中运行作业。我想在日志文件中保留Unix文件夹上的spark-submit命令日志。我试过了
spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory2G --jars $
浏览 0提问于2019-07-02得票数 1
在0.9.0中，查看工人日志很简单，他们在离spark ui主页只有一次点击的地方。...-Dspark.master=\"yarn-client\" ...
很明
浏览 0提问于2014-12-12得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
