Spark自定义日志记录
是指在Apache Spark分布式计算框架中，开发者可以根据自己的需求，自定义和控制日志记录的方式和内容。通过自定义日志记录，开发者可以更加灵活地管理和监控Spark应用程序的运行状态和性能，方便进行故障排查和性能优化。
在Spark中，默认使用log4j作为日志记录的实现。开发者可以通过配置log4j.properties文件来设置日志记录的级别、输出位置和格式等。此外，Spark还提供了一些内置的日志记录器，例如org.apache.spark.Logging和org.apache.spark.util.Utils，可以在应用程序中直接使用。
自定义日志记录可以在以下场景中发挥作用：
- 调试和故障排查：通过自定义日志记录，可以将关键的调试信息输出到日志中，帮助开发者定位和解决问题。
- 性能优化：通过记录关键的性能指标，可以分析和优化Spark应用程序的性能，提高计算效率。
- 运维监控：通过自定义日志记录，可以输出运行时的状态信息和异常情况，方便运维人员进行监控和管理。
在使用Spark自定义日志记录时，可以使用以下相关的腾讯云产品和服务：
- 腾讯云日志服务：用于将日志数据进行收集、存储和分析，可以提供实时的日志查询和可视化分析功能。详情请参考：https://cloud.tencent.com/product/cls
- 腾讯云云监控服务：用于监控和管理云上资源的性能和状态，可以对Spark应用程序的运行状态进行监控和告警。详情请参考：https://cloud.tencent.com/product/monitoring
- 腾讯云容器服务：用于快速部署和管理容器化的应用程序，可以方便地部署和管理Spark应用程序，并收集和处理相关的日志数据。详情请参考：https://cloud.tencent.com/product/tke
总结：Spark自定义日志记录可以帮助开发者更好地管理和监控Spark应用程序的运行状态和性能。通过合理地设置日志级别、输出位置和格式，可以方便地进行调试、故障排查和性能优化。腾讯云提供的日志服务、云监控服务和容器服务等相关产品和服务可以进一步增强Spark自定义日志记录的功能和效果。
相关·内容
1回答
我已经构建了一个吡火花应用程序，并使用log4j进行了日志记录。
问题是，当我以纱线-客户端模式运行火花应用程序时，会发生日志记录，但当我在纱线-集群模式下运行应用程序时，不会发生日志记录。
我希望以集群模式打印日志消息并将其保存为文件。
已试过
Spark-submit —-files option
and setting spark.executor.extrajavaoptions and spark.driver.extrajavaoptions.
My log4j.properties
log4j.rootCategory=INFO,FILE
log4j.appender.FIL
浏览 0提问于2020-01-08得票数 1
1回答
我正在azure HDInsight集群上部署我的scala+apache spark 2.0应用程序。我们可以通过azure门户查看应用程序的默认纱线日志。但是，我们的要求是为特定于应用程序(业务案例)的日志添加我们自己的自定义日志记录器(错误、调试日志)。我们无法创建可以在集群外部访问的自定义记录器(通过存储azure blob存储)。
浏览 14提问于2017-01-05得票数 1
回答已采纳
1回答
我已经创建了一个成功执行的AWS glue作业。但是，我无法将任何自定义日志记录放入作业中。
如何在亚马逊网络服务S3存储桶中创建日志文件，以便跟踪日常作业的执行情况？
目前，当我的作业执行时，它会创建默认日志(即spark日志)，我可以在AWS cloud watch中看到它。在AWS glue中记录事件的最佳实践是什么？
浏览 38提问于2018-12-04得票数 4
3回答
我正在编写一个遵循this example的Scala / Spark程序。我的工具是IntelliJ和sbt。(我没有使用scala spark shell。)我正在使用scala-logging和logback-classic，我需要减少Spark的日志记录，或者将spark日志记录定向到不同的.log文件。 我尝试在我的代码中调用sc.setLogLevel("WARN")，其中sc是SparkContext，但是没有效果。 更糟糕的是，Spark log输出来自几个不同的包(org.apache.spark、o.a.h.m.lib、o.a.h.s.a等)。我希望有一种
浏览 71提问于2019-01-18得票数 2
2回答
Amazon EMR，Apache Spark 2.3，Apache Kafka，每天约1000万条记录。
Apache Spark用于以5分钟的时间批量处理事件，每天一次工作节点正在死亡，AWS自动重新配置节点。查看日志消息时，节点中看起来没有空间，但它们在那里有大约1Tb的存储。
有没有人在存储空间应该足够的情况下遇到了问题？
我认为日志聚合不能正确地将日志复制到s3存储桶，这应该由spark进程自动完成，正如我所见。
我应该提供什么样的信息来帮助解决这个问题？
提前谢谢你！
浏览 4提问于2018-10-19得票数 8
我有一个带有映像版本- 2.0.39-ubuntu18 18的Dataproc集群，它似乎将所有日志都放入了云日志记录中，这大大增加了我们的成本。
下面是用于创建集群的命令，我添加了以下命令- spark:spark.eventLog.dir=gs://dataproc-spark-logs/joblogs，spark:spark.history.fs.logDirectory=gs://dataproc-spark-logs/joblogs
若要停止使用云日志记录，请执行以下操作。日志也被重新定向到云日志记录。
下面是用于创建Dataproc集群的命令：
REGION=us-east1
ZO
浏览 16提问于2022-05-30得票数 1
回答已采纳
我们有多个Apache Spark作业，我们需要记录一些任务执行的事件和参数，以便进行调试和故障排除。
在Apache Spark作业代码中记录日志的实践是什么？
显而易见的解决方案是:使用Spark的loginfo(和其他方法，尽管不推荐)，一些日志框架(如log4s)或简单的println。
在我的Java开发人员背景下，我觉得直接将日志写入控制台是一种不好的做法。我们总是为它使用日志框架。
但是，如果我们为spark作业选择println日志记录，我们将能够简单地将日志收集到文件中，例如，从启动的shell脚本重定向到文件。此外，我们可以在spark管理控制台中看到输出。
所以我不知
浏览 7提问于2016-06-17得票数 0
我按照这个文档来配置snappydata中的日志记录：
当我将conf/log4j.properties ties.Template更改为"log4j.properties“，然后停止/启动所有备份时，snappylead.log中的日志记录将为零。当我开始时没有配置log4j.properties时，我的日志记录将达到392 no。
我也没有看到我自己的类进行日志记录。
log4j.properties
log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=Sys
浏览 0提问于2016-08-12得票数 1
3回答
在executor上使用pyspark访问Spark的log4j记录器的正确方式是什么？
在驱动程序中很容易做到这一点，但我似乎不能理解如何访问executor上的日志记录功能，以便我可以在本地进行日志记录，并让YARN收集本地日志。
有没有办法访问本地记录器？
标准的日志记录过程是不够的，因为我无法从executor访问spark上下文。
浏览 1提问于2016-11-25得票数 22
回答已采纳
我在ipython笔记本上玩spark，玩得很开心，但不幸的是，最近的一个变化(可能是最近的spark升级)导致spark日志记录到笔记本上，而不是我开始笔记本的控制台上。我仍然希望看到这些日志消息，所以我不能简单地关闭日志记录，但我更希望它被定向到控制台，而不是记录到笔记本。有什么方法可以做到这一点吗？
浏览 1提问于2015-04-17得票数 0
我从我自己的工作站上的pycharm启动pyspark应用程序到一个8节点集群。此群集还具有在spark-defaults.conf和spark-env.sh中编码的设置
这就是我获得spark上下文变量的方法。
spark = SparkSession \
.builder \
.master("spark://stcpgrnlp06p.options-it.com:7087") \
.appName(__SPARK_APP_NAME__) \
.config("spark.executor.memory
浏览 0提问于2016-11-15得票数 16
回答已采纳
如何在集群中保留spark worker和主节点历史记录，如已完成的应用程序、已完成的驱动程序。当重新启动时，所有这些历史记录都会丢失。是否有要启用的特定配置来维护历史记录。 已在spark-defaults.conf中启用spark事件日志 spark.eventLog.enabled true
spark.eventLog.dir file:////app/spark/logs/data/event_log_dir 但仍然无法保留历史记录
浏览 30提问于2019-09-19得票数 0
我有下面用Java编写的spark代码的逻辑流程。我需要捕获每个第i次迭代的时间。
// Start Spark Job - create configuration and spark context
for ( i < 10)
{
log.info("Start Time of i" + new Date())
DataFrameObj.Count
sqlContext.sql("select * from employee")
SaveAsTextFile
log.info("End Time Time of i&
浏览 4提问于2018-02-20得票数 0
出于测试目的，我希望在WebSphere应用服务器上以本地模式运行Spark。问题是，一旦初始化了本地星火上下文，它就会通过spark重定向WebSphere服务器中的所有日志记录。
我所说的“重定向”的意思是:所有日志行，无一例外，无论哪个WebSphere组件或应用程序，都根据WebSphere日志记录到SystemErr。然后，在每条日志消息上，您可以在实际日志消息之前看到另一个时间戳、日志级别和记录器名称。
从其他问题中，我发现WebSphere和Spark都在内部使用SLF4J。如何防止星火中的SLF4J通过自身从其他应用程序重定向所有日志记录？
我使用的是WebSphere应用服务
浏览 4提问于2015-08-31得票数 1
回答已采纳
7回答
我正在寻找一种解决方案，以便在Apache节点上执行代码时能够记录额外的数据，这可能有助于以后研究在执行过程中可能出现的一些问题。例如，尝试使用像com.typesafe.scalalogging.LazyLogging这样的传统解决方案会失败，因为日志实例不能在像Apache这样的分布式环境中序列化。
我已经研究过这个问题，目前我发现的解决方案是使用org.apache.spark.Logging特性，如下所示：
class SparkExample with Logging {
val someRDD = ...
someRDD.map {
rddElement =>
浏览 4提问于2015-03-23得票数 69
1回答
我试图按照这个指示启用历史日志与火花Oozie的行动。
要确保您的星火作业显示在星火历史服务器中，请确保指定这三个星火配置属性，无论是使用--conf还是从oozie.service.SparkConfigurationService.spark.configurations中指定。
spark.yarn.historyServer.address=
spark.eventLog.dir=hdfs://NN:8020/user/spark/applicationHistory
spark.eventLog.enabled=true
工作流定义如下所示：
<action
浏览 0提问于2016-07-29得票数 2
回答已采纳
1回答
我在Google Dataproc上运行了一个PySpark作业。
目标是将此作业的应用程序级日志记录在Stackdriver日志中，并从它们创建指标。
我如何才能做到这一点？我已经将spark的日志属性更改为写入/var/ log4j /spark/spark-out.log，但该文件似乎没有包含正确的数据。
浏览 0提问于2017-03-22得票数 1
我正试图使用spark-submit在windows中启动一个火花作业。Spark应用程序在不指定日志记录选项的情况下工作正常。
使用以下--driver-java-options
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"
我得到了错误消息：
系统找不到指定的路径。
我尝试了许多组合，但没有运气，请告知。
spark-submit --master local[*] --files D:\launch\log4j-spark.proper
浏览 1提问于2017-10-20得票数 1
1回答
我有一个在执行期间输出一些日志的DataProc作业。我可以在作业输出中看到这些日志。
我的集群是根据创建的，参数如下：
dataproc:jobs.file-backed-output.enable=true
dataproc:dataproc.logging.stackdriver.enable=true
dataproc:dataproc.logging.stackdriver.job.driver.enable=true
dataproc:dataproc.logging.stackdriver.job.yarn.container.enable=true
我可以在日志中看到所有系统日
浏览 1提问于2021-03-15得票数 1
我正在使用log4j2开发一个在YARN集群模式下运行的Spark应用程序。我提供了一个log4j2.xml文件，该文件将用于日志记录。我在日志记录中遇到了获取环境变量的问题。我想要获取app-name、app-id、application-attempt、container-name和日志级别。我可以将这个带有syslog附加器的日志定向到一个集中的日志服务器。我使用这些环境变量作为前缀来记录语句。我可以获取app-name，app-id，application-attempt，但是我找不到任何容器名称和日志级别的环境变量，我也不能在executors中获取任何环境变量。看起来这些变量的作用
浏览 2提问于2017-07-21得票数 1
如何在jupyter中执行shell脚本，并忽略其记录的标准输出和标准输出？ !sh my_shell_file.sh > /dev/null 无法工作，并且仍在记录大量日志。 背景 我想让spark的日志安静下来：How to stop INFO messages displaying on spark console? 更不用说： spark.sparkContext.setLogLevel("FATAL") 或 spark.sparkContext.setLogLevel("ERROR") 在提供一个： spark-shell -i my_scal
浏览 306提问于2020-11-05得票数 0
回答已采纳
我是Spark的新手，并且使用python使用pyspark编写作业。我想在yarn集群上运行我的脚本，并通过发送使用--files标记将日志记录级别设置为WARN的log4j.properties来删除详细日志记录。我有一个脚本使用的本地csv文件，我还需要包括这个文件。如何使用--files标签来包含这两个文件？
我使用以下命令：
/opt/spark/bin/spark-submit --master yarn --deploy-mode cluster --num-executors 50 --executor-cores 2 --executor-memory 2G --files
浏览 0提问于2017-08-05得票数 0
5回答
我有一个使用Spark的Scala Maven项目，我正在尝试使用Logback实现日志记录。我正在将我的应用程序编译为jar，并部署到安装了Spark发行版的EC2实例。我的pom.xml包含对Spark和Logback的依赖关系，如下所示：
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>
浏览 2提问于2017-02-09得票数 13
我试图实现的是在${SPARK_HOME}/bin/spark-submit执行期间将记录到控制台的所有信息静默。 我已经通过更改${SPARK_HOME}/conf/log4j.properties中的适当行更改了spark本身的日志级别，但当我提交R-sparklyr脚本和sparklyr.jar以作为一种独立作业执行时，我仍然会获得以下信息： # 用户@主机${SPARK_HOME}/bin/spark-submit --class sparklyr.Shell 'sparklyr.jar‘脚本。R 21/07/01 16:12:25信息sparklyr:会话(999991)在
浏览 27提问于2021-07-02得票数 0
我有一个Python Spark程序，我用spark-submit运行它。我想把日志语句放进去。
logging.info("This is an informative message.")
logging.debug("This is a debug message.")
我希望使用与Spark相同的记录器，以便日志消息以相同的格式输出，并且级别由相同的配置文件控制。我该怎么做呢？
我已经尝试将logging语句放在代码中，并从logging.getLogger()开始。在这两种情况下，我看到的都是Spark的日志消息，而不是我的。我一直在看，但一直没能从那
浏览 2提问于2014-08-20得票数 59
我正在构建一个日志分析平台来监控一个纱线集群上的火花作业，我想了解一下火花/纱线日志记录。我已经找了很多关于这件事，这是我的困惑。
spark.eventLog.dir或spark.history.fs.logDirectory中指定的目录存储了所有的应用程序主日志，并且通过spark中的log4j.properties，我们可以定制这些日志？
默认情况下，所有数据节点都将其执行程序日志输出到/var/log/中的文件夹中。启用日志聚合之后，您也可以将这些可执行程序日志带到spark.eventLog.dir位置吗？
我已经成功地建立了一个3节点虚拟hadoop纱线集群
浏览 0提问于2021-05-09得票数 1
回答已采纳
这是我的密码：
public static SparkSession getTestSparkSession(String name) {
SparkConf conf = new SparkConf()
.set("spark.master", "local")
.set("spark.ui.port", "8040")
.set("spark.serializer", "org.apache.spark.serializer
浏览 3提问于2017-12-11得票数 1
1回答
我在RuleExecutor中注意到，每次catalyst更改计划时，spark都会执行跟踪日志：
我想知道的是，我如何配置spark以便打开跟踪日志记录？我正在使用log4j，并阅读了以下文档：
我已经研究了一段时间的代码，我已经看到你可以设置'log4j.threshold=TRACE‘让记录器的一部分处于跟踪模式，但是我似乎不能让catalyst使用记录器来获取设置。
我做错了什么？
浏览 0提问于2018-10-12得票数 0
2回答
如何编写一个PySpark脚本，将spark-submit命令行记录到日志输出中？
例如，当我运行：spark-submit script.py arg1 arg2 --flag arg3 --out output
除了运行它的任务之外，我还希望这个命令将命令行记录到一个名为output.log的日志文件中，这样我就可以轻松地跟踪我是如何运行它的。
浏览 1提问于2017-07-24得票数 0
我正在尝试从Databricks获取spark日志，并检查发送到SNowflake的连接字符串。在什么路径上可以找到火花日志？ 我已经启用了这个跟踪选项，但是我是否需要为spark启用一些额外的日志记录： sfOptions = {
"sfURL" : "test.eu-central-1.snowflakecomputing.com",
"sfUser" : "user",
"sfPassword" : **********
"sfDatabase" : "db",
"s
浏览 25提问于2021-10-27得票数 2
我正在尝试设置自定义日志配置。如果我将日志文件添加到集群中，并在我的spark提交中引用它，则配置将生效。但是，如果我尝试使用--files s3://...访问该文件，则它不起作用。 工作(假设我将文件放在home目录中)： spark-submit \
--master yarn \
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties \
--conf spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j
浏览 25提问于2020-12-08得票数 0
我正在使用python日志记录，并使用pyspark调试级别消息，我的日志文件中充斥着所示的示例。我怎样才能防止这种情况发生？一个简单的解决方案是将日志级别设置为INFO，但我需要记录我自己的python调试级别消息。
2015-12-13 15:13:32 4906 DEBUG : Command to send: j
i
rj
org.apache.spark.SparkConf
e
2015-12-13 15:13:32 4906 DEBUG : Answer received: yv
2015-12-13 15:13:32 4906 DEBUG : Command to
浏览 4提问于2015-12-13得票数 7
回答已采纳
我在一个具有3个节点的独立集群上使用spark 1.1.0。
我希望看到已完成的应用程序的详细日志，因此我在我的程序中设置了：
set("spark.eventLog.enabled","true")
set("spark.eventLog.dir","file:/tmp/spark-events")
但是，当我在webui中单击应用程序时，我得到了一个包含以下消息的页面：
未找到应用程序历史记录(app-20150126000651-0331)没有为文件中的应用程序xxx$找到任何事件日志:/tmp/spark/xxx-142
浏览 1提问于2015-01-27得票数 3
1回答
PySpark日志记录
、、、、
我正在尝试查看GCP堆栈驱动程序中的spark日志。下面是堆栈驱动程序的屏幕截图。
根据上面的屏幕截图，Spark信息映射到堆栈驱动程序中的错误。不知道为什么？
我正在使用log4j进行spark自定义日志记录。以下是日志属性。
# Root logger option
log4j.rootLogger=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=o
浏览 3提问于2019-08-27得票数 0
2回答
我希望我的火花驱动程序(用Python编写)输出一些基本的日志信息。我看到有三种方法可以做到这一点：
使用PySpark py4j桥访问Spark使用的log4j日志记录工具。
log4jLogger = sc._jvm.org.apache.log4j LOGGER = log4jLogger.LogManager.getLogger(__name__) LOGGER.info("pyspark script logger initialized")
只需使用标准控制台打印。
logging标准库模块。这看起来很理想，而且是最Pythonic的方法，但是，
浏览 13提问于2016-05-18得票数 33
我正在做一个spark graphx项目。我想登录我的代码来追踪，...我使用下面的代码来创建记录器对象。 package org.araz.DAF.GraphAnalysis
import org.apache.spark.graphx._
import org.araz.DAF.{GEdge, GVertex}
import org.slf4j.LoggerFactory
class GraphAnalysis(_graph: Graph[GVertex, GEdge]) {
var graph: Graph[GVertex, GEdge] = _graph
def GetCon
浏览 23提问于2020-03-23得票数 0
1回答
我一直在使用PySpark，在日志记录方面有问题。来自Spark模块的日志通过管道传输到STDOUT，我无法控制来自Python的日志。
例如，像这样的日志被管道传输到STDOUT，而不是STDERR：
2018-03-12 09:50:10警告Utils:66 -截断了计划的字符串表示，因为它太大了。可以通过在spark.debug.maxToStringFields中设置“SparkEnv.conf”来调整此行为。
Spark没有安装在环境中，只有Python和Pyspark。
我如何：
A.将所有日志重定向到STDERR
或
B.如果不可能，请禁用日志.
我尝试过的事情：
浏览 0提问于2018-03-12得票数 1
回答已采纳
1回答
我想创建一个自定义日志记录器，它从集群节点中特定文件夹中的执行器中写入消息。我已经在SPARK_HOME/conf/中编辑了我的log4j.properties文件，如下所示：
log4j.rootLogger=${root.logger}
root.logger=WARN,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLay
浏览 6提问于2018-01-15得票数 3
回答已采纳
我有一个用Scala编写的spark应用程序代码，它运行一系列Spark-SQL语句。这些结果是通过在最后对最终数据帧调用操作'Count‘来计算的。我想知道在Spark-scala应用程序作业中进行日志记录的最佳方式是什么？由于数量上的所有数据帧(大约20个)最终都是使用单个操作来计算的，那么在记录某些语句的输出/序列/成功时，我有什么选择呢？ 问题在本质上是很小的泛型。由于spark在惰性评估上工作，所以执行计划是由spark决定的，我想知道应用程序语句在哪个阶段成功运行，以及在那个阶段的中间结果是什么。 这里的目的是监视长时间运行的任务，看看它在哪一点上是正常的，以及问题出现在
浏览 22提问于2019-09-03得票数 4
1回答
TL;DR有可能在不破坏 all 日志记录的情况下抑制单个火花日志记录消息吗？
我正在EMR上运行一个Spark流作业，并收到如下日志消息：
17/08/17 21:09:00 INFO TaskSetManager: Finished task 101.0 in stage 5259.0 (TID 315581) in 17 ms on ip-172-31-37-216.ec2.internal (107/120) 17/08/17 21:09:00 INFO MapPartitionsRDD: Removing RDD 31559 from persistence list 17/08/1
浏览 0提问于2017-08-17得票数 4
回答已采纳
1回答
我在python中有一个主脚本和其他模块文件，这些文件目前都在一个文件夹中。我现在正尝试将日志记录消息注入到任何地方，但我并不真正理解日志层次结构python，尽管我一直在阅读它。
所以检查一下，因为这就是我的测试中发生的事情:如果我在我的主模块上配置了一个记录器，那么我导入到这个主模块的模块的日志记录就会自动附加到它，只要我用logging.getLogger(__name__)调用记录器，对吗？所以导入的模块不一定要放在子文件夹中什么的？
我在脚本中使用PySpark，所以我按照Spark > 2.0中的建议创建了一个Session，并在我的模块中使用这个会话。但是，我希望火
浏览 4提问于2016-12-01得票数 1
2回答
我正在尝试使用mongoose将来自mongoDB数据库的记录填充到数组中。当我试图填满记录的时候。它在函数外部显示了一个空数组，即使我在函数外部声明了。下面是代码。
var saveMessageToVariable = function(){
var records = [];
var spark_ids = [];
var obj = new Object();
Message.find().distinct("spark_id").exec(function(err,data) {
data.forEach(functio
浏览 5提问于2017-01-07得票数 0
目前，我正在通过LIVY发布/提交火花作业到Azure HDInsight集群。作业完成后，我正在查看Spark的纱线日志。
每个火花作业的Livy日志不提供纱线日志。
我们可以从Azure HDInsight中以编程方式获取Spark日志吗？我们在Azure中是否有REST调用或自定义工具来获取Yarn日志？
浏览 2提问于2020-12-08得票数 1
回答已采纳
如何禁用或执行apache spark客户端驱动程序的最小日志记录？我所说的驱动程序是指我初始化spark context的程序。它会产生很多信息消息，但我只想知道什么时候出现了错误或异常，比如空指针异常等等。我也在使用spark独立模式
浏览 1提问于2016-10-06得票数 0
是否可以使用rest检索Databricks/Spark /SQL日志，任何保留限制?不能看到任何相关的API 。
注意:尚未设置群集/advanced选项/日志记录。
浏览 2提问于2022-01-06得票数 0
1回答
Spark历史服务器
、、、
我目前正在使用IntelliJ集成开发环境开发Scala中的Spark。当我的程序执行时，我可以访问web用户界面，但之后我不能访问历史服务器。
任何帮助都将不胜感激，顺便说一句，我正在使用windows。我还在C:/tmp/spark-events中创建了一个日志文件夹，并以如下方式编辑spark-defaults.conf：
# Example:
# spark.master spark://master:7077
# spark.eventLog.enabled true
# spark.eventLog.dir
浏览 2提问于2017-07-06得票数 2
回答已采纳
1回答
我正在尝试记录在一个Yarn集群中运行的每个Spark应用程序的属性(如spark.shuffle.compress、spark.reducer.maxMbInFlight、spark.executor.instances等属性)。
然而，我不知道这些信息是否被记录在任何地方。我知道我们可以通过" yarn“命令访问纱线日志，但是我所说的属性并没有存储在那里。
有什么办法可以接触到这种信息吗？这个想法是跟踪集群中运行的所有应用程序及其属性，以确定哪些应用程序在执行时间上影响最大。
浏览 1提问于2015-12-10得票数 0
我有一个在EMR上运行的Spark java应用程序。当我尝试在本地运行spark作业登录到EMR实例时，我从控制台上的EC2应用程序获得了我的Logger信息。
/usr/lib/spark/bin/spark-submit --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --conf 'spark.executor.extraJavaOptions=-Dcong.paramet
浏览 0提问于2019-05-29得票数 0
1回答
Google Cloud上的Dataproc集群执行的Spark作业在任务PythonRDD.scala:446上卡住
错误日志显示Could not find valid SPARK_HOME while searching .../hadoop/yarn/nm-local-dir/usercache/root/下的路径
问题是，默认情况下应该在dataproc集群上设置SPARK_HOME。其他不使用RDDs的spark作业也能正常工作。
在集群初始化期间，我没有重新安装spark (但我已经尝试过了，我之前认为这是导致问题的原因)。
我还发现，在运行任务一分钟后，我的所有执行器都被删除了
浏览 2提问于2018-01-26得票数 1
回答已采纳
由于Spark中的计算是惰性的，跟踪执行语句的时间的日志可能会出错。例如:如果用户在读取文本文件之前和读取文件之后捕获开始时间(在sc.textFile()之前和之后)，这将导致错误的信息，因为日志将被记录，但由于延迟计算，文件尚未读取。对此有什么解决方案吗，比如懒惰日志记录？
浏览 0提问于2016-05-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
