我正在尝试覆盖Spark的默认log4j.properties，但一直没有任何成功。我尝试在spark-submit中添加以下内容：
--conf "spark.executor.extraJavaOptions=Dlog4j.configuration=/tmp/log4j.properties我也尝试在spark-submit中使用--files选项，但似乎也不起作用。有没有人设置了日志记录，所以每个驱动程序都有一个log4j.
浏览 1提问于2015-03-04得票数 22
在spark-submit中，如何指定log4j.properties？DRIVER_JAVA_OPTIONS="-Dlog4j.configuration=file://${current_dir}/log4j.properties "spark-su
浏览 0提问于2017-02-14得票数 19
如果我将日志文件添加到集群中，并在我的spark提交中引用它，则配置将生效。但是，如果我尝试使用--files s3://...访问该文件，则它不起作用。=file:log4j.properties \--master yarn \
--files s3:&#
浏览 25提问于2020-12-08得票数 0
2回答
我正在尝试使用spark-submit配置一个自定义日志，这是我的配置：-DlogsPath=/var/opt/log\
spark.driver.extraJavaOptions -> -DlogsPath=/var/opt/log -DlogsFile=spark-submit-dri
浏览 9提问于2015-04-09得票数 6
1回答
为了进一步调试，我启用了G1GC模式，还启用了使用spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties -XX:+PrintFlagsFinal根据的说法，这些设置似乎只发生在工作节点上(在本例中我可以看到，而且工作人员在spark.executor.extraJavaOptions下使用了相同的信任之后，在stdout中也有GC日志)。是否有从驱动程序中启用/获取GC日志的方法？在Sp
浏览 0提问于2017-07-23得票数 3
1回答
当我的星火应用程序失败时，它会将一条非常通用的消息记录到控制台。为了查看显示真正错误的详细消息，我必须转到Spark，并查看我的执行器的stdout日志。有人知道我怎样才能在控制台中显示更多的细节吗？HH:mm:ss} %p %c{1}: %m%n
log4j.logger.org.spark-project.jetty=WARN
lo
浏览 1提问于2017-10-24得票数 3
1回答
我正在尝试在边缘节点上的自定义位置写入spark日志。但是我的log4j.properties文件被默认的集群属性文件覆盖-客户端/conf/log4j.properties我使用以下版本: Spark version 2.1.1.2.6.2.25-1 Scala version 2.11.8spark-submit \
-y
浏览 0提问于2018-04-08得票数 0
2回答
我在dataproc集群中运行下面的spark提交命令，但我注意到很少有spark配置被忽略。我想知道他们被忽视的原因是什么？-Dlog4j.configuration=log4j.properties",spark.executor.extraJavaOptions="-Dconfig.file=application_dev.json-Dlog4j.configuration=log4j.properties, spark.executor.in
浏览 44提问于2020-12-10得票数 1
回答已采纳
我正在构建一个Apache流应用程序，当它在Spark 上运行时，我不能让它登录到本地文件系统上的一个文件。如何才能做到这一点？log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%nspark-submit --class myModule.myClass --master local[2] --deploy-mode clie
浏览 5提问于2015-02-11得票数 34
回答已采纳
我的日志设置如下所示: logging.json包含日志配置 File Handler:
filename: "%dynamic_log%/sample.log" 我在运行时构造动态日志路径，并使用dictConfig将%dynamic_log%替换为我想要登录并加载到记录器中的实际路径。这就是在集群模式下运行pyspark作业时的问题。驱动程序在其中一个工作节点容器中执行spark作业。my/dynamic/path/sample.log' 解决方法：
浏览 19提问于2021-08-08得票数 0
这可能是的副本，但它与Spark 1.3/4相关。我正在使用1.5.2。
我正在把log4j.properties打包在我的胖罐子里。它在两种情况下表现出不同的行为。在机器2上，可以在以下位置获得默认log4j.properties：/etc/spark/conf/log4j.properties。在machine 2上，fat-jar中的打包log4j.properties不会加载，
浏览 0提问于2016-02-03得票数 2
我无法覆盖和使用Amazon EMR上的自定义log4j.properties。我在电子病历(纱线)上运行火花，并尝试了下面所有的组合在火花提交尝试和使用自定义的log4j。--driver-java-options "-Dlog4j.configuration=hdfs://host:port/user/hadoop/log4j.properties"
--conf "spark.driver.extraJavaOptio
浏览 2提问于2017-02-25得票数 8
1回答
下面是我的workflow.xml中的spark-opts标签
<spark-opts>--driver-memory 4G --executor-memory 4G --num-executors 6--executor-cores 3 --files /tmp/logs/appName/log4j.properties --conf spark.driver.extraJavaOptions='='-Dlog4j
浏览 2提问于2017-06-07得票数 2
我的log4j.properties与超级/胖应用程序jar打包在一起，下面是我的spark submit命令--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=classpath:log4j.properties
--conf spark.executor.extr
浏览 3提问于2020-11-18得票数 2
1回答
我正在使用spark 2.0，sbt 0.13和Scala Test 3.0，我想知道我是否可以像处理主JAR文件一样将参数从命令传递到测试JAR文件。例如，我的测试套件中的spark-submit my-test-file.jar args1 args2和测试用例可以获得args1和args2的值。
浏览 1提问于2016-12-16得票数 0
我有一个AWS CLI集群创建命令，我正在尝试修改该命令，以便使我的驱动程序和执行器能够使用自定义的log4j.properties文件。我尝试了许多不同的排列和变体，但尚未与我在AWS EMR集群上运行的Spark作业一起工作。我使用AWS CLI的“create cluster”命令，中间步骤是下载我的spark jar，将其解压缩以获得与该.jar打包的log4j.properties。然后，
浏览 38提问于2021-04-12得票数 2
回答已采纳
1回答
我使用木星终端访问Dataproc集群的驱动程序。这是我通往集群的网关，我没有为驱动程序机器启用直接SSH。当我启动spark时，我会在整个会话中不断地获取这些信息、调试、上下文清理消息，并在某种程度上干扰了我的编码工作。有办法把这些关掉吗？scala> 22/10/11 15:47:31 INFO org.apache.spark.scheduler.cluster.YarnSchedulerBackend$YarnDriverEndpoint: Registered exec
浏览 11提问于2022-10-11得票数 2
我正在尝试传递jar中的application.conf和Log4j.properties，但我想从外部传递它们。我通过spark提交命令进行了尝试，如下所示： /opt/apps/spark/bin/spark-submit
--files /opt/apps/spark/code/src/main/resources/application.co
浏览 28提问于2021-10-26得票数 0
1回答
在这个问题中发现的中的关于从pyspark登录的信息并不适用于我:日志记录没有发生。根据文档，哪一项是正确的：
log4j.properties文件在conf目录中。开始的一种方法是复制位于那里的现有lo
浏览 2提问于2015-03-07得票数 0
回答已采纳
我正在尝试在Spark中为Executor和Driver设置自定义的log4j属性。我希望在不将log4j文件上传到执行器和驱动程序节点的情况下执行此操作。我在应用程序jar中有log4j属性文件。spark-submit --deploy-mode cluster --master yarn --conf spark.driver.userClassPathFirst=true --conf spark.executor.userClassPathFirst=true --conf <
浏览 0提问于2016-11-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
