开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何在spark-submit控制台输出中更改日志级别？

在Spark中，可以通过设置spark.driver.extraJavaOptions和spark.executor.extraJavaOptions来更改日志级别。

首先，通过以下方式设置spark.driver.extraJavaOptions：

spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" ...

其中，/path/to/log4j.properties是你自定义的log4j配置文件路径。

然后，通过以下方式设置spark.executor.extraJavaOptions：

spark-submit --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" ...

同样，/path/to/log4j.properties是你自定义的log4j配置文件路径。

在log4j.properties配置文件中，你可以根据需要更改日志级别。下面是一个示例配置文件：

# Set root logger level to INFO and append to console
log4j.rootLogger=INFO, console

# Set console appender properties
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

# Set Spark log level
log4j.logger.org.apache.spark=INFO
log4j.logger.org.apache.hadoop=INFO

在上述示例配置中，log4j.logger.org.apache.spark=INFO用于设置Spark的日志级别为INFO，可以根据需要将其设置为其他级别（如DEBUG、WARN等）。

通过以上步骤，你可以在Spark的submit控制台输出中更改日志级别。

相关搜索:Sparklyr -在spark-submit中更改日志级别如何在Tensorflow 2中更改日志级别 Selenium:如何更改控制台显示的日志级别消息？更改redisson中的日志记录级别如何在Quarkus中更改运行时的日志级别如何在包含的库中更改日志记录级别？如何在liquibase版本3.6.3中更改日志记录级别如何在Elasticsearch中设置日志级别？如何在Scala/Java中更改Algolia客户端日志级别？如何在Julia中更改级别如何将代码更改为输出到控制台和Powershell中的输出日志？python使用logging无法打日志文件却会在控制台输出error级别日志的诡异问题?如何在Quarkus中设置日志记录级别？如何在JBOSS EAP 7中禁用跟踪或更改日志级别如何在mqtt nodejs的std out中查看控制台日志输出如何隐藏Jenkins管道控制台输出中的参数，如APIKey Flutter:如何在控制台显示日志输出并自动存储？kubernetes:如何在调度程序中降低日志级别如何在运行时更改apache flink的日志级别更改控制台日志中的默认日期格式

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Spark on YARN基础

不管使用哪种模式，Spark应用程序的代码是一模一样的，只需要在提交的时候通过--master参数来指定我们的运行模式即可

02

《从0到1学习spark》-- spark初体验

https://pan.baidu.com/s/1M7KJVH89h6bVMJVpai1s8A 密码:vdp5

02

Spark Operator 是如何提交 Spark 作业

本文将 Spark 作业称为 Spark Application 或者简称为 Spark App 或者 App。目前我们组的计算平台的 Spark 作业，是通过 Spark Operator 提交给 Kubernetes 集群的，这与 Spark 原生的直接通过 spark-submit 提交 Spark App 的方式不同，所以理解 Spark Operator 中提交 Spark App 的逻辑，对于用户来说是非常有必要的。本文将就其具体的提交逻辑，介绍一下。

03

腾讯云 EMR 常见问题100问（持续更新）

Hadoop 目前是数据处理的标准工具，其核心组件包含了HDFS（分布式文件系统）、YARN(资源调度平台)、

04

Python大数据之PySpark(四)SparkBase&Core

在哪个文件下面更改？spark-env.sh中增加YARN_CONF_DIR的配置目录

04

Spark-2

上次给大家讲了Spark local模式的启动安装和使用，现在给大家分享一下Standalone模式下的使用和安装。这个讲完以后，还有yarn和mesos下集群的安装和使用。 Spark on local Cluster伪分布式即Spark Standalone模式。此时Spark会使用Standalone的集群管理器(Cluster Manager)启动Spark。这种模式，也可以称为Spark的伪分布式。 Standalone集群管理器是Spark实现的资源调度框架，其主要的节点有Client节点、

storm系统架构学习

运行Storm nimbus后台服务的节点(Nimbus)，它是storm系统的中心，负责接收用户提交的作业(如同spark submit一样即为jar包形式保存的topology代码)，通过Zookeeper向每个工作节点分配处理任务（有进程级的也有线程级别的）

03

大数据基础系列之提交spark应用及依赖管理

在Spark的bin目录下的spark-submit脚本用于提交一个任务到集群中。因为是针对所有的集群管理器统一接口(local，Standalone，yarn，mesos)，所以不必为每一个集群管理器进行特殊的配置。一，打包应用的依赖如果你的代码依赖于其它工程，你需要将它们和你的应用一起打包，目的是将这些代码分发到Spark集群中去。为了达到这个目的，需要创建一个assembly jar或者super jar，这个jar要同时包含你的代码和它的依赖。Sbt和maven都有assembly 插件。在创

09

Apache Spark 2.2.0 中文文档 - Submitting Applications | ApacheCN

提交Spark任务的三种方式

在使用Spark的过程中，一般都会经历调试，提交任务等等环节，如果每个环节都可以确认程序的输入结果，那么无疑对加快代码的调试起了很大的作用，现在，借助IDEA可以非常快捷方便的对Spark代码进行调试，在借助IDEA来完成Spark时，可以大致通过以下几个步骤来完成：

04

Spark-Submit 和 K8S Operation For Spark

本文翻译自 Lightbend 的一篇文章，文章日期还比较新，2019/02/26。文章分为两部分，翻译也将分为两个部分。附上文章链接如下:

02

查看Spark任务的详细信息

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

02

IDEA 编写第一个spark项目

scala 2.11.12 下载：https://www.scala-lang.org/download/

03

【Spark篇】---Spark中yarn模式两种提交任务方式

Spark可以和Yarn整合，将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交任务的方式。

03

Python大数据之PySpark(二)PySpark安装

spark-submit 提交圆周率的计算代码 */examples/src/main/python/pi.py*

03

Note_Spark_Day02：Standalone集群模式和使用IDEA开发应用程序

可以发现在一个Spark Application中，包含多个Job，每个Job有多个Stage组成，每个Job执行按照DAG图进行的。

02

Spark2.3.0 使用spark-submit部署应用程序

Spark的 bin 目录中的 spark-submit 脚本用于在集群上启动应用程序。可以通过一个统一的接口使用 Spark 所有支持的集群管理器，因此不必为每个集群管理器专门配置你的应用程序。

04

YARN & Mesos，论集群资源管理所面临的挑战

在国内，大部分的Spark用户都是由Hadoop过渡而来，因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，7月2日晚，在CSDN Spark高端微信群中，一场基于YARN和Mesos的讨论被拉开，主要参与分享的嘉宾包括TalkingData研发副总裁阎志涛，GrowingIO田毅，AdMaster技术副总裁卢亿雷，Spark Committer、Mesos/Hadoop Contributor夏俊鸾，下面一起回顾。

05

Spark读写MySQL数据

执行的过程中，出现了很多次的jar冲突，我这边和Hadoop-common 以及 hadoop-dfs有依赖冲突，具体的根据自己实际情况去除

02

Spark历险记之编译和远程任务提交

Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台

09

Spark部署模式与作业提交

需要注意的是：在集群环境下，application-jar 必须能被集群中所有节点都能访问，可以是 HDFS 上的路径；也可以是本地文件系统路径，如果是本地文件系统路径，则要求集群中每一个机器节点上的相同路径都存在该 Jar 包。

03

Spark Streaming 与 Kafka0.8 整合

在这里我们解释如何配置 Spark Streaming 以接收来自 Kafka 的数据。有两种方法，一种为使用 Receivers 和 Kafka 高级API的旧方法，以及不使用 Receivers 的新方法（在 Spark 1.3 中引入）。它们具有不同的编程模型，性能特征和语义保证。就目前的 Spark 版本而言，这两种方法都被为稳定的API。

02

Spark提交任务的不同方法及执行流程

了解Spark架构原理及相关任务提交流程前，我们需要先了解一下Spark中的一些角色概念。

02

Spark简介

2）文档查看地址：https://spark.apache.org/docs/3.1.3/

02

EMR入门学习之通过SparkSQL操作示例（七）

导语：Spark 为结构化数据处理引入了一个称为 Spark SQL 的编程模块。它提供了一个称为 DataFrame 的编程抽象，并且可以充当分布式 SQL 查询引擎。

03

Spark on K8S 在有赞的实践

随着近几年业务快速发展与迭代，大数据的成本也水涨船高，如何优化成本，建设低成本高效率的底层服务成为了有赞数据基础平台2020年的主旋律。本文主要介绍了随着云原生时代的到来，经历7年发展的有赞离线计算平台如何拥抱云原生，通过容器化改造、弹性伸缩、大数据组件的错峰混部，做到业务成倍增长的情况下成本负增长。

01

Spring Boot 之日志记录

Spring Boot 内部日志全部使用 Commons Logging 记录，但保留底层日志实现。为 Java Util Logging，Log4J2，和 Logback 提供了默认配置。在每种情况下，记录器都预先配置为使用控制台输出，并且还提供可选的文件输出。

02

Flume pull方式和push方式整合

==注意在本地和服务器上切换的时候需要修改flume的sink的hostname==

03

Spark简介

2）文档查看地址：https://spark.apache.org/docs/3.1.3/

03

Kubernetes助力Spark大数据分析

Kubernetes 作为一个广受欢迎的开源容器协调系统，是Google于2014年酝酿的项目。从Google趋势上看到，Kubernetes自2014年以来热度一路飙升，短短几年时间就已超越了大数据分析领域的长老Hadoop。本公众号之前的文章（Kubernetes核心组件解析）也对Kubernetes的几个组件做了一些详细的剖析，本文就带领大家一起看看Kubernetes和Spark碰到一起会擦出什么样的火花。

01

Spark源码分析-作业提交(spark-submit)

前面提到，spark向yarn提交作业的client类是org.apache.spark.deploy.yarn.YarnClusterApplication

03

工作常用之Spark调优[二】资源调优

先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节

02

Python大数据之PySpark(三)使用Python语言开发Spark程序代码

需求：[(‘Spark’, 2), (‘Flink’, 1), (‘hello’, 3), (‘you’, 1), (‘me’, 1), (‘she’, 1)]

02

日志传习录 | 日志级别

这些问题导致了许多矛盾的产生。然而，当问题出现时，我们需要依赖日志记录来建立一种“不在场证明”，找出哪一方有问题。

03

工作常用之Spark调优【二】资源调优

先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节

02

Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生

在过去数年中，网易在大数据云原生领域进行了长足的探索。本文围绕如何基于 Apache Kyuubi & Celeborn 等开源技术，构建企业级 Spark on Kubernetes 云原生离线计算平台展开，包含技术选型、架构设计、经验教训、缺陷改进、降本增效等内容，深入剖析网易在该领域的探索成果。

04

基于Apache Hudi和Debezium构建CDC入湖管道

当想要对来自事务数据库（如 Postgres 或 MySQL）的数据执行分析时，通常需要通过称为更改数据捕获[4] CDC的过程将此数据引入数据仓库或数据湖等 OLAP 系统。Debezium 是一种流行的工具，它使 CDC 变得简单，其提供了一种通过读取更改日志[5]来捕获数据库中行级更改的方法，通过这种方式 Debezium 可以避免增加数据库上的 CPU 负载，并确保捕获包括删除在内的所有变更。现在 Apache Hudi[6] 提供了 Debezium 源连接器，CDC 引入数据湖比以往任何时候都更容易，因为它具有一些独特的差异化功能[7]。Hudi 可在数据湖上实现高效的更新、合并和删除事务。Hudi 独特地提供了 Merge-On-Read[8] 写入器，与使用 Spark 或 Flink 的典型数据湖写入器相比，该写入器可以显着降低摄取延迟[9]。最后，Apache Hudi 提供增量查询[10]，因此在从数据库中捕获更改后可以在所有后续 ETL 管道中以增量方式处理这些更改下游。

02

用 Facebook Hydra 参数配置框架来简化程序配置

Facebook Hydra 允许开发人员通过编写和覆盖配置来简化 Python 应用程序（尤其是机器学习方面）的开发。开发人员可以借助Hydra，通过更改配置文件来更改产品的行为方式，而不是通过更改代码来适应新的用例。

04

YARN & Mesos，论集群资源管理所面临的挑战

在国内，大部分的Spark用户都是由Hadoop过渡而来，因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，7月2日晚，在CSDN Spark高端微信群中，一场基于YARN和Mesos的讨论被拉开，主要参与分享的嘉宾包括TalkingData研发副总裁阎志涛，GrowingIO田毅，AdMaster技术副总裁卢亿雷，Spark Committer、Mesos/Hadoop Contributor夏俊鸾，下面一起回顾。

08

windows下搭建spark测试环境

在windows 环境中搭建简单的基于hadoop 的spark 环境，进行本地化测试。

06

如何在Java应用中提交Spark任务？

最近看到有几个Github友关注了Streaming的监控工程——Teddy，所以思来想去还是优化下代码，不能让别人看笑话啊。于是就想改一下之前觉得最丑陋的一个地方——任务提交。本博客内容基于Spark2.2版本~在阅读文章并想实际操作前，请确保你有：一台配置好Spark和yarn的服务器支持正常spark-submit --master yarn xxxx的任务提交老版本老版本任务提交是基于 ** 启动本地进程，执行脚本spark-submit xxx ** 的方式做的。其中一个关键的问题就是

06

SparkStreaming入门

黄文辉同学第二篇，请大家支持！ 1.SparkStreaming简介 Spark Streaming属于核心Spark API的扩展,支持实时数据流的可扩展、高吞吐、容错的流处理。可以接受来自Kafka、Flume、ZeroMQ、Kinesis、Twitter或TCP套接字的数据源，也可以使用map、reduce、join、window等高级函数表示的复杂算法进行处理。最后，处理的结果数据可以输出到hdfs，redis，数据库（如hbase）等。 2.工作原理 Spark Streaming使用“微批次”

04

Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN

本文介绍了 Apache Spark 的集群模式概述，包括集群管理、提交应用程序、监控等方面的内容。

05

【Spark】Spark之how

Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。（Java1.8支持了lamda表达式）

02

深入浅出理解 Spark：环境部署与工作原理

一、Spark 概述 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 Hadoop。 1.1 Spark 与 Hadoop Spark 基于 Hadoop MapReduce 算法实现的分布式计算，拥有 Hadoop MapReduc

01

Spark系列——Spark On Yarn 资源申请流程

到这里我们也基本讲明白了 Yarn-Client 模式的资源申请了，但是说的比较浅，没有涉及到很多细节，说来也比较惭愧，Spark 的 Standalone 模式源码倒是看过，但是到目前为止，都没有深入研究过Yarn的源码，尽管工作中基本都是用的 Yarn 作为资源管理~~~ 所以也只能点到即止了，如果后续有时间，可能会进行补充。

02

Confluence 6 配置日志原

我们推荐你根据你的需求来配置你自己的 Confluence 日志。你可以有下面 2 种方法来修改你的日志：

02

Spark——底层操作RDD,基于内存处理数据的计算引擎

Apache Spark是一个快速的通用集群计算框架 / 殷勤。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX用于图形处理和Spark Streaming. 。作为Apache的顶级项目之一, 它的官网为 http://spark.apache.org

02

R︱sparkR的安装与使用、函数尝试笔记、一些案例

本节内容转载于博客： wa2003 spark是一个我迟早要攻克的内容呀~ ————————————————————————————————————— 一、SparkR 1.4.0 的安装及使用 1、./sparkR打开R shell之后，使用不了SparkR的函数装在了 /usr/local/spark-1.4.0/ 下 [root@master sparkR]#./bin/sparkR 能进入R，和没装SparkR的一样，无报错 > library(SparkR) 报错： Error i

05

Spark之集群概述

摘要本文简要地概述一下Spark是如何在集群上运行,让它更容易理解。 Spark 组件说明 Spark的应用程序作为一个独立的进程在Spark集群上运行，并由SparkContext对象（驱动程序）来运行你的主应用程序。总体来说，应用程序在集群上运行，SparkContext可以连接一下几种的管理组件：Spark自身具有的管理器，Mesos或者Yarn，来实现将资源分配给应用程序。一旦运行起来，Spark就可以获得需要执行的集群节点，并为应用程序提供计算和数据存储。接下来Spark将应用程序发送给执

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭