如何在spark-submit控制台输出中更改日志级别？

在Spark中，可以通过设置spark.driver.extraJavaOptions和spark.executor.extraJavaOptions来更改日志级别。

首先，通过以下方式设置spark.driver.extraJavaOptions：

spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" ...

其中，/path/to/log4j.properties是你自定义的log4j配置文件路径。

然后，通过以下方式设置spark.executor.extraJavaOptions：

spark-submit --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" ...

同样，/path/to/log4j.properties是你自定义的log4j配置文件路径。

在log4j.properties配置文件中，你可以根据需要更改日志级别。下面是一个示例配置文件：

# Set root logger level to INFO and append to console
log4j.rootLogger=INFO, console

# Set console appender properties
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

# Set Spark log level
log4j.logger.org.apache.spark=INFO
log4j.logger.org.apache.hadoop=INFO

在上述示例配置中，log4j.logger.org.apache.spark=INFO用于设置Spark的日志级别为INFO，可以根据需要将其设置为其他级别（如DEBUG、WARN等）。

通过以上步骤，你可以在Spark的submit控制台输出中更改日志级别。