如何在使用Spark Submit时提交参数？

在使用 spark-submit 命令提交 Spark 作业时，可以通过 --conf 参数传递配置选项，或者通过 --jars 参数传递依赖的 JAR 文件

以下是一些常见的 spark-submit 参数示例：

1. 提交一个简单的 Spark 应用程序：

spark-submit --class com.example.MyApp myapp.jar arg1 arg2 arg3

在这个例子中，com.example.MyApp 是主类，myapp.jar 是包含应用程序代码的 JAR 文件，arg1 arg2 arg3 是传递给主类的命令行参数。

1. 设置 Spark 配置选项：

spark-submit --class com.example.MyApp myapp.jar arg1 arg2 arg3 --conf spark.executor.memory=4g --conf spark.driver.memory=4g

在这个例子中，我们设置了执行器（executor）和驱动程序（driver）的内存限制为 4GB。

1. 提交依赖的 JAR 文件：

spark-submit --class com.example.MyApp myapp.jar arg1 arg2 arg3 --jars lib1.jar,lib2.jar

在这个例子中，我们将 lib1.jar 和 lib2.jar 作为依赖项传递给 Spark 应用程序。

1. 使用 YARN 集群模式提交作业：

spark-submit --class com.example.MyApp myapp.jar arg1 arg2 arg3 --master yarn --deploy-mode cluster

在这个例子中，我们将作业提交到 YARN 集群，并使用集群模式部署应用程序。