如何在集群模式下运行spark-submit命令时覆盖spark jars？(okhttp3)
在集群模式下运行spark-submit命令时覆盖spark jars，可以通过以下步骤实现：
- 首先，确保你已经安装了Apache Spark，并且配置了正确的环境变量。
- 在你的应用程序中，使用okhttp3库时，需要将相关的jar文件添加到Spark的classpath中。可以通过以下几种方式实现：
- a. 将okhttp3的jar文件手动添加到Spark的lib目录中。这样Spark在运行时会自动加载该jar文件。
- b. 在spark-submit命令中使用--jars参数指定okhttp3的jar文件路径，例如：
- b. 在spark-submit命令中使用--jars参数指定okhttp3的jar文件路径，例如：
- c. 在你的应用程序中使用SparkSession的config方法，将okhttp3的jar文件路径添加到Spark的配置中，例如：
- c. 在你的应用程序中使用SparkSession的config方法，将okhttp3的jar文件路径添加到Spark的配置中，例如：
- 确保你的集群中的所有节点都能够访问到okhttp3的jar文件。可以将该jar文件上传到HDFS或者其他分布式文件系统中，并在Spark的配置中指定该文件的路径。
- 提交你的Spark应用程序到集群中运行，使用spark-submit命令，例如：
- 提交你的Spark应用程序到集群中运行，使用spark-submit命令，例如：
通过以上步骤，你可以在集群模式下成功运行spark-submit命令，并覆盖Spark的jar文件，以使用okhttp3库。请注意，以上步骤仅适用于Apache Spark，具体的配置和命令可能会因不同的Spark版本而有所差异。
相关·内容
我正在使用星火2.1 (BTW)在一个纱线集群。
我正在尝试上传纱线集群上的JAR，并使用它们来替换现场(就地阅读) Spark。
我正试图通过火花提交来做到这一点。
的问题和相关的答案充满了有趣的观点。
其中一个有用的答案是：
spark-submit --jars additional1.jar,additional2.jar \
--driver-class-path additional1.jar:additional2.jar \
--conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
浏览 0提问于2020-11-12得票数 1
1回答
我在Google平台上创建了一个集群，有五个基于linux的虚拟机(VM)：一个主服务器和4个工作人员。我在主VM上运行./start-master.sh，在worker VM上运行./start-worker.sh [external-master-IP:7077]。
现在，我想简单地运行一个图形示例作业，例如，使用./bin/spark-submit.运行一个已经在Spark中的PageRank算法
我知道，我读过文件，上面写着要这样运行：
./bin/spark-submit \
--class <main-class> \
--master <master
浏览 6提问于2021-02-07得票数 1
回答已采纳
1回答
我有一个由两个工人和一个主人组成的集群。为了启动Master&Worker，我在主机器中使用了sbin/start-master.sh和sbin/start-slaves.sh。然后，主UI向我显示奴隶还活着(所以，到目前为止一切都还好)。当我想要使用spark-submit时，问题就来了。
我在我的本地机器中执行这个命令
spark-submit --master spark://<master-ip>:7077 --deploy-mode cluster /home/user/example.jar
但是会弹出以下错误：ERROR ClientEndpoint: Exc
浏览 9提问于2020-03-13得票数 0
回答已采纳
根据的说法，我用两个节点组成的集群玩星火独立游戏
当使用火花提交时，应用程序jar以及-jar选项中包含的任何jar都将自动转移到集群中。在--jar之后提供的URL必须用逗号分隔。该列表包含在驱动程序和执行者类路径中。目录扩展不适用于--jars。
我认为，当从这两台机器中的一台执行spark-submit时，它会使spark集群产生所有与--文件选项和可执行jar一起传递的文件。
相反，它有时会失败(我指的是当选择主从另一个节点时)，因为没有找到文件，更糟糕的是找不到jar。我必须通过集群分发文件和jars (相同的路径)。
注:我用语言设置了集群。
注:在代码中，我使用Spark
浏览 0提问于2018-02-06得票数 0
回答已采纳
当像这样调用spark-submit这样的spark-submit -jars my/lib/jars/*.jar my-main-jar.jar时，是否可以告诉spark-submit，如果jars文件已经上载，就不要重新上载它们？
我有大约100个不会改变的库jars，但每次我提交作业时，我都必须等待10分钟，以便spark-submit重新上传它们。我运行了一个30秒的任务来调试一个只出现在集群上的问题，但我必须等待10分钟，才能让它每次重新上传库jars。
浏览 10提问于2016-07-14得票数 0
回答已采纳
我正在使用集群模式运行spark进行部署。下面是命令
JARS=$JARS_HOME/amqp-client-3.5.3.jar,$JARS_HOME/nscala-time_2.10-2.0.0.jar,\
$JARS_HOME/rabbitmq-0.1.0-RELEASE.jar,\
$JARS_HOME/kafka_2.10-0.8.2.1.jar,$JARS_HOME/kafka-clients-0.8.2.1.jar,\
$JARS_HOME/spark-streaming-kafka_2.10-1.4.1.jar,\
$JARS_HOME/zkclient-0.3.jar,$JAR
浏览 2提问于2015-12-14得票数 4
回答已采纳
我的build.sbt文件有以下内容：
scalaVersion := "2.10.3"
libraryDependencies += "com.databricks" % "spark-csv_2.10" % "1.1.0"
我在独立集群模式下运行Spark，我的SparkConf是SparkConf().setMaster("spark://ec2-[ip].compute-1.amazonaws.com:7077").setAppName("Simple Application") (我不使用
浏览 5提问于2015-07-23得票数 6
我有一个带有Spark2.1的Hortonworks纱线集群。
但是，我想使用spark 2.3+运行我的应用程序(因为使用中的第三方ML库需要它)。
我们必须使用Spark2.1版本的spark-submit，还是必须使用带有胖罐子的Java或Scala将作业提交给纱线？这有可能吗？Hadoop库呢？
浏览 0提问于2018-12-26得票数 0
我试图在集群中测试一个程序TensorflowOnSpark。我想我使用了一个错误的火花-提交命令。请看下面
我试着提交一份如图所示的工作
~]$ spark-submit mnistOnSpark.py --cluster_size 10
上面的作业成功地运行，但是运行在一个节点上，执行器和驱动程序都在相同的机器上。但是我需要在多个nodes.So上运行作业，我尝试了下面的命令
~]$ spark-submit --master yarn-cluster mnistOnSpark.py --cluster_size 10
它是正确的命令，我应该使用提交一份工作，或任何其他我应该学习。
-cl
浏览 0提问于2018-11-25得票数 1
2回答
我正试图通过以下命令向CDH纱线集群提交一个spark作业
我试过几种组合，但都不管用.现在，我已经在本地/root以及HDFS /user/root/lib中找到了所有的poi jars，因此我尝试了以下操作
spark-submit --master yarn-cluster --class "ReadExcelSC" ./excel_sc.jar --jars /root/poi-3.12.jars, /root/poi-ooxml-3.12.jar, /root/poi-ooxml-schemas-3.12.jar
spark-submit --master yarn
浏览 2提问于2015-07-24得票数 3
我正在尝试使用spark-submit提交一个spark作业，如下所示：
> SPARK_MAJOR_VERSION=2 spark-submit --conf spark.ui.port=4090
> --driver-class-path /home/devusr/jars/greenplum-spark_2.11-1.3.0.jar --jars /home/devusr/jars/greenplum-spark_2.11-1.3.0.jar --executor-cores 3 --executor-memory 13G --class com.partition.so
浏览 0提问于2018-12-08得票数 0
1回答
我正在尝试建立和使用一个本地星火开发环境使用坞-合成。我创建了一个由3个服务组成的坞-组合堆栈：
使用的星火主
使用的一个火花工人
Scala和sbt (基于)的开发容器
在开发容器中，我创建了一个非常简单的HelloWorld scala应用程序，并使用sbt assembly构建它，使用提供的作用域设置火花-核心依赖关系。
现在，我想将HelloWorld jar作为一个作业运行在我的小型星火库集群上。我通过在Spark容器上复制jar并从工作器本身执行--deploy-mode cluster，成功地使用了spark-submit来运行作业。作业日志正确地出现在星火浏
浏览 5提问于2021-05-12得票数 1
如何将spark jar提交给带参数的集群：
./spark-submit --class package.Main --master spark://master_IP:7077 --deploy-mode=cluster --jars /spark/examples/jars/local.jar s3://a_bucket_here/tests/BlackFriday.csv
s3://a_bucket_here/tests/BlackFriday.csv是主函数的参数。
我得到了错误：
Jar url 's3://a_bucket_here/tests/BlackFriday.c
浏览 0提问于2019-02-20得票数 1
有没有办法从Spark shell运行一个示例(SparkPi)？或者通过shell向Mesos集群提交Spark作业？spark-submit目前不支持部署到Mesos，但我希望实现类似的功能，将驱动程序也放到executor中。
浏览 2提问于2014-12-04得票数 3
1回答
我有这样的sbt.build，来做火花编程：
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "3.0.1" withSources(),
"com.datastax.spark" %% "spark-cassandra-connector" % "3.0.0" withSources()
...
)
由于我的程序使用的是Spark本身以外的其他库，所以我必须使用sbt assembly来生成一个uber
浏览 10提问于2020-12-13得票数 2
回答已采纳
我有一个spark独立集群，包含一个主节点和两个工作节点。(希望我没有弄错术语)。所有的都是centos，我有一个包含文本文件的共享文件夹和一个用于所有结果文件的共享文件夹。我没有使用hdfs...我在主服务器上还有一个包含wordcount.jar文件的文件夹...我想对共享文件夹中的一个文件运行字数统计...当我使用部署模式客户端运行spark-submit时，指向主机上的wordcount.jar，一切正常，但是当我使用部署模式集群时，我得到一个错误wordcount.jar not found...为什么？我该如何修复它？我认为jar文件分布在整个集群中...谢谢
浏览 7提问于2017-02-09得票数 2
我正在试图运行一个基本脚本在星火集群上，它接收一个文件，转换它并以不同的格式输出。火花集群目前由一个主程序和一个从节点组成，它们都运行在同一个节点上。完整的命令是：
nohup spark-submit --master spark://tr-nodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g --conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-
浏览 2提问于2019-11-20得票数 0
回答已采纳
我正在使用一个集群，它不是由我自己管理的。Tensorflow库未安装在任何群集节点上。但是我想使用tensorflow包来运行一些Spark程序。我不确定是否可以简单地使用spark-submit --packages来跨集群节点广播tensorflow包。
浏览 1提问于2016-11-06得票数 1
我的星火应用程序成功地运行在我的本地机器上。我使用Hbase Docker容器，从它将数据加载到我的Spark应用程序中。现在我已经创建了EMR集群，安装了Spark和Hbase。当我试图提交JAR文件时，请购买以下异常：
java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
在本地运行我的应用程序时，我可以通过向--jars添加spark-submit标志来避免这类错误，从而为所有Hbase Jars提供了Spark的路径。
在电子病历上运行时如何克服此错误？
，，我是不是也应该把火花引向Hb
浏览 3提问于2021-02-15得票数 0
我有一个Kubernetes集群，它只由一个VM (minikube集群)组成。
在这个集群中，我有一个火花公子和两个工人在运行。我已经以以下方式设置了in addon (我的星火组件使用默认端口)：
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: minikube-ingress
annotations:
spec:
rules:
- host: spark-kubernetes
http:
paths:
- path: /web-ui
backend:
浏览 2提问于2019-04-04得票数 1
回答已采纳
1回答
我运行星火在一个独立的集群，其中火花主，工人和提交每个运行在那里自己的码头容器。
当spark-submit我的Java使用--repositories和--packages选项时，我可以看到它成功地下载了所需的依赖项。然而，stderr登录火花工作者web ui报告一个java.lang.ClassNotFoundException: kafka.serializer.StringDecoder。这个类在spark-submit下载的一个依赖项中可用。但是看起来在工人的类路径上没有吗？？
16/02/22 16:17:09 INFO SparkDeploySchedulerBackend:
浏览 10提问于2016-02-22得票数 3
1回答
我刚开始使用Spark，它刚刚在我的集群上运行(Spark2.0.1在运行Community的MapR的9个节点集群上)。我提交的单词计数示例通过
./bin/spark-submit --master yarn --jars ~/hadoopPERMA/jars/hadoop-lzo-0.4.21-SNAPSHOT.jar examples/src/main/python/wordcount.py ./README.md
并获得以下输出
17/04/07 13:21:34 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive
浏览 1提问于2017-04-07得票数 0
回答已采纳
我使用带有py-files选项的spark-submit来包含我构建的一个鸡蛋(spark_submit_test_lib-0.1-py2.7.egg)。.egg结构基本上是：
root
|- EGG-INFO
|- spark_submit_test_lib
|- __init__.pyc
|- __init__.py
|- spark_submit_test_lib.pyc
|- spark_submit_test_lib.py
|- def do_sum()
在我的驱动程序脚本spark_submit_test.py中，我有这样的
浏览 0提问于2016-10-11得票数 1
spark-submit允许使用--conf spark.executorEnv.FOO=bar配置executor环境变量，Spark REST API允许使用environmentVariables字段传递一些环境变量。不幸的是，在集群模式下使用spark-submit提交驱动程序时，我没有发现与配置驱动程序的环境变量类似的内容：
spark-submit --deploy-mode cluster myapp.jar
是否可以在集群模式下使用spark-submit设置驱动程序的环境变量？
浏览 1提问于2016-06-18得票数 19
我是Spark的新手，正在尝试在EC2上运行它。我遵循spark网页上的教程，使用spark-ec2启动Spark集群。然后，我尝试使用spark-submit将应用程序提交到集群。该命令如下所示：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://ec2-54-88-9-74.compute-1.amazonaws.com:7077 --executor-memory 2G --total-executor-cores 1 ./examples/target/scala-2.10/spa
浏览 0提问于2014-06-13得票数 8
3回答
当我使用spark的Java API从IDE运行我的Spark作业时，我得到了所需的编码格式(UTF-8)的输出。但是，如果我从命令行启动“spark-submit”方法，输出就会错过编码。
当通过命令行界面使用时，有没有办法强制编码为“spark-submit”。
我使用的是Windows 10操作系统和Eclipse IDE。
您的帮助我们将不胜感激。
谢谢。
浏览 46提问于2016-07-28得票数 1
回答已采纳
我正在尝试使用一个主节点和几个工作节点在集群上调试Spark应用程序。我已经成功地使用Spark独立集群管理器设置了主节点和工作节点。我下载了包含二进制文件的spark文件夹，并使用以下命令设置工作节点和主节点。这些命令是从spark目录执行的。
用于启动主机的命令
./sbin/start-master.sh
启动worker节点的命令
./bin/spark-class org.apache.spark.deploy.worker.Worker master-URL
用于提交申请的命令
./sbin/spark-submit --class Application --master URL
浏览 0提问于2015-03-17得票数 21
我正在运行bin/run-example ml.ImputerExample。我知道这将转化为类似于spark-submit --name MyApp --class MyMainClass --master local[2] myapplication.jar的东西。
但它转化为什么呢？我已经查看了bin/run-example，但没有找到答案。bin/run-example含量
if [ -z "${SPARK_HOME}" ]; then
source "$(dirname "$0")"/find-spark-home
fi
expo
浏览 11提问于2017-10-29得票数 1
回答已采纳
我正在试着在Mesos上运行一个流spark字数统计。当我尝试将代码部署到集群并运行时，--jars中列出的jar文件不会复制到沙箱中。如果我在客户端模式下运行，它们确实会被复制，并且我的代码会运行。--jars是否适用于Mesos --deploy-mode集群？
我正在运行Apache Spark 2.0.0-预览版和Mesos 0.28版。
来自Spark的Mesos调度器与我的主从从mesos一起运行。另外，Zookeeper也在运行。spark-submit调用如下。
(从$SPARK_HOME运行)
bin/spark-submit --class my.class.name --
浏览 0提问于2016-07-14得票数 0
我正在尝试提交一个星火应用程序从本地机器终端到我的集群。我在用我也需要在集群上运行驱动程序，而不是在我提交应用程序的机器上，即我的本地机器上。
我在用
bin/spark-submit
--class com.my.application.XApp
--master yarn-cluster --executor-memory 100m
--num-executors 50 hdfs://name.node.server:8020/user/root/x-service-1.0.0-201512141101-assembly.jar
1000
并得到错误
诊断: file:/
浏览 3提问于2015-12-21得票数 0
我必须在星星之火-提交集群部署模式和独立模式：
如何将节点指定为火花集群中的驱动节点
在我的例子中，驱动节点被动态地分配给火花。
如何从本地自动发布应用程序
在我的例子中，我必须将app的jar部署到每个节点，因为我不知道哪个节点将是驱动节点。
PS :我的提交命令是：spark-submit --master spark://master_ip:6066 --class appMainClass --deploy-mode cluster file:///tmp/spark_app/sparkrun
浏览 1提问于2017-07-04得票数 2
1回答
我正在为一个用python编程的项目使用kafka和spark streaming。我想将kafka producer的数据发送到我的流媒体程序中。当我使用指定的依赖关系执行以下命令时，它可以顺利地工作：
./spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 ./kafkastreaming.py
是否有任何方法可以指定依赖项并直接运行流代码(例如，不使用spark-submit或使用spark-submit但不指定依赖项)。
我尝试在spark的conf目录中指定spark-defaul
浏览 2提问于2017-06-26得票数 0
1回答
当在集群模式下使用submit时，jars和包配置让我感到困惑:对于jars，我可以将它们放在HDFS中，而不是本地目录中。但是对于包，因为它们使用Maven构建，用HDFS构建，所以不能工作。我的方式如下：
spark-submit --jars hdfs:///mysql-connector-java-5.1.39-bin.jar --driver-class-path /home/liac/test/mysql-connector-java-5.1.39/mysql-connector-java-5.1.39-bin.jar --conf "spark.mongodb.input
浏览 8提问于2016-08-12得票数 1
回答已采纳
2回答
我试图运行以下PySpark流在木星笔记本。下面是我在笔记本中使用的代码的第一部分：
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
sc = pyspark.SparkContext(master='local[*]',appName="PySpark streaming")
ssc = StreamingContext(sc, 2)
topic = &
浏览 0提问于2018-06-29得票数 1
回答已采纳
1回答
我正在从一个网关启动一个带有--master yarn --deploy-mode cluster选项的spark应用程序(2.1.0)，它采用yarn集群模式。然而，我看到spark-submit在网关上启动的进程仍然在本地创建了数百个线程。我希望线程是在工作节点上创建的，而不是在网关中创建的，因为集群模式是激活的。集群模式由日志确认。为什么会有数百个线程在网关中被启动？
PS:我使用的是运行Hadoop 2.6.0的加密集群。
浏览 15提问于2017-08-30得票数 0
这是我的Spark应用程序的相关部分，我在其中使用appName设置应用程序的名称。
import org.apache.spark.sql.SparkSession
object sample extends App {
val spark = SparkSession.
builder().
appName("Cortex-Batch"). // <-- application name
enableHiveSupport().
getOrCreate()
我在运行应用程序下的Hadoop YARN集群中检查了Spark应用程序
浏览 2提问于2017-05-20得票数 0
当我创建我的Spark应用程序的jar并尝试使用spark-submit运行它时，我得到了以下错误。
这是我用来运行的命令。
spark-submit --executor-memory 1g --jars s3://test-data-lab-users/spachari/test/test_2.10-1.0.jar
这就是我得到的错误。这是否意味着我没有在spark-submit中传递正确的参数？
Exception in thread "main" java.lang.IllegalArgumentException: Missing application resour
浏览 0提问于2017-12-07得票数 16
回答已采纳
我正试图在pyspark程序下面运行，该程序将从HDFS集群复制文件。
import pyspark
from pyspark import SparkConf
from pyspark.sql import SparkSession
def read_file(spark):
try:
csv_data = spark.read.csv('hdfs://hostname:port/user/devuser/example.csv')
csv_data.write.format('csv').save('/tmp
浏览 8提问于2020-07-17得票数 0
目前，我正试图在运行在IBM上的Kubernetes集群上部署一个星火示例jar。
如果我试图遵循这些，我就无法启动Spark，因为我总是收到错误消息：
系统找不到指定的文件。
输入代码后
bin/spark-submit \
--master k8s://<url of my kubernetes cluster> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.
浏览 0提问于2018-05-14得票数 7
回答已采纳
我已经使用scala的2.10.4版本构建了一个fat jar，但它将在拥有scala 2.11.1的Amazon的EMR上运行。
当我将jar (使用assembly插件创建)复制到EMR集群并使用java -jar my.jar运行它时，我得到了预期的输出(scopt，命令行解析器，它告诉我缺少参数)。
当我使用scala my.jar运行它时，我得到了同样的结果。如果我在主节点或从节点上运行jar，这是相同的。
但是，当我使用spark-submit my.jar运行它时，我得到一个错误：
Exception in thread "main" java.lang.NoSu
浏览 1提问于2015-03-06得票数 0
在GCP中，我们希望在一个data[proc集群]上以集群模式运行一个spark作业。目前，我们使用以下命令：-
gcloud dataproc jobs submit spark --cluster xxxx-xxxx-dataproc-cluster01 --region us-west2 --xxx.xxxx.xxx.xxx.xxx.xxx.xxxx.xxxx --jars gs://xxx-xxxx-poc/cluster-compute/lib/xxxxxxxx-cluster-computation-jar-0.0.1-SNAPSHOT-allinone.jar --propert
浏览 14提问于2020-03-16得票数 2
由于安全限制，我正在Spark提交脚本(https://github.com/hortonworks-spark/spark-atlas-connector)中安装spark Atlas Connector，我无法将atlas-application.properties放入spark/conf存储库中。 我在spark-submit中使用了两个选项： --driver-class-path "spark.driver.extraClassPath=hdfs:///directory_to_properties_files" \
--conf "spark.exec
浏览 53提问于2020-07-20得票数 0
我正在尝试提交一个星火应用程序从本地机器终端到我的集群。我在用--master yarn-cluster。我也需要在集群上运行驱动程序，而不是在我提交应用程序的机器上，即我的本地机器上。
当我在本地机器中提供到应用程序jar的路径时，是否会自动将其上传到集群？
我在用
bin/spark-submit
--class com.my.application.XApp
--master yarn-cluster --executor-memory 100m
--num-executors 50 /Users/nish1013/proj1/target/x-service-1.0.0-
浏览 4提问于2015-12-21得票数 20
2回答
在集群模式下运行scala spark 2.1应用程序时出现问题。
Release label:emr-5.7.0*
Hadoop distribution:Amazon 2.7.3
Applications:Hive 2.1.1, Presto 0.170, Spark 2.1.1, Ganglia 3.7.2, Zeppelin
0.7.2, ZooKeeper 3.4.10
在集群上有一个完美工作的.jar，可以通过client模式提交。当我尝试在cluster模式下提交jar时，我收到一个异常：
java.lang.IllegalArgumentException: Err
浏览 22提问于2017-08-04得票数 0
1回答
我有两个clodera hadoop集群(prod和dev)和一台客户机。此客户端计算机配置为prod群集的网关节点。
由此，我可以使用以下命令将spark作业提交到我的prod集群
spark-submit --master yarn job_script.py
现在，我想从这台客户机向我的dev集群提交相同的作业。
我试着用
spark-submit --master yarn://<dev_resource_manager_ip>:8032 job_script.py
但这似乎不起作用，我的工作仍在提交到prod cluster。如何告诉spark-submit将作业提交给开
浏览 1提问于2016-11-17得票数 0
在中，不清楚如何指定--jars参数，因为它显然不是以冒号分隔的类路径，而不是目录扩展。
文档中写着“绑定jar的路径，包括应用程序和所有依赖项。URL必须在集群中全局可见，例如，hdfs:// path或所有节点上存在的文件:// path”。
问:在$SPARK_HOME/bin中提交带有--jars的类路径的所有选项是什么？任何可以作为文档改进的无证文件吗？
我之所以这样问，是因为当我今天测试--jar时，我们必须明确地为每个jar提供一个路径：
/usr/local/spark/bin/spark-submit --class jpsgcs.thold.PipeLinkageD
浏览 1提问于2016-01-12得票数 6
回答已采纳
我已经创建了一个火花WordCount应用程序，我在本地模式下使用spark-submit命令在shell中运行该应用程序。
当我尝试在纱线上以cluster模式运行它时，使用以下命令：
spark-submit --class com.WordCount --master yarn --deploy-mode cluster WordCount-1.0.jar
它似乎没有运行，并将状态显示为：
application_1480577073003_0019申请报告(状态:接受)
如何在集群模式下spark-submit在纱线上的应用？
浏览 2提问于2016-12-14得票数 2
1回答
spark-submit --packages com.databricks:spark-redshift_2.11:2.0.1 --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC4.jar /home/hadoop/test.py
如何以Apache格式指定上面的火花提交命令？
我尝试了以下几点：
curl -X POST --data '{"file": "/home/hadoop/test.py", "conf":
{"com.databricks":
浏览 0提问于2018-07-12得票数 1
假设我有一个遥控器星系团。我可以使用ssh登录远程星火集群主机，并使用这样的示例运行spark-submit：
$SPARK_HOME/bin/spark-submit /usr/lib/spark2/examples/src/main/python/pi.py
现在我已经在我的笔记本上安装了spark，但是我没有运行它。我想在我的笔记本电脑上对远程星火集群主机运行$SPARK_HOME/bin/spark-submit。我该怎么做呢？
浏览 1提问于2018-05-03得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
