我正在尝试运行scala应用程序，而在shell中，这个工作很好。但是当我用火花-提交，用我的课，它失败了。
spark-submit --deploy-mode cluster --master yarn --class org.apache.spark.examples.SparkPi s3n://bucket/test.scala
Applicacion：
package org.apache.spark.examples
import org.apache.spark.sql.types._
import org.apache.spark.sql.SQLContext
object
浏览 3提问于2016-09-15得票数 0
我试图在linux中运行命令来运行spark示例，我的spark版本是Spark 2.2.3-bin-hadoop2.7。我的星火集群正在运行。所以我不明白为什么是错的。下面是我的命令:
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node01:7077,node02:7077,node03:7077 --executor-memory 1G --total-executor-cores 2 /export/servers/spark-2.2.3-bin-hadoop2.7/exam
浏览 7提问于2019-09-24得票数 0
2回答
我正在尝试学习如何使用Apache，我对一个简单的例子有一个问题，但是我找不到解决方案。我正在使用Java7-Oracle和Scala2.9.3开发Ubuntu13.04。当我尝试运行SparkPi示例时，我得到了以下输出：
filippo@filippo-HP-Pavilion-dv6-Notebook-PC:/usr/local/spark$ ./bin/run-example SparkPi 10
java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi
at java.net.URLClass
浏览 2提问于2014-12-03得票数 1
回答已采纳
2回答
在Google引擎上部署了一个Hadoop (Yarn + Spark)集群，其中包含一个主服务器和两个从服务器。当我运行以下shell脚本时：
/home/hadoop/spark-install/lib/spark-examples-1.1.0-hadoop2.4.0.jar 火花-提交-类org.apache.spark.examples.SparkPi -主纱线-机群-num-执行器1-驱动器-内存1g -执行器-内存1g -执行器-芯1 org.apache.spark.examples.SparkPi 10
作业一直在运行&每一秒我都会收到一条类似于以下内容的消息：
15
浏览 3提问于2015-02-06得票数 1
我最近一直在学火花。我通常通过命令行提交火花作业。例如：
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[8] \
/path/to/examples.jar \
100
但是，我想在Java代码中运行spark submit，比如SparkResult result = sc.submit()。
浏览 4提问于2015-05-20得票数 0
回答已采纳
在SPARK-SUBMIT中，"yarn“、"yarn-cluster”、"yarn-client“部署模式有什么区别？
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \ # can also be `yarn-client` for client mode
--executor-memory 20G \
--num-executors 50 \
/path/to/examples.jar \
1000
浏览 1提问于2014-12-19得票数 5
回答已采纳
1回答
我想使用livy编程API提交批处理jar Spark作业，就像使用rest批处理一样，我有json数据
{
"className": "org.apache.spark.examples.SparkPi",
"queue": "default",
"name": "SparkPi by Livy",
"proxyUser": "hadoop",
"executorMemory": "5g",
浏览 1提问于2018-11-21得票数 2
使用像这样简单的东西：
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --executor-memory 3g --executor-cores 1 --num-executors 1 examples/jars/spark-examples_2.11-2.4.7-amzn-0.jar 1000
我可以在Hadoop仪表板上看到"vCores Used“大于"vCores Total”。
这怎么会发生呢？
浏览 1提问于2021-04-08得票数 0
当我使用以下命令时：
spark-submit --master spark://hadoop01:7077 --class org.apache.spark.examples.SparkPi
/data/spark-2.2.0-binhadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar
错误就会发生。
线程“main”java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession中的异常
我的Hadoop环境是hdp 2.4.0.0-169。我怎样才能纠正错误
浏览 0提问于2018-03-01得票数 0
回答已采纳
我正在尝试使用气流来触发本地星火独立点上的spark-examples.jar，但我总是遇到异常。当我在终端上手动提交相同的作业时，它工作如下：
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://<HOSTNAME>:7077 \
--deploy-mode cluster \
--executor-memory 1G \
--total-executor-cores 1 \
/path/to/spark-examples_2.11-2.3.1.jar \
浏览 1提问于2018-08-01得票数 0
回答已采纳
我只需设置Spark并运行命令
spark-shell --master yarn-client --driver-memory 512m --executor-memory 512m
但是，它只会无休止地打印出如下消息
16/04/25 17:34:46 INFO Client: Application report for application_1460481694166_0125 (state: ACCEPTED)
我在某处读到，我可以尝试kill该应用程序。但我不确定是什么
当我尝试的时候
yarn application -list
我明白了
Applica
浏览 0提问于2016-04-26得票数 0
我使用3个虚拟机作为主机，使用Ambari设置了一个集群(YARN)。
在哪里可以找到HADOOP_CONF_DIR的值？
# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \ # can also be `yarn-client` for client mode
--executor-memory 20G \
--num-executors 50 \
浏览 1提问于2015-12-17得票数 9
我试图提交谷歌的数据批处理作业。根据文档，我们可以传递subnetwork作为参数。但是当它被使用时，它给了我
错误：(gcloud.dataproc.batches.submit.spark)不可识别的参数：--子网络=
这是我使用过的gcloud命令，
gcloud dataproc batches submit spark \
--region=us-east4 \
--jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
--class=org.apache.spark.example
浏览 7提问于2022-02-01得票数 3
回答已采纳
当我们想从Spark连接HDFS时，我们只是将HADOOP_CONF_DIR设置为而不是将各种参数传递给Spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
/usr/hdp/current/spark-client/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --executor-memory 1G --num-executors 3 /usr/hdp/current/spark-cli
浏览 4提问于2020-08-03得票数 1
2回答
我已经在我的k8s集群上安装了星图头盔，我有3个吊舱，运行1个主程序ET2执行程序，但仍然能够提交火花作业.在"Submit a application“一节中，它提到我们可以使用./bin/ org.apache.spark.examples.SparkPi --class org.apache.spark.examples.SparkPi--主火花://：-部署模式集群。/ /jars/spark示例_2.11-2.4.3.jar 1000，但是从哪里来？从我们的本地机器上？从里面的火星主吊舱？有什么帮助吗？
浏览 0提问于2021-05-31得票数 0
如果我们不能分配所有的resoucres，火花或纱线是否有任何快速工作失败的标志？
例如，如果我跑
spark-submit --class org.apache.spark.examples.SparkPi
--master yarn-client
--num-executors 7
--driver-memory 512m
--executor-memory 4g
--executor-cores 1
/usr/hdp/current/spark2-client/examples/jars/spark-examples_*
浏览 1提问于2022-03-25得票数 0
回答已采纳
在过去的几天里，我在Kubernetes上体验了Spark (2.3.0)。
我已经在linux和windows机器上测试了示例SparkPi，发现linux spark-submit运行正常，并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)
在windows上，spark因类路径问题而失败(Could not find or load main class org.apache.spark.examples.SparkPi)
我注意到当从linux运行spark-submit时，类路径是这样的：
-cp ':/opt/spark/jars/*:/var/
浏览 0提问于2018-04-09得票数 0
我正在尝试运行一个SparkPi示例的简单执行。我启动了主程序和一个工作人员，然后在本地的“集群”上执行了作业，但最终得到了一系列的错误，这些错误都以
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398
最初，我尝试在没有配置的情况下运行我的主程序和工作程序，但结果却出现了同样的错误。我试图将其更改为127.0.0.1，以测试它是否只是防火墙问题，因为服务器是从外部世界锁定的。
我的conf/spark-c
浏览 1提问于2014-03-02得票数 8
回答已采纳
我注意到在我的项目中有两种运行火花作业的方法。
第一种方法是提交作业以激发提交文件。
/回收站/火花-提交
-- org.apache.spark.examples.SparkPi类
- local8大师
/path/to/examples.jar
100
的第二种方法是将java文件打包到jar中，并通过hadoop运行它，同时在MainClassName中有火花代码：
hadoop jar JarFile.jar MainClassName
这两种方式有什么区别？我需要哪些先决条件才能使用？
浏览 2提问于2020-11-18得票数 0
回答已采纳
我有一个Kubernetes集群，它只由一个VM (minikube集群)组成。
在这个集群中，我有一个火花公子和两个工人在运行。我已经以以下方式设置了in addon (我的星火组件使用默认端口)：
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: minikube-ingress
annotations:
spec:
rules:
- host: spark-kubernetes
http:
paths:
- path: /web-ui
backend:
浏览 2提问于2019-04-04得票数 1
回答已采纳
在EMR集群的主节点上提交EMR步骤与运行火花提交步骤有什么区别？
EMR step
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/lib/spark-examples.jar,10]
火花提交
spark-submit --master yarn --deploy-mode c
浏览 5提问于2021-11-09得票数 1
回答已采纳
我是Spark的新手，正在尝试在EC2上运行它。我遵循spark网页上的教程，使用spark-ec2启动Spark集群。然后，我尝试使用spark-submit将应用程序提交到集群。该命令如下所示：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://ec2-54-88-9-74.compute-1.amazonaws.com:7077 --executor-memory 2G --total-executor-cores 1 ./examples/target/scala-2.10/spa
浏览 0提问于2014-06-13得票数 8
我遵循了下面的说明，除了minicube之外，我使用了Google平台Kubernetes集群：(Spark2.3.2)
当我提交火花工作时：
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://spark-master:7077 \
--executor-memory 471859200 \
--total-executor-cores 20 \
--deploy-mode cluster \
/opt/spark/examples/jars/sp
浏览 0提问于2020-04-18得票数 0
目前，我正试图在运行在IBM上的Kubernetes集群上部署一个星火示例jar。
如果我试图遵循这些，我就无法启动Spark，因为我总是收到错误消息：
系统找不到指定的文件。
输入代码后
bin/spark-submit \
--master k8s://<url of my kubernetes cluster> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.
浏览 0提问于2018-05-14得票数 7
回答已采纳
我使用以下命令在kubernetes集群中运行示例spark作业：
bin/spark-submit \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
--master k8s://https://XXXXX \
--kubernetes-namespace sidartha-spark-cluster \
--conf spark.executor.instances=2 \
--conf spark.app.name=spark-pi \
--conf spark.kube
浏览 4提问于2017-08-22得票数 1
回答已采纳
1回答
我正试图在kubernetes上运行一个示例星星之火应用程序(在星火示例jar中提供)，并试图理解其行为。在这个过程中，我做了以下工作，
构建了一个运行中的kubernetes集群，具有3个节点(1个主节点和2个子节点)，具有足够的资源(10核，64 64Gigs mem，500 10磁盘)。请注意，我的节点上没有互联网访问权限。
安装火种分配-火花-2.3.3-bin-hadoop2.7
由于节点上没有internet访问，所以我预装了一个火花映像(从gcr.io/cloud-solutions-images/spark:v2.3.0-gcs)到运行kubernetes主服务器的
浏览 2提问于2019-03-29得票数 1
回答已采纳
2回答
火花动态分配不起作用
、、、
我想为我提交的应用程序使用spark的dynamic-allocation特性，但是应用程序不缩放。
我的集群由3节点组成，每个节点都有：
4芯
8GB RAM
火花: 1.6
纱线+ MapReduce2: 2.7
我使用hdp2.4并按照以下方式设置所有所需的动态分配属性(它们是在hdp中预先配置的，但我用验证它们)：
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.initialExecutors=5 -spark.dynamicAllocation.maxExecutors=10
浏览 3提问于2016-07-20得票数 0
我正在尝试按照这个文档使用齐柏林飞艇配置livy：
但是，当我运行时：
%livy.spark
sc.version
我得到了以下错误：
java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong
我使用的是Zeppelin 0.7.3、Spark 2.2.1和Livy 0.4.0。Spark在纱线上运行(hadoo
浏览 0提问于2018-01-03得票数 0
这是一个关于在Windows 10中作为独立安装的Spark的问题，我已经在我的系统中安装了Spark和相关的hadoop类。我正在学习火花，当我通过运行cmd "C:\Spark\bin\pyspark"启动火花交互外壳后，它就启动了。
Spark version 1.6.1
然而，我无法运行火花-提交。
命令：
C:\Spark\bin\spark-submit --class org.apache.spark.examples.SparkPi --master local \
C:\Spark\lib\spark-exa
浏览 1提问于2017-10-08得票数 2
1回答
我正在尝试使用kuberenet作为spark的集群管理器。我还想将容器日志发送到splunk。现在，我已经在同一个名称空间中部署了监视堆栈 (fluent-bit、prometheus等)，如果您的pod有特定的environment_variable，它将开始读取日志并将其推送到splunk。我找不到的是如何设置环境变量并填充它。
bin/spark-submit \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
--master k8s://https://my-kube-clus
浏览 1提问于2020-02-10得票数 0
回答已采纳
我正在尝试通过Kubernetes提交作业。已通过，并通过以下命令成功提交作业：
$ bin/spark-submit \
--master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.ima
浏览 0提问于2020-01-27得票数 0
我正在尝试运行spark- on -K8，当我在互联网上读东西的时候，我偶然发现了“Resource Staging Server”的字样。
AFAIK是共享jars到executor的服务器。但是当我使用spark-submit发出命令时。
spark-2.3.1-bin-hadoop2.7/bin/spark-submit \
--master k8s://k8s-url \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark
浏览 18提问于2018-08-14得票数 1
回答已采纳
我正在尝试在kubernetes集群上启动一个标准示例SparkPi。Spark-submitt创建pod并失败，并显示错误- " error : main not find or load main class org.apache.spark.examples.SparkPi“。
spark-提交
spark-submit \
--master k8s://https://k8s-cluster:6443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
-
浏览 10提问于2018-07-23得票数 2
回答已采纳
我的主项目中有一个XML布局文件，其中包含以下内容：
<com.quietlycoding.android.picker.NumberPicker
android:id="@+id/belegposition_belegpositionpickerpause"
android:layout_width="wrap_content"
android:layout_height="wrap_content" />
这个包驻留在我已经添加到构建路径中的另一个项目中。包名
浏览 0提问于2013-02-03得票数 0
回答已采纳
我是的初学者，我想使用API来创建集群并在python中提交作业。我被困住了，因为我不能这样做。另外，如果我有一个现有的集群，代码会是什么样的呢？我在运行这段代码后得到了作业id，但是无法看到任何输出。
import requests
DOMAIN = ''
TOKEN = ''
response = requests.post(
'https://%s/api/2.0/jobs/create' % (DOMAIN),
headers={'Authorization': 'Bearer %s' % TOK
浏览 0提问于2021-07-08得票数 3
我在BigData上是比较新的，我试着用apache来调用spark。使用submit命令行可以正常工作。对于livy，我有例外
命令行：
curl -X POST '{"file"：“/user/romain/smack-examples.jar”，"className"："org.apache.spark.examples.SparkPi"}‘-H’内容-Type: application/json‘
Livy日志：
2019-06-01 00:43:19,160 WARN util.NativeCodeLoa
浏览 0提问于2019-06-02得票数 0
1回答
我正在尝试在Kubernetes上提交一个Spark作业，并将日志写到S3。我使用的是EKS和Spark客户端模式
我可以将我的Spark日志写到本地目录，例如，下面的作品：
bin/spark-submit \
--master k8s://https://<k8s-master>:443 \
--deploy-mode client \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=5 \
--conf spark.eventLog.en
浏览 22提问于2020-02-29得票数 0
回答已采纳
1回答
我正在使用Paramiko测试来自外部系统的docker命令(我需要这样做，我不能只构建容器并在本地测试它)，我试图运行的测试用例包括启动Apache并运行其中一个示例，特别是SparkPi。出于某种原因，我的python脚本挂在下面的docker exec ...命令上。但是，以前执行其他停靠执行程序，并且没有出现手动运行所有操作的问题。只有当我把所有的东西都放进剧本的时候，它才会破裂。
命令
stdin, stdout, stderr = ssh_client.exec_command(f'docker exec {spark_container_id} bash -c \'
浏览 0提问于2019-05-02得票数 1
我正在尝试根据官方网站上的说明在Kubernetes上启动spark。我按照说明使用他们提供的脚本创建了一个镜像，如下所示：
./bin/docker-image-tool.sh -r <repo> -t my-tag -p ./kubernetes/dockerfiles/spark/bindings/python/Dockerfile build
对于<repo>，我使用的是pyspark。我对Kubernetes的spark提交如下：
./bin/spark-submit \
--master k8s://https://<ipaddress>
浏览 38提问于2020-08-03得票数 0
我用它来提交一个样本spark_jar_task
我的示例spark_jar_task请求计算Pi：
"libraries": [
{
"jar": "dbfs:/mnt/test-prd-foundational-projects1/spark-examples_2.11-2.4.5.jar"
}
],
"spark_jar_task": {
"main_class_name": "org.apache.spark.examples.SparkPi"
浏览 3提问于2020-05-10得票数 2
我试着用火花读取来自cassandra 2.0.6的数据。我使用datastax drivers.While读取一个错误，比如“损失是由java.lang.ClassNotFoundException java.lang.ClassNotFoundException: java.lang.ClassNotFoundException java.lang.ClassNotFoundException引起的但是我在我的pom.xml中包含了火花-卡桑德拉-连接器_2.10，它有com.datastax.spark.connector.rdd.CassandraRDD class.Am i缺少任何其
浏览 3提问于2014-08-18得票数 2
回答已采纳
我试图从spark 2.3.0的二进制版本向k8s集群提交一个示例作业，提交命令如下所示。然而，我一直都遇到一个错误的主错误。我确信我的k8s集群运行良好。
bin/spark-submit \
--master k8s://https://<k8s-master-ip> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=3 \
--conf sp
浏览 1提问于2018-03-15得票数 2
回答已采纳
我正在阅读星火指南2.1.0，并在上看到了下面的一行，目前，独立模式不支持集群模式的Python应用程序。
但下面有一个示例，运行在星火独立集群上，在集群部署模式下运行，并具有监督性
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://207.184.161.138:7077 \
--deploy-mode cluster \
--supervise \
--executor-memory 20G \
--total-executor-cores 100 \
浏览 0提问于2017-01-29得票数 1
回答已采纳
2回答
大师必须从纱线开始，火花
、、、
当我想要运行SparkPi示例时，我会得到这个错误。
beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar
Spark assembly has been built with Hi
浏览 6提问于2015-10-15得票数 3
回答已采纳
我试图连接到HDFS并添加使用Azure Blob作为存储的文件。在Apache中，我使用hdfs-site.xml和core-site.xml文件配置了HDFS连接。
Apache中的PutHDFS组件引发以下错误。
10:01:39 UTC ERROR
PutHDFS. Failed to properly initialize Processor. If still scheduled to run, NiFi will attempt to initialize and run the Processor again after the 'Administrative Yiel
浏览 5提问于2022-06-13得票数 1
我有一个“myprogram.py”和我的“myprogram.scala”需要在我的spark机器上运行。我如何上传和启动它们？
我一直使用shell进行转换和调用操作，但现在我想在spark机器上启动一个完整的程序，而不是每次都输入单个命令。此外，我相信这将使我更容易对我的程序进行更改，而不是开始在shell中输入命令。
我在Ubuntu 14.04中进行了独立安装，在单机上，而不是集群上，使用的是spark 1.4.1。
我在网上浏览了spark文档，但我只在集群上找到了如何做到这一点的说明。请在这一点上帮我。
谢谢。
浏览 2提问于2015-08-04得票数 1
我运行的k8s版本2.4.5火花。我已经将星火图像存储在GCS中，可以通过spark.kubernetes.container.image.pullSecrets配置访问。我还将火花应用程序jar存储在GCP buckets.When中，使存储桶公开了火花提交工作。我的问题是，我如何访问私人桶，是否有任何配置可以通过火花？我有在GCP中创建的服务帐户，也有json.keyfile。以下是星星之火提交命令：
bin/spark-submit --master k8s://https://host:port --deploy-mode cluster --name spark-pi --class
浏览 2提问于2020-04-01得票数 0
回答已采纳
我使用我的PC作为Spark服务器，同时作为Spark Worker，使用Spark 2.3.1。
起初，我使用我的Ubuntu 16.04 LTS。一切运行正常，我尝试运行SparkPi示例(使用spark-submit和spark-shell)，它能够正常运行。我还尝试使用来自Spark的REST API运行它，并使用以下POST字符串：
curl -X POST http://192.168.1.107:6066/v1/submissions/create --header "Content-Type:application/json" --data '{
&
浏览 10提问于2018-09-07得票数 0
回答已采纳
我们尝试将一个简单的SparkPI示例提交到SparkPI上。bat如下所示：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --num-executors 3 --driver-memory 4g --executor-memory 1g --executor-cores 1 .\examples\target\spark-examples_2.10-1.4.0.jar 10
pause
我们的HDFS和纱线工作良好。我们使用Hadoop2.7.0和Spark1.4.1。我
浏览 0提问于2015-08-21得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
