spark-submit --deploy-mode cluster --master yarn --class org.apache.spark.examples.SparkPi s3n://bucketorg.apache.spark.sql.SQLContext(sc)
}
最终应用程序状态:失败，exitCode: 10 (原因:不明异常: java.lang.ClassNotFoundException: org.apache.spark.ex
浏览 3提问于2016-09-15得票数 0
/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node01:7077,node02:7077,total-executor-cores 2 /export/servers/spark-2.2.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.3.jar 100
java.lang.ClassNotFoun
浏览 7提问于2019-09-24得票数 0
当我在终端上手动提交相同的作业时，它工作如下： --class org.apache.spark.examples.SparkPi \
--master sparkexecutor-memory', '2g', '--driver-memory', '1g', '--name', u'airflow-spark-example', '--class', 'class org.apache.sp
浏览 1提问于2018-08-01得票数 0
回答已采纳
由于安全限制，我正在Spark提交脚本(https://github.com/hortonworks-spark/spark-atlas-connector)中安装spark Atlas Connector，我无法将atlas-application.properties放入spark/conf存储库中。 我在spark-submit中使用了两个选项： --driver-class-path "spark.driver.extraClassPath=hdfs:///directory_to_properties_files" \
--conf "spark.exec
浏览 53提问于2020-07-20得票数 0
在Apache中，Smart-submit.sh如何在不同的模式和不同的集群管理器中工作？具体地说：
在程序员看来，除了--master之外，火花-submit.sh是否具有相同的界面呢？用于指定群集管理器的Smar
浏览 1提问于2020-03-14得票数 3
2回答
/bin/run-example SparkPi 10
java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi
浏览 2提问于2014-12-03得票数 1
回答已采纳
我已经在独立集群模式(Windows 7)中完成了星火设置。我能够注册2个节点，并验证相同的火花用户界面。但是，当我提交一份工作时，它的地位总是处于等待状态。任何帮助都会很感激。
浏览 0提问于2018-05-02得票数 0
我的问题如下，当我启动spark-submit时，什么都没有发生。我写了以下命令行：我知道我必须指定masterURL和类，但如果我在命令行中指定它们或不指定它们，它总是相同的…没什么。当我传递参数时，我成功地将它们打印到stdout上，但是所有引用spark的代码都没有启动。(我在windows下使用spark )
浏览 3提问于2016-10-06得票数 1
1回答
我有一个马拉松式的工作，要做的事情如下：但是，接下来我想使用以下命令将单个Spark作业作为单独的Marathon作业运行：我的问题是:我如何从Mesos执行程序调用spark-submit，二进制文件没有安装在它上面？(注意:我知道也建议在所有Mesos从属服务器上安装Spark，但这是唯一的选择吗？)
浏览 1提问于2016-08-22得票数 3
spark-submit命令时，我得到了这个错误：java.lang.ClassNotFoundException
浏览 8提问于2015-08-13得票数 9
回答已采纳
1回答
情况在最后的示例中，使用带通配符(*)的逗号分隔的textFile(...)路径调用S3 API：该作业在驱动程序中花费了大量时间，最后由于以下错误而耗尽了内存。
Container [pid=66583,containerID=container_150
浏览 3提问于2017-10-05得票数 1
--region=us-east4 \ --class=org.apache.spark.examples.SparkPi
浏览 7提问于2022-02-01得票数 3
回答已采纳
当我定义main_class时，作业失败并显示以下错误： java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPiimport trigger_rule
MAIN_CLASS = 'org.apache.spark.example
浏览 37提问于2019-02-20得票数 1
回答已采纳
我要把一个函数传递给火花。该函数解决了一个优化问题，每个数据行都需要大约半秒钟的时间来解决。然而，如果我的数据集只有10个样本，星火将处理所有的一切就像预期的一样好。但是，如果我处理100行或更多行的数据集，则会出现此错误堆栈：Setting default log level to "W
浏览 3提问于2018-06-24得票数 1
回答已采纳
/bin/spark-submit \ --master local[8] \
/path/to/examples.jar
浏览 4提问于2015-05-20得票数 0
回答已采纳
/bin/spark-submit \ --master yarn-cluster \ # can also
浏览 1提问于2014-12-19得票数 5
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号