没有看到spark-submit的输出
spark-submit是Apache Spark中用于提交Spark应用程序的命令行工具。它将应用程序打包成一个JAR文件，并将其提交给Spark集群进行执行。当我们在终端中运行spark-submit命令时，它会将应用程序的代码和依赖项上传到集群中，并启动应用程序的执行。
如果没有看到spark-submit的输出，可能有以下几个原因：
- 应用程序执行失败：如果应用程序在执行过程中发生错误或异常，spark-submit可能不会产生任何输出。这可能是由于代码错误、依赖项问题或集群配置错误等原因导致的。在这种情况下，我们需要检查应用程序的日志或错误信息来找出问题所在。
- 日志级别设置：spark-submit的输出可能被设置为较低的日志级别，例如WARN或ERROR。这意味着只有警告或错误级别的日志消息才会显示在终端上。我们可以尝试调整日志级别以查看更多详细的输出。
- 配置问题：spark-submit的输出也可能受到Spark集群的配置影响。如果集群的配置不正确或不完整，可能会导致输出不可见。在这种情况下，我们需要检查集群的配置文件和日志以解决问题。
总结起来，如果没有看到spark-submit的输出，我们应该首先检查应用程序的执行状态和日志，确保代码和依赖项没有问题。如果问题仍然存在，我们可以尝试调整日志级别或检查集群的配置。
相关·内容
因此，我尝试将apache spark-submit命令的输出重定向到文本文件，但一些输出无法填充文件。下面是我使用的命令：
spark-submit something.py > results.txt
我可以在终端中看到输出，但在文件中看不到它。我在这里忘记或做错了什么？
编辑：
如果我使用
spark-submit something.py | less
我可以看到所有的输出都被输送到less中
浏览 2提问于2017-09-26得票数 11
回答已采纳
类似于，除了命令行或脚本。
我正在从我们的连续部署系统中自动运行spark-submit，我需要跟踪应用程序ID，以便在再次运行作业(以及其他各种需求)之前，我可以杀死它。
具体来说，这是一个Python脚本，它在一个纱线集群上执行作业，并且可以读取spark-submit的标准输出，我们需要它将应用程序ID保存到以后的时间。
到目前为止，我能想到的最佳方案是运行spark-submit，观察标准输出并提取应用程序ID，然后从进程中分离出来。在我看来，这种方法并不理想。
最好是，spark-submit将(仅)打印出应用程序ID，然后是Spark，到目前为止，除了修改Spark本身之外，我还没
浏览 2提问于2015-12-02得票数 2
回答已采纳
我使用以下Scala代码(作为自定义的spark-submit包装器)向纱线集群提交Spark应用程序：
val result = Seq(spark_submit_script_here).!!
在提交时，我所拥有的只有spark-submit和星火应用程序的jar (没有SparkContext)。我想从applicationId上捕获result，但它是空的。
在我的命令行中，我可以看到输出了亚恩消息的applicationId和其余部分：
INFO yarn.Client: application_1450268755662_0110的应用报告
我如何在代码中读取它并获得app
浏览 18提问于2016-01-04得票数 9
回答已采纳
我当前的开发周期是在IntelliJ中本地编辑代码，让它使用sbt ~ package自动打包到jar中，然后使用循环中的rsync命令自动复制到集群主节点。这一切都很可爱，而且很流畅，但是当我运行spark-submit时，我必须等待大约10到20秒，才能开始看到代码的输出。如果我想要不断地测试小变化的结果，这是一种非常缓慢的方法。
有没有一种方法可以重用JVM、SparkContext等，这样我就不必在spark-submit从头开始重新启动所有东西时等待了？我用的是纱线。
浏览 0提问于2015-07-28得票数 0
回答已采纳
3回答
当我使用spark的Java API从IDE运行我的Spark作业时，我得到了所需的编码格式(UTF-8)的输出。但是，如果我从命令行启动“spark-submit”方法，输出就会错过编码。
当通过命令行界面使用时，有没有办法强制编码为“spark-submit”。
我使用的是Windows 10操作系统和Eclipse IDE。
您的帮助我们将不胜感激。
谢谢。
浏览 46提问于2016-07-28得票数 1
回答已采纳
我正在从spark-submit运行一个python脚本，脚本中的stdout由spark-submit输出，如下所示：
[dd-MM-yyyy HH:MM] Line1
[dd-MM-yyyy HH:MM] Line2
[dd-MM-yyyy HH:MM] Line3
有没有办法让它像这样输出：
Line1
Line2
Line3
我知道我可以只解析输出，但我正在努力使代码更清晰易读，理想情况下，我不想硬编码被解析的行的格式。
浏览 0提问于2018-11-06得票数 0
我使用scala在spark中构建了一个机器学习项目，并使用spark-submit启动它，参数为"--master yarn-cluster“。计算步骤非常快，但它总是卡在写表的步骤上好几个小时。输出只有3Mb。以前有没有人遇到过这个问题？
scala编写表代码如下所示
mlPredictResult
.select("orderid","prediction")
.write
.mode(SaveMode.Overwrite)
.saveAsTable("tmp_sbu_vadmtestdb.AntiCF_ClickFarmi
浏览 1提问于2016-11-30得票数 0
我正在尝试使用sbt编译和sbt包命令生成uber-jar，以便在我们的远程服务器上运行我的应用程序，并将spark安装为独立模式。我使用deeplearning4j框架来构建LSTM神经网络，并倾向于通过spark进行训练模型。然而，在运行spark-submit命令时，我遇到了一个问题：
spark-submit --class "lstm.SparkLSTM" --master local[*]
stock_prediction_scala_2.11-0.1.jar --packages
org.deeplearning4j:deeplearning4j-core:0
浏览 1提问于2018-04-25得票数 1
1回答
当我为Spart流作业创建spark-submit时，我可以看到它在大约1分钟内运行，然后它以最终状态SUCCEEDED停止
16/11/16 18:58:16 INFO yarn.Client: Application report for application_XXXX_XXX (state: RUNNING)
16/11/16 18:58:17 INFO yarn.Client: Application report for application_XXXX_XXX (state: FINISHED)
我不明白为什么它会被阻止，而我希望它运行一段未定义的时间，并被从Kafka队列接收到
浏览 8提问于2016-11-16得票数 2
回答已采纳
我们正试图从使用spark-submit转向使用SparkLauncher (运行在Cloudera Hadoop上的Spark2.4)的编程解决方案，并且遇到了这个问题： Exception javax.security.auth.login.LoginException: Cannot locate KDC 在调用startApplication()之后作业进程的错误输出流上。 启动器使用与spark-submit相同的设置进行配置，包括设置"spark.kerberos.principal“和"spark.kerberos.keytab”(也尝试使用spark.yar
浏览 419提问于2020-12-02得票数 0
我使用的是spark 2.1.0，下面是最简单的代码：
public static void main(String[] args) {
SparkSession spark = SparkSession.builder().enableHiveSupport().appName("Spark Test").getOrCreate();
List<Employee> employees = ImmutableList.of(new Employee("a"), new Employee("b"), new Employ
浏览 7提问于2017-07-13得票数 0
回答已采纳
实际上，我在一个项目中工作，其中包括一个由多个任务和单个任务组成的多个组件组成的工作流程。例如。在join中，我们需要4个组件。2个用于输入(考虑两个表连接)，1个用于连接逻辑，1个用于输出(写回hdfs )。这是一项任务。同样，“排序”也可以是另一项任务。
假设一个包含这两个任务的工作流，并且这两个任务是链接的，即在执行join之后，我们在排序任务中使用join的输出。但是"join“和"sort”调用不同的"spark sessions“。
因此，流程类似于，使用spark submit为join创建一个spark会话，将输出保存在hdfs中，并关闭当前spark会
浏览 30提问于2019-07-19得票数 1
我看到我们可以使用spark-submit --files将文件添加到作业中。如果我像spark-submit --files /etc/somescript.sh一样指定绝对路径，这不是问题。 但是如果我只放入spark-submit --files somescript.sh，它会搜索什么目录呢？是当前的工作区文件夹还是所有的类路径？
浏览 59提问于2021-08-25得票数 1
我正在运行一个简单的jar，一切都很好，但是作为一种简单的调试方法，我经常发现println非常有用，除非我真的需要附加一个调试器
但是，在Spark下运行时，无法找到来自println语句的输出。
jar中的主类开头如下：
import ...
object SimpleApp {
def main(args: Array[String]) {
println("Starting up!")
...
为什么像这样简单的东西在驱动程序过程中没有显示出来。
如果重要的话，我已经在本地以及在Mesos下测试了这个运行中的火花
更新
作为，我已经把问题场景写下来了
浏览 4提问于2015-06-08得票数 1
回答已采纳
我编写pyspark代码来处理一些spark-sql数据。 上个月，当我运行spark-submit --master local[25]时，它工作得很好。在top命令中，我可以看到25个Python线程。 然而，没有什么改变，但是今天的spark-submit只创建了一个线程。我想知道什么样的事情会导致这样的问题。 这是在AWS上的ubuntu服务器上，它有16个CPU核心。Spark版本为2.2.1，Python版本为3.6
浏览 12提问于2019-02-05得票数 0
我在yarn的客户端模式下使用spark-submit提交一个pyspark作业。 spark-submit \
--name $APP_NAME \
--master yarn \
--deploy-mode client \
--num-executors 16 \
--executor-cores 1 \
--driver-memory 6g \
--executor-memory 2g \
--py-
浏览 333提问于2020-10-02得票数 0
run_cmd="spark-submit \
$SPARK_OPTIONS \
--conf spark.hadoop.fs.default.name=file:/// \
--conf spark.hadoop.fs.defaultFS=file:/// \
--py-files \
${TARGET}/test.zip \
$TEST_PY \
$RAW_DATA_FILE \
$OUTPUT \
--route $AGG_OUTPUT1 \
--origin $AGG_OUTPUT2 \
--first $AGG_OUTPUT3" #line 71
echo $run
浏览 29提问于2017-07-01得票数 1
回答已采纳
我试图用spark-submit (特别是GATK，所以命令不是spark-submit，而是类似的东西)执行一个Spark程序:这个程序只接受一个输入，所以我尝试编写一些Java代码来接受更多的输入。
特别是，我试图通过spark-submit的函数为每个输入执行一个JavaRDD：
JavaRDD<String> bashExec = ubams.map(ubam -> par1 + "|" + par2)
.pipe("/path/script.sh");
其中par1和par2是传递给script.sh的参数，s
浏览 1提问于2017-10-18得票数 2
回答已采纳
我试图使用Livy远程提交几个Spark作业。假设我希望远程执行spark-submit 任务(包括所有选项)
spark-submit \
--class com.company.drivers.JumboBatchPipelineDriver \
--conf spark.driver.cores=1 \
--conf spark.driver.memory=1g \
--conf spark.dynamicAllocation.enabled=true \
--conf spark.serializer='org.apache.spark.serializer.KryoSeria
浏览 0提问于2018-08-08得票数 1
回答已采纳
我是spark的新手。当我尝试用3个执行器在客户端模式下运行spark-submit时，我希望在执行ps -ef时会出现3个java进程(因为有3个执行器
$SPARK_HOME/bin/spark-submit --num-executors 3 --class AverageCalculation --master local[1] /home/customer/SimpleETL/target/SimpleETL-0.1.jar hdfs://node1:9000/home/customer/SimpleETL/standard_input.csv
但是，我没有看到3个java进程。我的
浏览 17提问于2018-02-15得票数 2
我的Spark App可以以集群模式提交输出吗？如果是这样的话，是怎么做的？
我正在使用Python运行一个简单的Spark应用程序。该程序只需设置一个Spark上下文并将This app ran successfully打印到屏幕上。当我提交此应用程序时，请提供以下内容：
spark-submit --deploy-mode client --master local[*] foo.py
它成功运行并打印出消息。
但是，当我运行相同的应用程序时：
spark-submit --deploy-mode cluster --master yarn-cluster foo.py
它运行成功，但我
浏览 0提问于2017-02-14得票数 0
2回答
我正在编写一个spark应用程序，并使用spark-submit shell脚本运行它(使用yarn-cluster/yarn-client)
正如我现在看到的，spark-submit的退出代码是根据相关的纱线应用程序决定的-如果成功状态为0，否则为1。
我希望可以选择返回另一个退出代码-用于我的应用程序成功但出现一些错误的状态。
有可能吗？从应用程序返回不同的退出代码？
我尝试使用System.exit()，但没有成功...
谢谢。
浏览 4提问于2017-01-31得票数 6
2回答
如何编写一个PySpark脚本，将spark-submit命令行记录到日志输出中？
例如，当我运行：spark-submit script.py arg1 arg2 --flag arg3 --out output
除了运行它的任务之外，我还希望这个命令将命令行记录到一个名为output.log的日志文件中，这样我就可以轻松地跟踪我是如何运行它的。
浏览 1提问于2017-07-24得票数 0
我正在尝试执行spark字数统计程序。我的输入文件和输出目录在本地，而不是HDFS上。当我执行代码时，我得到输入目录未找到异常。
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object WordCount {
val sparkConf = new SparkConf()
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().config(sparkConf).maste
浏览 6提问于2018-07-21得票数 0
回答已采纳
我正在使用airflow bash操作符来运行spark-submit作业。spark作业需要一些参数。最后一个参数是一个字符串，可以使用"，“和"|”split将其转换为嵌套数组。提交命令示例：
spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz|ss:aaa,bbb>
奇怪的是，当spark任务完成时，它会输出：
final status: SUCCEEDED
Co
浏览 12提问于2018-08-31得票数 0
我是Spark (Pyspark)的新手，当我运行spark-submit时，spark日志非常冗长。如何更改日志输出？
浏览 25提问于2020-01-21得票数 0
回答已采纳
1回答
我使用spark-submit提交了一个作业，作业完成得很正确，但它没有显示在Yarn中。
如何在纱线中直接查看该过程？我已经指定了纱线客户端模式，但在纱线网络控制台我什么也没看到。
浏览 10提问于2019-09-22得票数 1
回答已采纳
我部署Hadoop-Spark集群并运行我的作业。通过提交脚本bin/ spark - submit，我可以成功提交spark作业。现在，我想像捕获一样捕获跟踪URL，并在我的其他scala项目中使用它。我该怎么做呢？我尝试重定向spark-submit输出，但它似乎不起作用，就像
./bin/spark-submit --class org.apache.spark.examples.mllib.JavaKMeans --master yarn-cluster --num-executors 32 --executor-cores 4 --executor-memory 16G --driv
浏览 1提问于2015-11-05得票数 2
我正在提交在本地运行的Kubernetes中的Spark作业(Docker桌面)。我能够提交作业，并在屏幕上看到它们的最终输出。
然而，即使它们已经完成，驱动程序和执行器吊舱仍然处于运行状态。
用于将星火作业提交给kubernetes的基本图像是与火花一起出现的图像，如中所描述的。
这就是我的spark-submit命令的样子：
~/spark-2.4.3-bin-hadoop2.7/bin/spark-submit \
--master k8s://https://kubernetes.docker.internal:6443 \
--deploy-mode cluster
浏览 3提问于2019-09-16得票数 4
回答已采纳
spark-submit --master yarn-cluster --deploy-mode cluster test.py
以错误告终
进口熊猫作为pd ImportError:没有模块名为熊猫
这是我看到的唯一错误。
利用蟒蛇分布2.7 PYSPARK_VENV]/lib/python2.7/site-packages/地点有熊猫。
浏览 0提问于2019-01-25得票数 0
回答已采纳
4回答
火花提交输出结果
、、、
我是火花和scala编程的初学者，我试着在本地模式下运行spark submit示例，它运行完整，没有任何错误或其他消息，但我看不到任何输出结果在领事或星火历史网络用户界面.Where，我如何才能看到我的程序的结果在火花-提交？
这是我运行的命令
spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp /spark-events --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/tmp/spark-events --conf
浏览 0提问于2018-04-26得票数 1
回答已采纳
spark-submit允许使用--conf spark.executorEnv.FOO=bar配置executor环境变量，Spark REST API允许使用environmentVariables字段传递一些环境变量。不幸的是，在集群模式下使用spark-submit提交驱动程序时，我没有发现与配置驱动程序的环境变量类似的内容：
spark-submit --deploy-mode cluster myapp.jar
是否可以在集群模式下使用spark-submit设置驱动程序的环境变量？
浏览 1提问于2016-06-18得票数 19
我正在开发一个使用MongoDB作为数据库平台的PHP应用程序。MongoDB中的集合有大量的数据.Hence，我选择Apache Spark来生成分析。
我需要从PHP application.But执行spark-submit命令，它的执行不会向PHP应用程序返回任何输出。
以下是代码片段
$result=shell_exec('./bin/spark-submit examples/src/main/python/pi.py');
print_r($result);
请给我一个合适的解决方案
浏览 0提问于2016-08-16得票数 0
1回答
我必须维护一个用pyspark运行的收费代码。它使用了一种我从未见过的方法。我将一些可重用的代码压缩到一个ingestion.zip文件中。然后，使用如下所示的pipeline.cfg文件调用此文件： [spark]
master=spark://master
py-files=${HOME}/lib/ingestion.zip
spark-submit=${SPARK_HOME}/bin/spark-submit 当我尝试导入如下所示的库时，我无法让Pycharm理解库应该指向zip文件。 from ingestion.data import csv, storage 我已经看到这个zip
浏览 10提问于2020-08-20得票数 0
2回答
我们安装了一个新的Spark版本，因此所有文件夹的名称都类似于：
ls /etc/hadoop/
2.6.4.0-91 conf conf.backup
从spark-submit我们得到
spark-submit --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.2.0.2.6.4.0-91
/_/
我需要的是识别火花版本- 2.
浏览 0提问于2018-01-21得票数 1
回答已采纳
我跟踪的火花流。我在github上运行了network_wordcount.py提供的程序。开始的工人和主人。然后在一个终端上执行nc -lk 9999，在另一个./network_wordcount.py localhost 9999上执行。nc -lk 9999的输出就是blank。什么都没显示出来。
./spark-submit network_wordcount.py localhost 9999的输出只显示了似乎永远不会结束的INFO:：
我没有得到文件显示的输出。没有数据正在流。有什么是我错过的流媒体发生吗？
浏览 2提问于2016-12-20得票数 1
我有一个简单的spark应用程序，它在使用spark-submit的笔记本电脑上运行得很好。然而，当我在亚马逊EC2集群上使用spark-submit运行它时，我得到了这个运行时错误：
$ /root/spark/bin/spark-submit --class application.Example --master spark://ec2-54-227-170-20.compute-1.amazonaws.com:7077 /root/example-assembly-0.1-SNAPSHOT.jar
java.lang.IncompatibleClassChangeError: Fo
浏览 2提问于2016-09-27得票数 1
当我使用scala运行spark-submit作业时，我可以在控制台中看到很多状态消息。
但我只想看我的指纹。为了不看到这些消息，我可以设置任何参数吗？
浏览 1提问于2016-07-28得票数 0
我用下面的代码写了一个spark字数统计程序：
package com.practice
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object WordCount {
val sparkConf = new SparkConf()
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().config(sparkConf).master("local[2]"
浏览 0提问于2018-07-21得票数 1
当我第二次运行相同的星火程序时，我正面临着java.lang.OutOfMemoryError: Java Heap Space问题。
下面是一个场景：
当我第一次执行spark-submit并运行spark程序时，它给了我正确的输出&一切都很好。当我再次执行相同的spark-submit时，它将抛出java.lang.OutOfMemoryError: Java Heap Space异常。
当它再次工作时，？
如果我在通过执行- spark-submit清除linux缓存后运行相同的/proc/sys/vm/drop_caches，那么它再次成功地运行一次。
我试着设置所有可能的火花
浏览 2提问于2020-06-18得票数 0
我正在使用spark-submit集群模式从本地向spark集群提交作业。我需要在本地机器和spark集群之间来回传输输入文件、输出文件和作业日志文件。
使用文件传输的任何推荐方法。有没有什么未来的计划，spark将支持文件从群集传输到本地，反之亦然。
浏览 2提问于2015-07-27得票数 0
我使用Jenkins每小时运行一次--deploy-mode cluster设置的spark-submit。是否建议采用这种方法？因为有些事情似乎行不通。
当我转到我的spark服务器，并按下应用程序名称时，它会尝试通过该端口(有防火墙)而不是服务器来访问我的计算机。有了--deploy-mode cluster，我希望能够在spark master上看到这一点，因为spark-submit会在这种模式下立即返回。
而且，我似乎打不开DAG。这有关系吗？
我使用的完整命令是spark-submit --master spark://mysparkserver:6066 --deploy-mod
浏览 0提问于2016-02-22得票数 0
2回答
我在EMR (5.32.0版)的(Py)星火中遇到了一些问题。大约一年前，我在EMR集群上运行了相同的程序(我认为发布的版本一定是5.29.0)。然后，我能够正确地使用spark-submit参数配置我的spark-submit程序。但是，现在我正在运行相同/类似的代码，但是spark-submit参数似乎没有任何效果。
我的集群配置：
主节点:8 vCore，32 GiB存储器，EBS仅存储EBS存储:128个GiB 从节点: 10×16 vCore，64 GiB存储器，EBS仅存储EBS存储:256 GiB
我使用以下spark-submit参数运行该程序：
spark-submit --
浏览 3提问于2021-01-05得票数 5
我正在处理Azure Databricks。目前我的Pyspark项目在'dbfs‘上。我配置了一个spark-submit作业来执行我的Pyspark代码(.py文件)。然而，根据Databricks文档，spark-submit作业只能在新的自动化集群上运行(可能是设计出来的)。
有没有办法在现有的交互式集群上运行我的Pyspark代码？
我还尝试在%sh单元格中的notebook中运行spark-submit命令，但没有使用。
浏览 4提问于2020-05-22得票数 0
我刚刚开始使用的星系团，我看到了非常奇怪的行为。
日志记录的正常行为是在运行spark-submit时会看到这样的日志消息：
INFO 2016-11-04 13:14:10,671 org.apache.spark.executor.Executor: Finished task 227.0 in stage 4.0 (TID 3168). 1992 bytes result sent to driver
这些通常会很快地填充控制台，特别是当应用程序使用大量分区时。
但我没有看到任何通常的日志信息后，火花-提交运行。大概5行左右。相反，所有正常的日志消息都在Spark中的驱动程序标准输出中
浏览 3提问于2016-11-04得票数 1
1回答
我正尝试在Amazon AWS中运行一个简单的pyspark作业，它被配置为通过spark-default.conf文件使用Yarn。我对Yarn部署代码有点困惑。 我看到一些示例代码如下所示： conf = SparkConf()
conf.setMaster('yarn-client')
conf.setAppName('spark-yarn')
sc = SparkContext(conf=conf) 在这种情况下，当指定了'yarn-client‘时，我不确定我应该如何执行spark作业。我通常这样做： $spark-submit --depl
浏览 3提问于2020-01-27得票数 1
回答已采纳
1回答
我有一个在本地运行的PySpark脚本，spark-submit在Docker中运行。在我的脚本中，我在PySpark DataFrame上有一个调用DataFrame，然后我对DataFrame进行了各种操作，最后调用to_csv()将结果写到一个本地CSV文件中。
当我运行这个脚本时，调用toPandas()之后的代码似乎不会运行。在这个方法调用之前和之后，我都有日志语句，但是只有调用之前的日志条目显示在spark-submit控制台输出中。我曾经想过，这可能是因为其余的代码是在一个单独的executor进程中运行的，所以日志不会显示在控制台上。如果这是真的，我如何才能看到我的应用程序日志
浏览 4提问于2022-09-27得票数 0
我有一个shell脚本，如下所示。
#!/bin/bash
source /home/$USER/source.sh
[ $# -ne 1 ] && { echo "Usage : $0 table "; exit 1; }
table=$1
TIMESTAMP=`date "+%Y-%m-%d"`
touch /home/$USER/logs/${TIMESTAMP}.success_log
touch /home/$USER/logs/${TIMESTAMP}.fail_log
success_logs=/home/$USER/lo
浏览 0提问于2017-06-06得票数 0
回答已采纳
我有一个主脚本如下所示
from pyspark.sql.session import SparkSession
..............
..............
..............
import callmodule as cm <<<--- This is imported from another pyspark script which is in callmod.zip file
..............
..............
..............
--当我按照下面的方式提交spark命令时，它会出错:没有名为Callmodu
浏览 0提问于2020-12-22得票数 0
回答已采纳
我使用带有py-files选项的spark-submit来包含我构建的一个鸡蛋(spark_submit_test_lib-0.1-py2.7.egg)。.egg结构基本上是：
root
|- EGG-INFO
|- spark_submit_test_lib
|- __init__.pyc
|- __init__.py
|- spark_submit_test_lib.pyc
|- spark_submit_test_lib.py
|- def do_sum()
在我的驱动程序脚本spark_submit_test.py中，我有这样的
浏览 0提问于2016-10-11得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
