将python依赖提交到spark集群
将Python依赖提交到Spark集群是指在使用Spark进行分布式计算时，需要将Python相关的依赖库（例如第三方库、自定义模块等）传递给Spark集群，以确保集群中的所有节点都能够正确地执行Python代码。
在Spark中，可以通过以下几种方式将Python依赖提交到集群：
- 使用
--py-files参数：可以通过--py-files参数将Python依赖文件（.py或.zip）传递给Spark集群。该参数指定一个包含Python依赖文件的本地或远程路径，Spark会将这些文件分发到集群的每个节点上。 - 示例命令：
- 示例命令：
- 推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR） 产品介绍链接地址：https://cloud.tencent.com/product/emr
- 使用
SparkContext.addPyFile()方法：在Spark应用程序中，可以使用SparkContext.addPyFile()方法将Python依赖文件添加到SparkContext中。这样，Spark会自动将这些文件分发到集群的每个节点上。 - 示例代码：
- 示例代码：
- 推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR） 产品介绍链接地址：https://cloud.tencent.com/product/emr
- 使用虚拟环境：在Spark集群的每个节点上创建一个虚拟环境，并在其中安装所需的Python依赖库。然后，将整个虚拟环境打包，并在Spark应用程序中指定该虚拟环境的路径。
- 示例代码：
- 示例代码：
- 推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR） 产品介绍链接地址：https://cloud.tencent.com/product/emr
通过以上方式，可以将Python依赖提交到Spark集群，并确保集群中的所有节点都能够正确地执行Python代码。这样可以在Spark中使用各种Python库和模块，从而更灵活地进行分布式计算和数据处理。
相关·内容
2回答
我有一个依赖于第三方库的pyspark代码。我想在我的集群上执行这段代码，它运行在mesos下。
我确实有我的python环境的压缩版本，它位于我的集群可访问的http服务器上。
我在指定我的spark-submit查询来使用这个环境时遇到了一些麻烦。我既使用--archives加载压缩文件，又使用--conf 'spark.pyspark.driver.python=path/to/my/env/bin/python'加上--conf 'spark.pyspark.python=path/to/my/env/bin/python'来指定内容。
这似乎不起作用.
浏览 9提问于2018-02-06得票数 3
1回答
我有一个python脚本：
# -*- coding: utf-8 -*-
import pandas as pd
print('Hello World')
我试图使用PythonRunner对象在Scala项目中运行它：
import org.apache.spark.deploy.PythonRunner
import java.io.File
import java.nio.file.Paths
object PythonRunnerApp extends App{
val pyFilePath = this.getClass.getResource("
浏览 2提问于2022-02-15得票数 0
1回答
我有几个python作业需要用spark来执行。不过，python代码并没有使用任何spark特定的分布式库。它只是使用pandas、scipy和sklearn来操作数据。
我使用以下命令提交要触发的作业：spark-submit --master spark://ip:7077 python_code.py
当我提交几个这样的作业时，所有的作业都只在master上执行。master上的CPU占用了100%，但是workeer节点都是空闲的。我认为spark的资源管理器将在整个集群中分配负载。
我知道我的代码没有使用spark提供的任何分布式库，但是有没有一种方法可以将完整的作业分发到不同的节
浏览 2提问于2016-04-29得票数 0
我刚开始学习spark，我对这个概念有点困惑，所以从spark安装，我们在spark安装子文件夹下得到了pyspark，我知道它是一个shell，从python包我们也可以通过pip install pyspark安装python包，所以我们可以运行python代码而不是提交到集群，那么这两者之间有什么区别呢？另外，在anaconda中，我们可以使用findspark并从那里使用pyspark，那么这是否意味着它没有使用python包中的pyspark？
另外，在现实世界的spark应用程序开发中，在哪个场景中使用了什么？提前谢谢。
浏览 24提问于2019-10-21得票数 5
1回答
我们使用吡火花提交选项，使用放在hdfs和纱线集群模式下的jar文件，如下所示。
#######################
source *****.sh # setting environment variables
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
/bin/pyspark --master yarn --deploy-mode client --driver-memo
浏览 5提问于2020-07-27得票数 0
我正在使用星火流连接到Twitter示例api，并检索我得到的tweet的文本。SparkContext在我的本地机器上独立运行。
JavaStreamingContext ssc = new JavaStreamingContext(
"spark://[my network IP address]:7077", "StreamingTest",
new Duration(1000), System.getenv("SPARK_PREFIX"), new String[]{...});
我拥有在本地编译和
浏览 5提问于2015-03-27得票数 0
我正在尝试使用spark-submit在spark集群中执行我的python代码。
通常，我们使用python代码运行spark-submit，如下所示。
# Run a Python application on a cluster
./bin/spark-submit \
--master spark://207.184.161.138:7077 \
my_python_code.py \
1000
但是我想通过传递几个参数来运行my_python_code.py，是否有明智的方法来传递参数呢？
浏览 12提问于2015-08-26得票数 46
回答已采纳
我开始使用PySpark了。我想知道如何在PySpark中使用容器化。我想将我的python应用程序和依赖项隔离在一个容器中。我可以将我的python应用程序放在容器中，并将图像直接提供给spark集群吗？它是否能够制作他的作品并将图像分发给工人，然后将作品分发到多个“容器”？
浏览 2提问于2021-11-05得票数 0
1回答
假设我的PC如下所示
1 2 3
4 5 6
7 8 9
现在假设我有两个spark作业A和B。一个作业生成数据C，B将其作为输入。为了获得C语言，我需要像这样的集群
集群1:主机: 1，从机:2 3
集群2:主机: 4，从机:5 6
集群3:主节点: 7，从节点:8 9
对于B作业，我需要这样的集群：
集群4:主机: 4，从机:1 7
如何搭建这样的集群，同一台pc可能在不同的时间属于不同的集群，可以成为主备？
同样最重要的是，即使像这样的配置是可能的，那么编写这样的spark应用程序的最佳实践是什么，这样我们就不需要为作业A和B单独使用spark应用程序？
浏览 0提问于2017-04-23得票数 0
我试图使用spark-sklearn库在星火库集群上执行网格搜索。出于这个原因，我在我的nohup ./spark_python_shell.sh > output.log & shell上运行bash以点燃Spark集群，并且运行我的python脚本(参见下面的spark-submit \ --master yarn 'rforest_grid_search.py')：
SPARK_HOME=/u/users/******/spark-2.3.0 \
Q_CORE_LOC=/u/users/******/****** \
ENV=loca
浏览 2提问于2018-10-25得票数 2
回答已采纳
据我所知，Spark可以使用Spark Streaming分析流。Kafka可以从多个来源接收数据。我不明白的是，如果我有一个Kafka集群从多个来源接收数据，数据会被发送到一个运行Spark Streaming的数据库吗？或者Spark Streaming是否在应用服务器上运行？
浏览 5提问于2017-01-25得票数 0
回答已采纳
1回答
代码：
from pyspark.sql import SparkSession
from pysparkling import *
hc = H2OContext.getOrCreate()
我正在使用spark独立集群3.2.1，并尝试在python文件中启动H2OContext。在尝试使用submit运行脚本时，我得到了以下错误：
hc = H2OContext.getOrCreate() NameError:未定义名称'H2OContext‘
火花-提交命令：
火花-提交-主火花://本地:7077-包ai.h2o:sparkling-water-package_2
浏览 10提问于2022-07-29得票数 0
回答已采纳
我们使用一个引导脚本在EMR集群节点上安装python库，用于我们的Spark作业。该脚本如下所示：
sudo python3 -m pip install pandas==0.22.0 scikit-learn==0.21.0
一旦集群运行完毕，我们就使用气流的SparkSubmitHook将作业提交给EMR。我们使用配置来将pyspark绑定到python3。问题是，偶尔，当作业开始运行时，我们会得到ModuleNotFoundError: No module named 'sklearn'错误。这样的堆栈跟踪如下所示：
return self.loads(obj)
Fi
浏览 3提问于2019-08-13得票数 0
回答已采纳
我对使用updateStateByKey()函数有问题。我有以下简单的代码(根据书编写：“学习火花-快速数据分析”)：
object hello {
def updateStateFunction(newValues: Seq[Int], runningCount: Option[Int]): Option[Int] = {
Some(runningCount.getOrElse(0) + newValues.size)
}
def main(args: Array[String]) {
val conf = new SparkConf().setMaster(
浏览 0提问于2015-05-25得票数 0
回答已采纳
1回答
我已经和卡桑德拉合作了一段时间了，现在我正在尝试安装火花和火花卡桑德拉连接器。在Windows10中，我使用IntelliJ IDEA (也是第一次使用IntelliJ IDEA和Scala )来实现这一点。
build.gradle
apply plugin: 'scala'
apply plugin: 'idea'
apply plugin: 'eclipse'
repositories {
mavenCentral()
flatDir {
dirs 'runtime libs'
}
浏览 6提问于2020-05-02得票数 0
我正在做一个机器学习项目。我最初使用的是scikit-learn (sklearn)库。在模型优化的过程中，我使用了sklearn中的经典GridSearchCV类。它当前使用来自运行api的主机(joblib库)的所有资源进行并行。下面是一个例子，
from sklearn import datasets
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from datetime
浏览 0提问于2019-11-07得票数 0
3回答
我一直在运行一些测试spark scala代码，使用的可能是spark-shell的一种糟糕的方式：
spark-shell --conf spark.neo4j.bolt.password=Stuffffit --packages neo4j-contrib:neo4j-spark-connector:2.0.0-M2,graphframes:graphframes:0.2.0-spark2.0-s_2.11 -i neo4jsparkCluster.scala
这将在spark上执行我的代码，并在完成后弹出到shell中。
现在我正在尝试在集群上运行它，我想我需要使用spark-subm
浏览 0提问于2017-12-06得票数 11
1回答
我有这样的sbt.build，来做火花编程：
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "3.0.1" withSources(),
"com.datastax.spark" %% "spark-cassandra-connector" % "3.0.0" withSources()
...
)
由于我的程序使用的是Spark本身以外的其他库，所以我必须使用sbt assembly来生成一个uber
浏览 10提问于2020-12-13得票数 2
回答已采纳
我知道和。
我也看过
然而，所有这些都行不通。Livy继续使用Python2.7，不管使用什么。
这是在EMR集群上运行Livy 0.6.0。
在hadoop用户、我的用户、根用户和EC2-用户中，我已经将PYSPARK_PYTHON环境变量更改为/usr/bin/python3。通过ssh登录到EMR主节点并运行pyspark将按预期启动python3。但是，Livy一直使用python2.7。
我将export PYSPARK_PYTHON=/usr/bin/python3添加到/etc/spark/conf/spark-env.sh文件中。Livy一直在使用python2
浏览 6提问于2021-05-03得票数 2
1回答
DCOS簇尺度
、、、
我有一个包含3个代理节点的DCOS集群；我几乎没有像spark这样运行在DCOS上的服务。
如果我缩放我的DCOS集群，我是否也需要扩展我的spark (因为如果我在DCOS集群中添加了一个第4个节点，并且当我运行一个spark作业时，主人可以为在没有安装spark的第4个节点上运行的spark作业分配资源，这样它就会失败)？
在我的观察中，我发现这些作业被提交到Mesos主人看到的任何节点。
是否有一种方法可以指定火花作业不能在某些节点上运行？
浏览 4提问于2017-02-13得票数 0
回答已采纳
AWS Glue创建ETL脚本来转换、扁平和丰富数据。代码是用Scala或Python生成的，是为Apache编写的。
我的问题与这些脚本的可移植性有关。我是否可以使用相同的脚本(由AWS Glue生成)用于Apache Spark (非AWS /EMR) Apache Spark集群，而无需修改，或者这些脚本与AWS Glue Apache Spark实现紧密耦合？
浏览 0提问于2018-09-18得票数 0
回答已采纳
1回答
Numpy与静态链接
、、、
我在一个大型集群上运行Spark程序(对于这个集群，我没有管理权限)。工作节点上没有安装numpy。因此，我将numpy与我的程序捆绑在一起，但我得到了以下错误：
Traceback (most recent call last):
File "/home/user/spark-script.py", line 12, in <module>
import numpy
File "/usr/local/lib/python2.7/dist-packages/numpy/__init__.py", line 170, in <mo
浏览 2提问于2015-12-19得票数 8
我的主要星火项目依赖于其他实用程序，jars.So组合集可能如下所示：
1. main_spark-1.0.jar will work with utils_spark-1.0.jar (some jobs use this set)
2. main_spark-2.0.jar will work with utils_spark-2.0.jar (and some of the jobs use this set)
对于我来说，处理这种情况的方法是用火花-选择作为传递罐子。
oozie spark action job1
<jar>main_spark-1.0.jar<
浏览 1提问于2017-10-22得票数 0
回答已采纳
我写了一个spark程序，需要在EMR集群上执行。但是python程序使用了一些依赖文件和模块。那么有没有办法在一个正在运行的集群上设置依赖组件呢？我们是否可以挂载s3存储桶并挂载该集群节点，并且可以将所有依赖组件放在s3上？这是一个好主意吗，以及如何使用Python将s3存储桶挂载到电子病历上？
浏览 0提问于2018-10-25得票数 0
我试图在Hadoop集群上运行星火提交命令，这里是我的Hadoop集群的总结：
集群是使用连接在内部网络上的5 VirtualBox VM构建的，其中创建了1个namenode和4个数据节点。所有VM都是从Bitnami Hadoop堆栈VirtualBox图像构建的
我正在尝试使用以下spark-submit命令运行spark示例之一
spark-submit --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.0.3.jar 10
我得到以下错误：
[2022-0
浏览 5提问于2022-07-25得票数 0
目前，我正在通过databricks-connect与本地VS代码连接数据库。但是我的子任务都有模块未找到的错误，这意味着其他python文件中的代码没有找到。我试过：
使用main.py将代码移动到文件夹中
导入使用它的函数中的文件
通过sparkContext.addPyFile添加文件
有人在这方面有经验吗？或者更好的方式与python项目的databricks交互。
我的python部件代码似乎是在本地python env中执行的，只有与代码直接相关的星星之火才在集群中执行，但是集群并没有加载我所有的python文件。然后引发错误。
我有档案夹
浏览 2提问于2020-07-10得票数 1
2回答
我正在使用亚马逊的EMR spark 1.5.0。我有多个属性文件需要在我的spark-submit程序中使用。我研究了--properties-file选项。但它允许您从单个文件导入属性。我需要从一个结构如下的目录中读取属性：
├── AddToCollection
│ ├── query
│ ├── root
│ ├── schema
│ └── schema.json
├── CreateCollectionSuccess
│ ├── query
│ ├── root
│ ├── schema
│ └── schema.json
├── FeedCardU
浏览 0提问于2015-10-09得票数 1
1回答
我刚刚下载了对接器映像，以建立一个包含两个工作节点的星火集群。集群已经启动并正在运行，但是我想将scala文件提交到这个集群中。我无法在此启动spark-shell。
当我使用另一个码头映像时，我可以使用spark-shell启动它。请有人解释一下，如果我需要在映像中分别安装scala，还是有不同的启动方式？
更新
下面是错误bash: spark:命令command
bash: spark-shell: command not found
root@a7b0682ff17d:/opt/spark# ls /home/shangupta/Scripts/
ProfileData.json
浏览 2提问于2021-08-16得票数 0
回答已采纳
1回答
我正在使用Spark2.1.1独立集群，
虽然我的集群(Cores in use: 80 Total, 51 Used)中有29个空闲内核，但是当我用--total-executor-cores 16提交新的spark作业时，这个配置没有生效，作业只提交了6个内核。
我遗漏了什么？(删除检查点没有帮助)
这是我的火花-提交命令：
PYSPARK_PYTHON="/usr/bin/python3.4"
PYSPARK_DRIVER_PYTHON="/usr/bin/python3.4" \
/opt/spark/spark-2.1.1-bin-hadoop2.7
浏览 3提问于2018-01-10得票数 0
我正在尝试向我的机器上的本地Kubernetes集群(通过Docker仪表板创建)提交一个火花应用程序。应用程序依赖于python包，我们称它为X。
这里是应用程序代码：
import sys
from pyspark import SparkContext
from pyspark.sql import SparkSession
datafolder = "/opt/spark/data" # Folder created in container by spark's docker file
sys.path.append(datafolder) # X is co
浏览 0提问于2020-11-25得票数 0
回答已采纳
我是Scala/Spark的新手，所以请不要对我太苛刻:) 我正试图在亚马逊网络服务上运行一个电子病历集群，运行我用sbt package打包的jar文件。当我在本地运行代码时，它工作得非常好，但当我在AWS EMR集群中运行它时，我得到了一个错误： ERROR Client: Application diagnostics message: User class threw exception: java.lang.NoClassDefFoundError: upickle/core/Types$Writer 据我所知，这个错误源于scala/spark版本的依赖关系。 所以我使用Scal
浏览 29提问于2021-09-15得票数 1
火花上下文如下所示
SparkConf sparkConf = new SparkConf().setAppName(args[0]);
snappySes = new SnappySession(new SparkSession.Builder().config("spark.snappydata.connection", "localhost:1527").getOrCreate())
读取快速数据
snappySes.table("SNAPPY_COL_TABLE").show(10);
提交的职务如下
/usr/hdp/2.6.2.0-2
浏览 0提问于2018-05-09得票数 2
1回答
这是一种通用的最佳实践问题。我有一个Python脚本，它迭代一些参数并使用这些参数调用另一个脚本(这基本上是对一些简单的深度学习模型的网格搜索)。这在我的本地机器上工作得很好，但是现在我需要我的unis计算机集群的资源，它使用SLURM。我在python脚本中有一些逻辑，我认为在shell脚本中很难实现，而且可能不合时宜。我也不能一下子把所有作业都扔到集群上，因为我想跳过某些参数组合，这取决于其他参数的结果(损失)。现在，我想直接从我的python脚本提交SLURM作业，并且仍然在那里处理更复杂的逻辑。我现在的问题是，实现这样的东西的最佳方式是什么，如果在登录节点上运行python脚本将是不礼
浏览 24提问于2020-05-10得票数 1
回答已采纳
我在cassandra (cassandra连接器1.2.0-rc3)中使用spark(星火版本1.2.1，scala版本: 2.10.4)，我想使用joinWithCassandraTable函数。为此，我试过在火花壳，它工作得很好。
val customersInteractions= customers.joinWithCassandraTable(cassandraKeyspace, table).on(SomeColumns("c1","c2")).select("cl1", "cl2", "cl3",
浏览 2提问于2015-04-21得票数 2
回答已采纳
是否有人尝试将Azure data bricks用作CDAP作业处理的spark群集。CDAP文档详细介绍了如何将其添加到Azure HDInsight中，但只是想知道是否有一种方法可以将CDAP配置为指向data bricks spark集群，这是否可能？或者这种集成需要特定的数据块客户端连接器jar？如果任何人有任何见解，这将是有帮助的。
浏览 14提问于2019-01-10得票数 0
我正在阅读星火指南2.1.0，并在上看到了下面的一行，目前，独立模式不支持集群模式的Python应用程序。
但下面有一个示例，运行在星火独立集群上，在集群部署模式下运行，并具有监督性
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://207.184.161.138:7077 \
--deploy-mode cluster \
--supervise \
--executor-memory 20G \
--total-executor-cores 100 \
浏览 0提问于2017-01-29得票数 1
回答已采纳
2回答
我们有几个星火应用程序运行在使用Spark2.4.1(Scala2.11.12)开发的生产上。对于我们的几个新的火花工作，我们正在考虑利用DeltaLake.For的特性--我们需要使用Spark2.4.2(或更高版本)。
我的问题是：
如果我们将Spark集群升级到3.0.0，那么我们的2.4.1应用程序还能在新集群上运行(不需要重新编译)吗？
如果我们需要用Spark 3重新编译以前的Spark作业，它们是源代码兼容还是需要迁移？
浏览 3提问于2020-06-22得票数 2
回答已采纳
2回答
我在客户端部署模式，我想提交一个包含tar.gz的应用程序，其中包含运行时，代码和库。
其目的不是针对特定的python运行时依赖于spark集群(例如，spark集群有Python3.5版本，而我的代码需要3.7版本)或没有安装在集群上的库。
我发现可以提交一个python文件以及.jar文件。
浏览 0提问于2020-09-22得票数 0
1回答
跨应用程序的火花调度
、、、
我想运行火花字计数应用程序在四个不同的文件在同一时间。
我有一个独立的集群，有4个工作节点，每个节点都有一个核心和1gb内存。
火花在独立模式下工作..。1.4worker节点2.1每个工作节点的核心3.1gb内存为每个节点的4.core_max设置为1
./conf/spark-env.sh
**
export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKE
浏览 2提问于2017-06-15得票数 0
我正在使用集群模式运行spark进行部署。下面是命令
JARS=$JARS_HOME/amqp-client-3.5.3.jar,$JARS_HOME/nscala-time_2.10-2.0.0.jar,\
$JARS_HOME/rabbitmq-0.1.0-RELEASE.jar,\
$JARS_HOME/kafka_2.10-0.8.2.1.jar,$JARS_HOME/kafka-clients-0.8.2.1.jar,\
$JARS_HOME/spark-streaming-kafka_2.10-1.4.1.jar,\
$JARS_HOME/zkclient-0.3.jar,$JAR
浏览 2提问于2015-12-14得票数 4
回答已采纳
我将根据这个HDInsights在Azure上创建集群
现在，我想设置spark自定义参数，例如，在集群配置的时间内设置spark.yarn.appMasterEnv.PYSPARK3_PYTHON或spark_daemon_memory。
是否可以使用Data /Automation设置？我找不到任何这样做的例子。
谢谢
浏览 0提问于2017-10-18得票数 3
回答已采纳
1回答
我正在尝试从hudi读取数据，但得到的数据低于错误。
Caused by: java.lang.ClassNotFoundException: Failed to find data source: hudi. Please find packages at http://spark.apache.org/third-party-projects.html
我可以使用下面的命令使用jupyter笔记本从Hudi读取数据
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.config(
&#
浏览 20提问于2022-06-13得票数 4
我正在遵循python指南，并且beam_pipeline可以将作业提交给由./gradlew :runners:spark:job-server:runShadow使用本地spark启动的本地jobserver，并向预先部署的spark添加参数-PsparkMasterUrl=spark://localhost:7077。
但是我在yarn上有一个spark集群，我将启动命令设置为./gradlew :runners:spark:job-server:runShadow -PsparkMasterUrl=yarn(also tried yarn-client)，但只获得org.apache.
浏览 0提问于2019-11-28得票数 0
我在python中使用spark-streaming 2.2.0。从kafka(2.11-0.10.0.0)集群读取数据。我提交了一个python脚本spark - spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar --jars hodor.py the spark report a error message
17/08/04 10:52:00 ERROR Utils: Uncaught exception in thread stdout
writer for python
java.lang.NoSuchMethodError: ne
浏览 0提问于2017-08-04得票数 6
1回答
我对星火比较陌生。我已经创建了用于脱机批处理任务的脚本，但现在我尝试在一个活动应用程序中使用它(即不使用spark-submit)。
我的应用程序如下所示：
将收到HTTP请求以启动数据处理任务。请求的有效载荷将包含火花作业所需的数据(要查看的时间窗口、要忽略的数据类型、用于排序算法的权重等)。
处理开始，最终会产生一个结果。这一结果将被寄予记忆。
结果被发送到端点(写入单个文件，通过Web套接字或SSE发送到客户端等)
作业是由HTTP请求启动的，火花作业依赖于此请求中的数据，这似乎意味着我不能使用spark-submit解决这个问题。虽然这在我看来很简单，但我遇到了一些
浏览 2提问于2015-07-30得票数 1
我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误
来自终端的错误
java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.STRING_REDACTION_PATTERN()Lorg/apache/spark/internal/config/ConfigEntry;
error: not found: value spark import spark.implicits._
error: not found: value
浏览 0提问于2019-07-22得票数 4
我目前正在尝试使用脚本操作来部署一个随需应变集群(spark)，使用数据工厂V2来安装我的Python脚本运行所需的依赖项。然而，脚本操作的概念似乎在V2中丢失了。
到目前为止，如何在集群节点上安装软件包？有没有别的选择？
浏览 0提问于2018-01-24得票数 2
2回答
我是火花和卡夫卡的新手，我使用火花流来处理来自卡夫卡主题的数据。现在，我只想在控制台中打印记录。我在两个节点(ScalaVersion2.12.2和spark-2.1.1)和一个带有kafka (版本kafka_2.11-0.10.2.0)的节点上都有一个带有spark的小型集群。但是，当我提交代码时，我会得到以下错误：
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times,
浏览 10提问于2017-06-08得票数 1
回答已采纳
我有一个sbt项目，它使用星星之火和火花sql，但是我的集群使用Hadoop1.0.4和Spark-SQL1.2，目前我的build.sbt如下所示：
libraryDependencies ++= Seq(
"com.datastax.cassandra" % "cassandra-driver-core" % "2.1.5",
"com.datastax.cassandra" % "cassandra-driver-mapping" % "2.1.5",
"com
浏览 3提问于2015-06-16得票数 2
回答已采纳
1回答
我正在尝试用PySpark在yarn客户端模式下运行python模块。我的集群上的默认python是2.6.6，我想使用Python3，它安装在我的集群上的$/apps/anaconda/4.3.1/3/bin/python3.6路径下。当我通过下面的spark2-submit运行Spark模块时，它失败了，说明使用的是错误的Python版本。当我用yarn-cluster在集群模型中运行相同的代码时，它成功了。我的问题是:我该如何解决这个问题？如何让它在python3.6的yarn-client模式下工作？
spark2-submit --master yarn --deploy-mode
浏览 0提问于2017-11-12得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
