如何在运行scala spark应用程序后运行python脚本
在运行Scala Spark应用程序后运行Python脚本，可以通过以下步骤实现：
- 首先，确保已经安装了Scala和Spark，并且环境变量已经正确配置。
- 编写Scala Spark应用程序，使用Spark的API进行数据处理和分析。在应用程序的适当位置，使用Scala的
sys.process库来执行Python脚本。 - 编写Scala Spark应用程序，使用Spark的API进行数据处理和分析。在应用程序的适当位置，使用Scala的
sys.process库来执行Python脚本。 - 上述代码中，
python_script.py是要执行的Python脚本的文件名。使用s"python $pythonScript".!!命令执行Python脚本，并将输出保存在output变量中。 - 编写Python脚本，实现所需的功能。可以使用Python的各种库和工具来处理数据、进行机器学习、进行可视化等。
- 将Scala Spark应用程序和Python脚本放置在同一个目录下。
- 使用Scala的
sbt或其他构建工具编译和打包Scala Spark应用程序。 - 在命令行中运行打包后的Scala Spark应用程序。
- 在命令行中运行打包后的Scala Spark应用程序。
- 上述命令中，
com.example.MySparkApp是Scala Spark应用程序的入口类，my-spark-app.jar是打包后的应用程序的文件名。 - 在Scala Spark应用程序运行完毕后，Python脚本将会被执行，并输出结果。
需要注意的是，以上步骤是一种通用的方法，适用于在Scala Spark应用程序中运行Python脚本。具体的实现方式可能会因环境和需求的不同而有所差异。
推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），它是一种大数据处理和分析的云服务，支持Spark等开源框架，可以方便地进行Scala Spark应用程序的开发和部署。详情请参考腾讯云EMR产品介绍：腾讯云EMR。
相关·内容
我想在运行spark scala应用程序之后立即运行一个python脚本。 我试过了 30 00 * * * spark scala job command && python script2.py 但是它不会运行python脚本
浏览 7提问于2019-01-10得票数 0
我有一个python应用程序，我想使用spark submit通过虚拟环境运行它。以下是我的命令 PYSPARK_PYTHON=./venv/bin/python spark-submit --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./venv/bin/python --master yarn --deploy-mode cluster --archives venv.zip#venv test.py 在这里，venv.zip是归档的虚拟环境。现在，当我运行spark-submit命令时，我在控制台上得到以下内容 20/01/28 17:08
浏览 17提问于2020-01-29得票数 3
回答已采纳
2回答
火花启动比指定更多的执行器
、、、、
我正在运行Spark1.5.1在独立(客户端)模式下使用Pyspark。我正在尝试启动一个内存似乎很重的作业(也就是说，在python中，这不应该是executor-memory设置的一部分)。我正在一台有96核和128 GB内存的机器上进行测试。
我有一个主程序和工作人员正在运行，开始使用/sbin中的start-all.sh脚本。
这些是我在/conf中使用的配置文件。
火花违约：
spark.eventLog.enabled true
spark.eventLog.dir /home/kv/Spark/spark-1.5.1-bin-had
浏览 1提问于2016-08-28得票数 2
1回答
当我在本地火花机上运行下面的火花放电示例时，我在这里遇到了一个问题，它能够非常好地运行。但是，当我开始在远程星火集群上运行它时，我会在工作节点上收到以下错误：
Caused by: org.apache.spark.SparkException:
Error from python worker:
Traceback (most recent call last):
File "/usr/lib/python2.7/runpy.py", line 163, in _run_module_as_main
mod_name, _Error)
File "/us
浏览 24提问于2021-12-23得票数 0
我想使用shell脚本进入火花壳程序，然后执行以下命令
cat abc.sh
spark-shell
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlcontext.read.json("/file/path")
我可以进入星际争霸scala，但是下面两个命令没有运行。
否则，请告诉我如何使用shell脚本在scala中自动运行星火命令序列。
浏览 0提问于2019-12-05得票数 0
回答已采纳
我们使用一个引导脚本在EMR集群节点上安装python库，用于我们的Spark作业。该脚本如下所示：
sudo python3 -m pip install pandas==0.22.0 scikit-learn==0.21.0
一旦集群运行完毕，我们就使用气流的SparkSubmitHook将作业提交给EMR。我们使用配置来将pyspark绑定到python3。问题是，偶尔，当作业开始运行时，我们会得到ModuleNotFoundError: No module named 'sklearn'错误。这样的堆栈跟踪如下所示：
return self.loads(obj)
Fi
浏览 3提问于2019-08-13得票数 0
回答已采纳
我有一个python进程正在运行，它的记录器对象被配置为在日志文件中打印日志。
现在，我试图通过这个scala过程调用一个python脚本，方法是使用Python的subprocess模块。
subprocess.Popen(scala_run_command, stdout=subprocess.PIPE, shell=True)
问题是，每当python进程退出时，它都会挂起shell，只有在显式运行stty sane命令之后，shell才会出现。我的猜测是，这是因为scala脚本输出到shell，因此shell挂起，因为它的stdout ( stdout )会导致shell失去理智。
出
浏览 1提问于2017-08-03得票数 1
1回答
我正在学习火花，并坚持运行示例基本程序，单词计数。请帮忙解决这个问题
我用的是吡咯烷酮，我的操作系统是窗户
这是我正在使用的代码
import os
import sys
# Path for folder containing winutils.exe . Without it I was getting the error java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
os.environ['HADOOP_HOME']="
浏览 2提问于2016-03-03得票数 1
回答已采纳
我的pySpark版本是2.4，python版本是2.7。我有多行sql文件，需要在spark中运行。与逐行运行不同的是，是否可以将sql文件保存在python (初始化spark)中，并使用submit执行它？我正在尝试用python编写一个通用脚本，以便以后只需要从hdfs文件夹中替换sql文件。下面是我的代码片段。
import sys
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
args = str(sys.argv[1]).split(',')
fd = args[0
浏览 8提问于2022-02-10得票数 -3
我一直在本地运行Scala，在我的Mac上没有任何问题，然后有一天，它突然找不到我的类声明。它在maven中编译得很好，当我运行火花提交时，不管我更改了什么，它总是按照下面的方式进行响应。我已经剥离了所有的包，只运行了最简单的示例应用程序。有什么好测试的吗？看来这条路不知何故被打破了。Scala代码运行程序版本2.10.4，java版本"1.7.0_79"，Spark 1.5.1
$ /usr/local/spark-1.5.1/bin/spark-submit --class “SimpleApp” --master local target/simplesparkproje
浏览 1提问于2015-11-11得票数 0
回答已采纳
1回答
火花放电中映射器内部的导入错误
、、、、
我正在研究一个EMR纱线集群，它与networkx有问题。我试图在映射器内的networkx包中运行其中一种算法，并收到一个错误，该错误说没有模块名“装饰符”，并立即失败，并出现以下错误：
文件"./networkx-1.11-py2.7.egg/networkx/utils/init.py"，第2行、文件"./networkx-1.11-py2.7.egg/networkx/utils/decorators.py"，第7行、ImportError:没有名为的模块
at org.apache.spark.api.python.PythonRunner$$
浏览 6提问于2017-06-17得票数 1
1回答
我编写了一个吡火花脚本，读取两个coGroup文件，并将结果发送到elasticsearch集群；当我在本地运行它时，一切正常工作(大多数情况下)，我下载了org.elasticsearch.hadoop.mr.EsOutputFormat和org.elasticsearch.hadoop.mr.LinkedMapWritable类的elasticsearch-hadoop jar文件，然后使用--jars参数运行我的工作，我可以看到文档出现在我的elasticsearch集群中。
但是，当我试图在星火集群上运行它时，我会得到以下错误：
Traceback (most recent call
浏览 5提问于2015-04-03得票数 4
回答已采纳
3回答
我有一个spark流作业，它每5秒从Kafka读取一次，对传入的数据进行一些转换，然后写入文件系统。
这真的不需要是一个流作业，实际上，我只想每天运行一次，将消息排出到文件系统中。不过，我不确定如何停止这项工作。
如果我向streamingContext.awaitTermination传递一个超时，它不会停止进程，它所做的只是在迭代流时导致进程产生错误(参见下面的错误)。
完成我正在尝试做的事情的最佳方法是什么
这是针对Python上的Spark 1.6的
编辑：
感谢@marios，解决方案是这样的：
ssc.start()
ssc.awaitTermination(10)
ssc.sto
浏览 2提问于2016-01-30得票数 18
回答已采纳
1回答
我有一个python脚本：
# -*- coding: utf-8 -*-
import pandas as pd
print('Hello World')
我试图使用PythonRunner对象在Scala项目中运行它：
import org.apache.spark.deploy.PythonRunner
import java.io.File
import java.nio.file.Paths
object PythonRunnerApp extends App{
val pyFilePath = this.getClass.getResource("
浏览 2提问于2022-02-15得票数 0
2回答
我正在尝试创建我的第一个spark脚本，它读取文件并通过spark dataframe显示内容。我已经创建了一个文件df.scala，并在其中编写了以下代码。 import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder().getOrCreate()
df = spark.read.option("header",True).csv("/home/ec2-user/myspark/files/emp.txt")
df.show() 但是当我尝试执行这个文件时，它给我的错误如
浏览 129提问于2020-12-12得票数 0
我想运行一个独立的Spark脚本，这个脚本已经用sbt package命令编译过了。如何设置Scala脚本的正确配置，以便在IntelliJ集成开发环境中运行我的脚本？目前，我使用命令行和以下命令来运行它(但我想在IntelliJ中运行以进行进一步的调试，例如)：
~/spark-1.2.0/bin/spark-submit --class "CoinPipe" target/scala-2.10/coinpipe_2.10-1.0.jar /training/data/dir 7 12
Bellow是我正在尝试做的事情的快照：
浏览 2提问于2015-03-03得票数 6
在运行spark 2.2.0文档中的示例Tfidf代码时，链接如下：
代码如下：
sentenceData = spark.createDataFrame([
(0.0, "Hi I heard about Spark"),
(0.0, "I wish Java could use case classes"),
(1.0, "Logistic regression models are neat")
], ["label", "sentence"])
tokenizer = Tokeniz
浏览 1提问于2018-07-06得票数 1
因此，我有一个简单的脚本，它读取本地保存的csv，其中包含两个列，没有标题。这个csv是一个aws s3库存报告。column_0是s3桶，column_1是桶内对象的路径。
我正在尝试使用pyspark在csv上迭代，作为来添加基于s3对象的元数据的列。我的代码如下：
import boto3
import pyspark as spark
from pyspark.sql import SparkSession
from pyspark.sql.functions import format_string, udf, col
spark = SparkSession.builder \
浏览 6提问于2022-03-14得票数 0
我有一个非常简单的RDD，名为STjoin，我在它上面传递一个简单的函数来从表示日期-时间的字符串中获取日期。
代码通过了延迟计算，但是如果我运行最后一行(STjoinday.take(5))，我会得到一个错误。
def parsedate(x):
try:
dt=dateutil.parser.parse(x[1]).date()
except:
dt=dateutil.parser.parse("01 Jan 1900 00:00:00").date()
x.append(dt)
return x
浏览 1提问于2015-04-28得票数 0
1回答
我在本地模式下运行得很好。当我在纱线模式下运行时，我会得到以下错误：
我知道这个错误：
File "/hdfs15/yarn/nm/usercache/jvy234/filecache/11/spark-assembly-1.1.0-cdh5.2.1-hadoop2.5.0-cdh5.2.1.jar/pyspark/worker.py", line 79, in main
serializer.dump_stream(func(split_index, iterator), outfile)
File "/hdfs15/yarn/nm/usercache/
浏览 2提问于2015-03-05得票数 2
回答已采纳
2回答
我是大数据技术的新手，我不得不在EMR上以集群模式运行一个火花作业。作业是用python编写的，它依赖于几个库和一些其他工具。我已经编写了脚本并在本地客户端mode.But中运行它当我试图使用yarn.How运行它时出现了一些依赖问题，我管理这些依赖项吗？
日志：
"/mnt/yarn/usercache/hadoop/appcache/application_1511680510570_0144/container_1511680510570_0144_01_000002/pyspark.zip/pyspark/cloudpickle.py", line 711, in su
浏览 6提问于2017-12-12得票数 0
回答已采纳
我使用了PySpark和Elephas，但它目前不起作用。我尝试了Elephas的医生Github上给出的例子。请注意，在PySpark控制台中，我使用Keras和Pandas编写的代码可以正常工作(但没有使用PySpark库)。但是https://github.com/maxpumperla/elephas上给出的将Keras和PySpark库与Elephas接口的示例并不起作用，我根本不知道如何解决这个问题。我的所有PySpark配置都使用Python3.7 以下是我的脚本内容和错误消息： from pyspark import SparkContext, SparkConf
conf
浏览 12提问于2020-04-29得票数 1
回答已采纳
1回答
在执行PySpark代码时，通过提供所需的模式从现有的DataFrame创建DF时，我无法展示在什么情况下会引发以下异常，此代码在Databricks社区平台中执行。请帮助解决将数据框显示为输出的问题。 代码： from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName('RDD2DF')
sc = SparkContext.getOrCreate(conf=conf)
rdd=sc.textFile('/FileStore/tables/StudentData.csv'
浏览 108提问于2021-10-25得票数 0
回答已采纳
这是我尝试在Spark上运行的第一个Python应用程序。在服务器或独立运行scala应用程序之前，我没有遇到过任何问题。 我在另一个命令窗口中启动pyspark，如下所示： C:\Users\jesaremi>conda activate py3.6
(py3.6) C:\Users\jesaremi>pyspark --master local[1]
Python 3.6.8 |Anaconda, Inc.| (default, Dec 30 2018, 18:50:55) [MSC v.1915 64 bit (AMD64)] on win32
Type "hel
浏览 124提问于2019-01-24得票数 0
由于某些原因，当我在电子病历(使用emr-5.0.0和Spark2.0.0)上运行作业时，流水线中的以下函数会导致错误：
def autv(self, f=atf):
"""
Args:
f:
Returns:
"""
if not self._utv:
raise FileNotFoundError("Data not loaded.")
ut = self._utv
try:
self._utv = (ut
浏览 0提问于2016-08-28得票数 1
我买了一本书--试着学习Spark。在下载它并遵循正确的步骤后，我在加载spark-shell和pyspark时遇到了问题。不知道有没有人能告诉我我需要做些什么才能运行spark-shell或pyspark
这就是我所做的。
我创建了文件夹C:\spark，并将Spark tar中的所有文件放入该文件夹。
我还创建了c：\hadoop，并将winutils.exe放入该文件夹。
执行了以下操作：
> set SPARK_HOME=c:\spark
> set HADOOP_HOME=c:\hadoop
> set PATH=%SPARK_HOME%\bin;%PATH%
浏览 2提问于2018-08-20得票数 2
我正在ApacheSpark2.4.5上运行一个非常简单的Scala作业，当我尝试遍历DataFrame中的列并在那里打印名称时，我会得到以下堆栈跟踪，与我尝试为每个列调用的行相关。
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object;
at SimpleApp$.main(SimpleApp.scala:10)
at SimpleApp.main(SimpleApp.scala)
at s
浏览 3提问于2020-04-13得票数 0
回答已采纳
如何修复GC overhead limit exceeded版本2.2.1中发生的PySpark。安装在Ubuntu 16.04.4上。
在Python3.5.2脚本中，我设置为：
spark = SparkSession.builder.appName('achats_fusion_files').getOrCreate()
浏览 0提问于2018-03-14得票数 4
回答已采纳
1回答
我试图在Scala程序中执行Python代码，将RDD作为数据传递给Python脚本。Spark集群已成功初始化，到RDD的数据转换正常，并且单独运行Python脚本(在Scala代码之外)。但是，在Scala中执行相同的Python脚本会失败，出现以下错误：
java.lang.IllegalStateException: Subprocess exited with status 2. Command ran: /{filePath}/{File}.py
更深入地观察，当尝试执行Python文件时，它显示import: command not found。我相信内置的Scala执行器不会理
浏览 3提问于2018-02-17得票数 0
回答已采纳
我有一个在spark-shell中运行的spark-scala脚本
spark2-shell -i test.scala
它工作得很好。关于如何安排这个脚本每小时运行一次的任何建议都可能对我有所帮助。
浏览 0提问于2018-10-26得票数 0
1回答
我用scala写了一个spark程序。现在我想在终端中运行我写的脚本。在pyspark中，我对python文件使用spark-submit。现在，我想对我的scala程序执行同样的操作。我不想使用Intellij或用spark-shell编写我的程序。我只想在编辑器中编写代码，并在终端中使用命令来运行它。这有可能吗？提前谢谢你
浏览 16提问于2018-08-17得票数 0
回答已采纳
需要以静默模式通过火花壳执行scala脚本。当我使用spark-shell -i "file.scala"时，在执行之后，我将进入scala交互模式。我不想进去。
我试着执行星空-i "file.scala“。但我不知道如何在静默模式下执行脚本。
spark-shell -i "file.scala"
行刑后，我进入
scala>
我不想进入scala>模式
为终止的脚本更新(2019年10月)
这个问题也是关于运行一个终止的脚本，即由spark-shell -i script.scala > output.txt自己运行的"s
浏览 0提问于2019-08-28得票数 4
我是java / scala的新手，来自python，我不知道编译阶段……我更改了一个使用spark给出的scala示例，但当我重新执行它时，会注意到这些更改。我猜这是因为我不习惯于编译我的脚本:-/
编译scala脚本有哪些命令？即：~/spark/examples/src/main/scala/org/apache/spark/examples/streaming/FlumePollingEventCount.scala
scalac /Users/romain/spark/examples/src/main/scala/org/apache/spark/examples/streamin
浏览 5提问于2017-02-02得票数 0
new是一个如下所示的rdd：
[('hotel stinsen', '59.066', '15.1115'),
('ankaret hotel and restaurant', '58.6725', '17.0975'),
('quality hotel ekoxen', '58.40574', '15.62391'),
('hotel nordica', '63.8532', '15.5652'
浏览 8提问于2022-10-08得票数 -1
回答已采纳
我有一些python脚本(这里没有Spark )来生成一些数据文件，我希望在scala/spark应用程序中可以像Dataframe一样轻松地读取这些文件。
最好的选择是什么？
浏览 0提问于2015-06-30得票数 0
我的集群是Spark-0.7.2 + Mesos-0.9。我用python写了一个spark程序，它在本地模式下运行得很好。但是当我在mesos上运行它时，出现了一些错误。以下是错误信息：
13/09/30 15:40:13 INFO TaskSetManager: Finished TID 13 in 242 ms (progress: 2/3)
13/09/30 15:40:13 INFO DAGScheduler: Completed ResultTask(4, 1)
send
Exception in thread "DAGScheduler" spark.SparkE
浏览 0提问于2013-09-30得票数 2
我试图在PySpark中实现文本预处理功能。我有amazon，在这里我从引导脚本安装Python依赖项。其中一个依赖项是textblob "python -m textblob.download_corpora“。然后我试着在所有的机器上使用它，没有任何问题。
但是，当我试图从星火运行它时，我会得到以下错误：
INFO: File "/home/hadoop/spark/python/pyspark/rdd.py", line 1324, in saveAsTextFile
INFO: keyed._jrdd.map(self.ctx._jvm.BytesToStrin
浏览 3提问于2014-10-24得票数 0
回答已采纳
2回答
我正在EMR步骤中运行spark应用程序，但由于某些错误导致作业失败，我希望看到该错误。我已经检查了stderr，但它没有提供任何有关错误的详细信息。它说的是 Exception in thread "main" org.apache.spark.SparkException: Application application_1593934145491_0002 finished with failed status
at org.apache.spark.deploy.yarn.Client.run(Client.scala:1149)
at org.apa
浏览 17提问于2020-07-05得票数 1
回答已采纳
3回答
我试图在独立模式下运行spark应用程序，在安装spark之后，当我尝试运行spark submit命令时，发现了上面没有找到java文件的错误。尝试了两种不同的方法。
：能够通过更改环境文件来删除附加的“/”，但问题仍然是persists：使得具有java的文件保持一致，但无法找到使其一致的spark.conf文件。方法-3:尝试更改bash配置文件，但没有结果，也没有。
下面是我的bash_profile
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home
export SPA
浏览 7提问于2019-12-04得票数 2
我使用的是spark 2.3.1版本的pyspark。
我只是安装了它，并尝试在本地使用它。我用下面的方法创建了一个rdd，collect函数返回了一个错误。但是take函数没有。
代码：
sc = SparkContext.getOrCreate()
data = sc.parallelize([ 1,2,3,5])
data.collect()
错误：
---------------------------------------------------------------------------
Py4JJavaError Tr
浏览 0提问于2018-07-03得票数 1
我正在为我的PySpark应用程序编写一个自定义库，它需要对一些CSV文件使用Pandas库进行一些预处理。由于输入文件本身存储在驱动程序中，而不是HDFS中，所以在驱动节点上进行预处理是“假定的”(我认为是这样的)。但是，在我使用addPyFile函数将库作为包添加、导入所需的方法并执行该函数之后，它将引发一个ImportError。
包结构如下所示
module
|- __init__.py
|- module_1.py
|- module_2.py
|- sub_module_1
|- __init__.py
|- sub_mod_1.py
|- ...
我在Python运行
浏览 4提问于2019-04-26得票数 0
回答已采纳
1回答
我在用python和pyspark。
为了测试目的，我在docker上运行了一个独立的集群。
使用代码的回购
请注意，在运行它时，您应该在此之前运行此命令，以便能够登录到其中。
docker network create --gateway 10.5.0.1 --subnet 10.5.0.0/24 spark_master
我变成了工人和主人，当我使用
which python
我得到了类似的python版本(3.5)
当我运行最简单的pyspark代码时(从容器中运行)
from pyspark import SparkContext, SparkConf
conf = SparkConf
浏览 4提问于2019-12-05得票数 1
我完全是数据库和火花的新手。我使用的是数据砖、社区版和Spark2.4.5集群。我试图修改从Spark1.6.2到Spark2.4.5运行的代码，因为在社区版本中，不允许使用Spark1.6.2创建集群。有人能帮我把RDD对象转换成Spark2.4.5中的Dataframe吗？
码
summary = data.select("OrderMonthYear", "SaleAmount").groupBy("OrderMonthYear").sum().orderBy("OrderMonthYear") #.toDF("Or
浏览 1提问于2020-05-01得票数 0
回答已采纳
我使用的是亚马逊EC2，我的主服务器和开发服务器是一体的。我有另一个单个worker的实例。
我是个新手，但我已经设法让spark在独立模式下工作了。现在我正在尝试集群。主节点和辅助节点处于活动状态(我可以看到它们的webUI，它们正在工作)。
我有Spark 2.0，并且我已经安装了最新的Anaconda 4.1.1，它与Python 3.5.2一起提供。在worker和master中，如果我进入os.version_info并执行PYSPARK_PYTHON，我会得到3.5.2，我也正确地设置了所有的环境变量(如stackoverflow和google上的其他帖子)。
无论如何，在任何地方
浏览 1提问于2016-08-14得票数 1
我在一个系统上工作，在这个系统中，我让用户编写DSLS，并在运行时将其作为我的Type的实例加载，这些实例可以应用于RDDs之上。整个应用程序以spark-submit应用程序的形式运行，我使用ScriptEngine引擎来编译用Scala语言编写的DSL。每个测试在SBT和IntelliJ中都能正常工作。但是在执行spark-submit时，我的fat-jar中可用的类型不能在脚本中导入。我初始化脚本引擎如下所示。
val engine: ScriptEngine = new ScriptEngineManager().getEngineByName("scala")
pri
浏览 45提问于2018-08-07得票数 2
所以，我对火花和PySpark很陌生。我试图运行Python脚本从MySql数据库读取数据，如下代码所示：
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
sc = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config("spark.some.config.option", "some-value") \
.get
浏览 0提问于2018-10-14得票数 0
回答已采纳
2回答
我正在和另一个人一起做一个项目。我的部分项目涉及Spark的机器学习的分析，而我的队友正在使用Spark Streaming从源到程序再到接口的管道数据。
我计划使用Scala，因为它对Spark有最好的支持。但是，我的队友没有任何使用Scala的经验，可能更喜欢使用Python。
假设我们的程序部分正在做两件不同的事情，那么让他的Python脚本调用我的Scala可执行文件对我们来说是不是一个好主意？或者，使用不同的语言会在以后增加复杂性吗？
浏览 0提问于2016-06-15得票数 2
2回答
我试图在mac上本地设置一个独立的spark实例，并使用Python3API。为此，我完成了以下操作: 1.下载并安装了Scala和Spark。2.我设置了以下环境变量，
#Scala
export SCALA_HOME=$HOME/scala/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin
#Spark
export SPARK_HOME=$HOME/spark/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
#Jupyter Python
export PYSPARK_
浏览 1提问于2018-02-07得票数 0
回答已采纳
当我运行spark python代码时，如下所示：
import pyspark
conf = (pyspark.SparkConf()
.setMaster("local")
.setAppName("My app")
.set("spark.executor.memory", "512m"))
sc = pyspark.SparkContext(conf = conf) #start the conf
data =sc.textFile('/Users/tsangbosco/
浏览 2提问于2014-05-12得票数 3
我正在尝试使用AWS CLI创建一个EMR集群，以运行python脚本(使用pyspark)，如下所示：
aws emr create-cluster --name "emr cluster for pyspark (test)"\
--applications Name=Spark Name=Hadoop --release-label emr-5.25.0 --use-default-roles \
--ec2-attributes KeyName=my-key --instance-groups \
InstanceGroupType=MASTER,Instance
浏览 0提问于2020-08-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
