google dataproc:使用哪个spark目录来设置$SPARK_HOME环境变量？
在Google Dataproc中，可以使用以下目录来设置$SPARK_HOME环境变量：
/opt/spark
$SPARK_HOME环境变量是用来指定Spark安装目录的路径。在Google Dataproc中，Spark被安装在/opt/spark目录下。因此，可以将$SPARK_HOME设置为/opt/spark来指定Spark的安装路径。
Google Dataproc是Google Cloud提供的一项托管式的Apache Spark和Apache Hadoop服务。它可以帮助用户快速、简便地在Google Cloud上创建和管理Spark和Hadoop集群。通过使用Google Dataproc，用户可以轻松地进行大规模数据处理和分析，以及构建基于Spark和Hadoop的应用程序。
推荐的腾讯云相关产品：腾讯云EMR（Elastic MapReduce），它是一种大数据处理和分析服务，提供了托管式的Hadoop和Spark集群。您可以通过腾讯云EMR来快速搭建和管理大规模的数据处理环境，并使用Spark进行数据分析和处理。
腾讯云EMR产品介绍链接地址：https://cloud.tencent.com/product/emr
相关·内容
在谷歌DataProc上，$whereis spark返回了两个目录。默认情况下不设置$SPARK_HOME env。我应该将$SPARK_HOME设置为两个目录中的哪一个？svermoli@cluster-bigdl-0p4-deploy-m:~/BigDL$ whereis spark
spark: /usr/lib/spark /etc
浏览 10提问于2018-02-02得票数 1
1回答
Google Cloud上的Dataproc集群执行的Spark作业在任务PythonRDD.scala:446上卡住问题是，默认情况下应该在dataproc集群上设置SPARK_HOME。其他不使用RDDs的<em
浏览 2提问于2018-01-26得票数 1
回答已采纳
1回答
我刚刚使用DataProc在Google中建立了一个Spark集群，并且在一个单独的VM上运行了一个独立的Cassandra安装。连接器可以在这里下载：
需要sbt来构建它。它会在$SPARK_HOME/bin以下吗？DataProc在哪里安装了火花？
浏览 1提问于2015-12-29得票数 0
我是Spark和GCP的新手。我试着和它联系起来但它显然不能工作(例如，没有身份验证)。
我该怎么做呢？是否可以从Google Cloud外部连接到它？
浏览 3提问于2016-09-29得票数 5
4回答
如何在intellij上设置pySpark。即使在设置了环境变量spark_home和pythonpath之后，导入pySpark仍会给出错误-导入错误:没有名为pySpark的模块
浏览 1提问于2017-05-05得票数 0
我刚开始使用Spark，我正在尝试使用Jupyter Notebook在我的本地(windows)计算机上玩Spark 我遵循了几个关于设置环境变量的教程，以及通过Python和cmd使用多个函数来设置环境变量从围绕这个主题的其他帖子中，我被引导相信SPARK_HOME变量可能设置得不正确。PATH变量中，包括%SPARK_HOME%\bin。最后，当我cmd > cd %<
浏览 124提问于2019-07-03得票数 2
我想在本地运行一个PySpark作业，使用特定版本的Hadoop (假设Hadoop-AWS2.8.5)，因为有一些特性。py4j.protocol.Py4JJavaErrorhadoop
浏览 7提问于2020-03-21得票数 2
回答已采纳
1回答
我在Java文件夹中使用了与上面相同的路径来下载它。完成之后，我在Java文件夹中有两个文件夹：jdk1.8.0_151 and jre1.8.0_151接下来，我安装了，然后安装了spark-2.2.1-bin-hadoop2.7.tgz，我在这里放置了这个文件夹，然后将环境变量添加为SPARK_HOME，路径为：D:\
浏览 1提问于2017-12-26得票数 0
回答已采纳
当我尝试的时候：sc=SparkContext()KeyError: 'SPARK_HOME'
解决方案是什么
浏览 0提问于2015-07-14得票数 2
我已经在python3.6中安装了pyspark，并且我正在使用jupyter notebook来初始化一个spark会话。from pyspark.sql import SparkSessiondf = spark.range(10)它抛出一个错误-->
Py4JError: An error oc
浏览 0提问于2018-03-02得票数 11
1回答
在员工节点上安装火花模块
、、、
我在cloudera环境中以独立模式运行SPARK 1.3。我可以从ipython笔记本上运行pyspark，但是一旦我添加了第二个工作节点，我的代码就会停止运行并返回一个错误。
浏览 6提问于2015-06-25得票数 6
回答已采纳
3回答
目前，google还没有将Currently 3.2.0作为图像。最新数据为3.1.2。我想使用的熊猫火花放电功能，火花已经发布了3.2.0。导出环境yaml
然后更改环境变量。export SPARK_HOME=/opt/conda/miniconda3/envs/pyspark/lib
浏览 17提问于2021-12-07得票数 7
回答已采纳
我正在尝试将我的容器设置为边缘节点，以便在我的dev集群上运行spark应用程序，其中安装了Spark/hadoop(Spark2.2.0)。到目前为止，我遵循的策略是，在提交申请时，我是如何收到错误的：
使用压缩文件spark-2.2.0-bin-hadoop2.6.tgzUncompressed在我的容器上安装了使用压缩文件在containerCopied在容器上安装SPARK_HOME并指向指向$SPARK_HOME&
浏览 6提问于2021-02-12得票数 0
我正在共享集群环境中安装Spark。我们决定使用spark独立模式，并使用sbin中包含的"start-all.sh“命令来启动Spark workers。由于集群的共享架构，SPARK_HOME位于用户不可写的公共目录中。因此，我们在用户的scratch中创建"run“目录，其中可以指向SPARK_CONF_DIR、日志目录和工作目录。问题是worker节点上
浏览 1提问于2019-04-17得票数 0
我正在尝试使用Spark HiveContext访问hive数据。我已经写了查询“显示数据库”。但我得到的回应是默认的。似乎我的程序无法定位放置在项目的conf/文件夹中的hive-site.xml文件，因此在项目目录中创建了一个metastore_db。JavaSparkContext(sparkConf);
JavaHiveContext sqlContext = new org.apache.spark.sql.hive.ap
浏览 0提问于2015-09-08得票数 0
10回答
我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。下载后，我遵循了这里提到的步骤，.I使用评论bin\pyspark运行spark & got message附件是错误消息的屏幕截图path变量的屏幕截图如下所示
我的windows10系统中有python3.6和Java "1.8.0_151“，你能建议我如何解决这个问题吗
浏览 18提问于2018-03-18得票数 17
1回答
我试着改变"spark.local.dir“，但它没有用。我的工作只在d2.4xlarge实例上完成，但在r3.4xlarge上失败，它有类似的核心和内存。我找不到这个问题的根本原因。
浏览 0提问于2018-07-17得票数 1
我希望在我的dataproc集群的每个节点上设置一个环境变量，以便它可以用于将运行在该集群上的pyspark作业。做这件事最好的方法是什么？我想知道是否有一种使用Compute Engine元数据的方法(虽然到目前为止我的研究表明Compute Engine元数据可以通过Compute Engine实例上的元数据服务器获得，而不是通过环境变量除此之外，除了在dataproc初始化脚本中发出export命令之外，我想不出有什么方法可以做到这一点。
有人能提出其他选择吗？
浏览 1提问于2020-04-14得票数 4
回答已采纳
1回答
当通过Homebrew安装ApacheSpark2.2.1时，产生的安装位置似乎有两个稍微不同的bin/目录，一个低于另一个。(这个问题底部的目录结构。)我主要担心的是，load-spark-env.sh (星火环境变量加载脚本)在两者之间看起来完全不同，很难确定正在使用的是哪一个。
为什么这里可能有两个类似的bin/目录？如果我将$SPARK_HOME设置为libexec/ (请参见下面)，这里
浏览 0提问于2018-03-01得票数 1
/anaconda/envs/pyspark/lib/python3.5/site-packages/findspark.py in init(spark_home, python_path, edit_rc, edit_profile) 133 spark_python = os.path.join(spark_home, 'python')
--> 1
浏览 7提问于2017-02-14得票数 20
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
