腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
如何使用
spark
-submit在集群模式下将
环境
变量传递给
spark
驱动程序
、
spark
-submit允许使用--conf
spark
.executorEnv.FOO=bar配置executor
环境
变量,
Spark
REST API允许使用environmentVariables字段传递一些
环境
变量。不幸的是,在集群模式下使用
spark
-submit提交驱动程序时,我没有发现与配置驱动程序的
环境
变量类似的内容:
spark
-submit --deploy-mode cluster myapp.jar是否可以在集群模式下使用<em
浏览 1
提问于2016-06-18
得票数 19
1
回答
bluemix上的swiftclient异常:在Apache
Spark
实例上的Jupyter notebook中导入失败
、
、
请注意,我是在Apache
Spark
上使用Notebook。我可以上传这作为一个应用程序代码一旦开发完成。
浏览 0
提问于2016-06-03
得票数 0
1
回答
数据库
环境
中的SparkSessionExtensions injectFunction
、
、
、
SparkSessionExtensions injectFunction可以在本地运行,但我不能让它在数据库
环境
中运行。:0.1.0 --conf
spark
.sql.extensions=org.apache.
spark
.sql.extra.PostgreSQLExtensions10 years 我在Databricks
环境
中工作时遇到了问
浏览 22
提问于2021-03-20
得票数 1
1
回答
为什么我在使用'count‘函数时会在Pyspark中得到py4j错误?
、
from pyspark import SparkContext py4j.Py4JException: Method printStackTrace([class org.apache.
spark
.api.java.JavaSparkContext])py4j.GatewayConnection.run(GatewayConnec
浏览 16
提问于2020-12-19
得票数 0
回答已采纳
2
回答
Spark
-提交如何设置user.name
、
、
想要设置已尝试--conf mapreduce.job.user.name=myuser \ --master yarn \也尝试过--conf user.nameuser.name yarn
浏览 0
提问于2017-02-07
得票数 5
1
回答
如何建立斯派克利用大熊猫的管理?
、
、
、
我这样做了,在使用source activate myenv激活本地
环境
之后,当我登录到pyspark2时,我发现它正在挑选新版本的熊猫。但是当我使用
spark
2-submit命令提交作业时,它就不起作用了。我在
spark
2-submit命令中添加了下面的配置--conf
spark
.pyspark.virtualenv.type=conda --conf
spark
.pyspark.vir
浏览 0
提问于2018-11-14
得票数 2
1
回答
多个版本的星火,但不能设置为星火2
、
跑步时:我收到一条消息说
Spark
1 will be picked by defaultexport
SPARK
_MAJOR_VERSION = 2
spark
-submit--version
SPARK
_MAJOR_VERSION is set
浏览 0
提问于2018-02-10
得票数 0
1
回答
java.lang.UnsatisfiedLinkError: jep.Jep.init(Ljava/lang/ClassLoader;ZZ)
、
、
、
:38) at org.apache.
spark
.rdd.RDD.iteratororg.apache.
spark
.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.
spark
.rdd.RDD.iteratororg.apache.
spark
.rdd.RDD.computeOrR
浏览 4
提问于2020-01-07
得票数 4
回答已采纳
10
回答
使用pyspark创建
spark
数据帧时出现Py4J错误
、
、
我已经在python3.6中安装了pyspark,并且我正在使用jupyter notebook来初始化一个
spark
会话。from pyspark.sql import SparkSessiondf =
spark
.range(10)它抛出一个错误--> Py4JError: An error occurred while calli
浏览 0
提问于2018-03-02
得票数 11
2
回答
通过传递凭据在AWS EMR上运行
spark
、
、
、
我是电子病历的新手,并尝试使用类似command-runner.jar
spark
-submit --deploy-mode cluster --class com.xx.xx.className s3n://mybuckets/
spark
-jobs.jar的东西作为步骤启动
Spark
job 但是,
spark
作业需要凭据作为
环境
变量,我的问题是,将凭据作为
环境
变量传递给
spark
作业的最佳方式是什么。
浏览 0
提问于2017-07-08
得票数 0
1
回答
findspark.init()失败-无法正确设置
SPARK
_HOME
环境
变量
、
、
我刚开始使用
Spark
,我正在尝试使用Jupyter Notebook在我的本地(windows)计算机上玩
Spark
我遵循了几个关于设置
环境
变量的教程,以及通过Python和cmd使用多个函数来设置
环境
变量我的
环境
变量如下:我的
spark
在这里提取: C:\
spark
\
spark
-2.4.3-bin-hadoop2.7 HADOOP_HOME: C:\
spark
\
spark
-2.4.3-bin-hadoop2.7
浏览 124
提问于2019-07-03
得票数 2
1
回答
在启用了
spark
身份验证和加密的
spark
独立群集上,无法通过
spark
-submit终止
spark
应用程序
、
在启用了
spark
身份验证和加密的
spark
独立集群上,我无法通过
spark
提交命令杀死
spark
应用程序。命令- bin/
spark
-class org.apache.
spark
.deploy.Client kill
spark
://host:7077 driver-20200728102235-0005.: at org.apache.
spark
.util.ThreadUtils$.awaitResul
浏览 33
提问于2020-07-28
得票数 0
1
回答
spark
程序找不到hive-site.xml文件
、
我正在尝试使用
Spark
HiveContext访问hive数据。我已经写了查询“显示数据库”。但我得到的回应是默认的。JavaSparkContext(sparkConf); JavaHiveContext sqlContext = new org.apache.
spark
.sql.hive.api.java.JavaHiveContext
浏览 0
提问于2015-09-08
得票数 0
3
回答
在IntelliJ IDEA中编写和运行pyspark
、
、
、
我可以在IntelliJ中使用Python,也可以使用pyspark shell,但是我不能告诉IntelliJ如何找到
Spark
文件(导入pyspark会导致"ImportError: No module任何关于如何包含/导入
spark
,以便IntelliJ可以与它一起工作的小贴士,我们都很感激。
spark
_context = SparkContext(conf=
spark
_conf)log
浏览 3
提问于2015-11-02
得票数 8
回答已采纳
1
回答
Pyspark总是使用系统的python
、
python3export PYSPARK_DRIVER_PYTHON_OPTS="notebook"我的
Spark
版本是:我已经阅读了所有的答案。如何强制
spark
的slave node使用蟒蛇的python? 谢谢~!
浏览 2
提问于2020-07-29
得票数 0
2
回答
TransmogrifAI : FAILURE:生成失败,异常
、
、
在遵循他们提供的说明之后,我尝试运行这个: 变量:导出
SPARK
_HOME= > A problem occurred starting process 'command 'null/bin/
spark
-submit
浏览 0
提问于2018-08-31
得票数 1
回答已采纳
1
回答
SPARK
_ENV_LOADED
环境
变量的用途是什么?
当我提交CreateSubmissionRequest JSON时,我正在使用
Spark
隐藏rest api以的形式提交
spark
应用程序,但不包含以下内容 "
SPARK
_ENV_LOADED" : "1"作业失败,并显示以下错误 WARN Worker: Driver driver-20170206152610-0010 failedwith unrecoverable exception: java.lang.
浏览 9
提问于2017-02-06
得票数 1
回答已采纳
2
回答
PySpark pandas_udfs java.lang.IllegalArgumentException误差
、
、
、
环境
:pyarrow==0.15pandas==0.24示例脚本:
spark
.conf.set("
spark
.sql.execution.arrow.enabled", "true")
spark
.conf.set("
s
浏览 0
提问于2020-02-19
得票数 8
回答已采纳
1
回答
spark
.driver.memory没有作用吗?
、
、
、
启动
Spark
应用程序,然后转到
Spark
查看我看到的
环境
变量 重新启动Docker容器,再次检查我的
环境
变量,
浏览 2
提问于2021-08-06
得票数 0
1
回答
设置本地星火实例和运行火花放电时权限被拒绝的错误
、
我可以用以下方式启动火花:并在浏览器中使用http://localhost:4040/连接到它(我看到了
Spark
)。但是,当我运行示例时它引发一个权限被拒绝的错误,如在此跟踪中: 21/03
浏览 7
提问于2021-03-08
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
spark环境构建(4)
Spark开发环境搭建
教程-Spark安装与环境配置
搭建Windows下的Spark开发环境
Windows系统是这样配置spark环境的
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券