下面的程序抛出错误名称'spark‘未定义File "pgm_latest.py", line 232, in <module,300) .set(spark.shuffle.spill.compress,true)
浏览 0提问于2016-07-16得票数 3
1回答
尝试遵循spark教程，但得到以下错误-
Using Python version 2.6.6 (r266:84292, Nov 22 2013 12:16:22)>>> import pysparkTraceback (most recent
浏览 0提问于2017-09-12得票数 1
回答已采纳
同样的方法在木星上运行Apache星火，但现在它抛出异常：Java网关进程在向驱动程序发送其端口号之前退出。print(filename)
exec(compile(spark_release_file) and "Spark 1.5&quo
浏览 1提问于2017-01-29得票数 0
我有一个文件存储一些命令，如下所示：
sudo PYSPARK_DRIVER_PYTHON=/bin/python2.7 PYSPARK_PYTHON=/bin/python2.7 SPARK_CONF_DIR=/configuration/spark2 /spark2.1/bin/spark-submit --driver-memory 2g --executor-memory 4g --num-
浏览 0提问于2018-04-23得票数 0
2回答
无法创建火花会话
、、、、
当我创建火花会话时，它会抛出一个错误。无法创建火花会话
131 " note this option will be removed in Spark_active_spark_context = instance
V
浏览 3提问于2019-05-03得票数 2
我在一个使用YARN的Hadoop集群上使用PySpark (解释为)运行Jupyter Notebook服务器。我注意到，每个通过新笔记本启动的Spark应用程序，在Spark Web UI中都显示为一个名为"PySparkShell“的应用程序(对应于"spark.app.name”配置)。我的问题是，有时我有很多笔记本在Jupyter中运行，但它们都以相同的通用名称"PySparkShell“出现在Spark的Web
浏览 4提问于2018-05-07得票数 0
1回答
Hi Stackoverflow fams：我想在pyspark中做同样的事情，并尝试在spark dataframe中创建一个临时表但是代码一直抛出“未定义的函数：'CHECKSUM'”。有没有一种方法可以将"CHECKSUM“函数添
浏览 6提问于2021-05-14得票数 1
我正在使用pyspark中的addPyFile方法加载redis.zip文件。我可以使用但是，在使用./pyspark运行代码时，它显示了错误：
zip(redis.zip)包含.py文件(client.py、connection.py、exceptions.pyPython版本为- 3.5，spark
浏览 2提问于2017-03-03得票数 0
回答已采纳
1回答
火花Sql连接
、、、
下面是我的代码，SqlContext = pyspark.SQLContext(sc)
Driver/SparkSqlOracle.py"，第8行，在OrcDb = SqlContext.read.format('jdbc') \ File "C:\Hadoop\Spark\spark-3.0.0-preview2-bin-ha
浏览 2提问于2020-04-11得票数 0
回答已采纳
我在pyspark中运行了一个python脚本，并得到了以下错误: NameError:名称“火花”未定义
我查了一下，发现原因是还不允许使用spark.dynamicAllocation.enabled根据星火的文档()：spark.dynamicAllocation.enabled (默认：false)控制是否启用动态分配。假定spark.executor.instances未设置或为0(这是默认值)。因为默认设置是false，所以我需要更改Spark设置以启用<e
浏览 4提问于2016-10-25得票数 7
回答已采纳
我的剧本是sc = SparkContext('local', 'Simple App'/Software/spark/python/pyspark/context.py"，第115行，在init conf，jsc，profiler_cls中)
文件"/home/huayu
浏览 2提问于2016-08-15得票数 0
2回答
我在中使用Spark2.4.0，它有CentOS 6和3.75GM内存。当我尝试进入火花放电模式时，它会抛出下面提到的错误。Traceback (most recent call last): from
浏览 0提问于2019-02-05得票数 0
回答已采纳
2回答
在运行pyspark脚本加载拼图面板时，我遇到了以下错误。交互模式工作正常： df_writer.saveAsTable('test', format='parquet', mode='overwrite',path='xyz/test_table.parquet')/opt/mapr/spark</e
浏览 1提问于2017-02-17得票数 2
1回答
我已经在集群中安装了Datastax Enterprise4.6，但是我不明白为什么pyspark抛出这个错误。scala接口工作得很好，但是python就不行了，有谁知道怎么解决这个问题吗？Python 2.6.6 Centos 6.5bash-4.1$ dse pyspark --master spark://IP:7077 import pyspark
File "
浏览 0提问于2015-01-13得票数 0
2回答
我正在研究CentOS，我已经安装了$SPARK_HOME，并在$PATH中添加了到bin的路径。from pyspark import SparkConf, SparkContextpython pysparktask.pyimport SparkConf, SparkContext
File "/opt/mapr/spark/spar
浏览 12提问于2017-03-30得票数 2
回答已采纳
我在PySpark中使用Spark2.0。到目前为止还不错：'spark.app.name=pyspark-shell\nspark.master=local[2]\nspark.submit.deployMode=client'
'<
浏览 1提问于2016-11-20得票数 12
回答已采纳
我是spark和pyspark的新手。如果有人能解释一下SparkContext参数到底是做什么的，我将不胜感激。如何为python应用程序设置spark_context？
浏览 0提问于2014-07-28得票数 17
回答已采纳
1回答
import SparkSession
setting = spark.conf.get("spark.master")
from pyspark.dbutils import DBUtils在dbutils = DBUtils(s
浏览 2提问于2021-03-18得票数 0
回答已采纳
我有一个类似于许多其他发布的关于PySpark的问题，但这些解决方案似乎都不适用于我的问题，所以我发布了一个新的问题。 at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:47)
at org.apache.spark.sql.catal
浏览 1提问于2018-07-22得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
