例如： from pyspark.sql import SparkSession return pdf.assign(v=v - v.mean())
df.groupby("id").apply(subtract_mean).show() 给了我一个错误, most recent failure: Lost task 44.0 in stage 7.0 (TID 128,
浏览 55提问于2020-01-01得票数 3
但是，在加载模型时，将面临以下问题from pyspark.ml.classification import LogisticRegressionModel错误消息：Settingget_return_value
py4j.protocol.Py
浏览 0提问于2018-10-03得票数 1
回答已采纳
我无法从Pyspark运行配置单元查询。我尝试将hive-site.xml复制到spark的conf中，但还是抛出了同样的错误 完全错误 Traceback (most recent call last): File "/usr/local/spark-2.4.0/python/pyspark/sql/context.py&
浏览 202提问于2020-04-07得票数 2
使用Spark2.1的新安装，我在执行pyspark命令时得到了一个错误。Traceback (most recent call last):
浏览 7提问于2017-03-22得票数 9
回答已采纳
我在spark 2.1.0和python 2.7上使用pyspark和jupyter笔记本。我正在尝试使用下面的代码创建一个新的SparkSession；from pyspark import SparkConf .getOrCreate()
sqlContext = S
浏览 4提问于2017-02-10得票数 2
df = spark.read.load('abfs[s]://folder/a_p_c_w.csv')但是越来越少的错误。有人能帮帮我吗。IllegalArgumentException: java.net.URISyntaxException: Illegal character in scheme name Traceback (most recent call las
浏览 9提问于2022-01-12得票数 0
1回答
我正在使用pandas_udf在pyspark中创建一个分组映射(拆分-应用-组合模式) UDF，并且我需要知道在传递给UDF时是否保持行的顺序(我的转换取决于每个组的行的顺序)。
浏览 1提问于2020-04-25得票数 1
回答已采纳
我正在尝试使用PySpark将Postgres数据库加载到Spark中：from pyspark import SparkConfdf = sqlContext.read.jdbc(url=url, table='myTable', properties=properties)
我得到了下面的错误QueryExecutionException(s.split
浏览 19提问于2016-09-16得票数 3
sample_files/column_containing_JSON_data.csv :来自F:/spark/sample_files/column_containing_JSON_data.csv的路径名pyspark.sql.utils.IllegalArgumentException不是一个有效的pyspark.sql.utils.IllegalArgumentException文件名。我给出了本地输入文件路径(如下所示)，但它正在尝试访问path(/F:
浏览 2提问于2021-07-23得票数 0
我正在尝试将大约300个单独的json文件读取到pyspark中。我可以只读一个，但是一旦我使用了通配符，它就会出错：我已经尝试应用了以下代码：from pyspark import SparkContext, SparkConf
sc = SparkContext(appName='a
浏览 1提问于2019-07-25得票数 0
我是Pyspark的新手，我正在试着做一个简单的计数。然而，它给了我这个错误。文本文件在hdfs中。代码：>>> mydata.count()Traceback (most recent calllast): File &qu
浏览 0提问于2016-10-24得票数 7
我无法计算列名称中包含点的pyspark数据帧的approxQuantile。数据帧模式是 root
|-- col.dot: double (nullable = true) 那我就不能 df.approxQuantile(('`col.dot`'), [0.5], 0.25) 导致错误: pyspark.sql.utils.IllegalArgumentException：‘字段"col.dot“不存在。\n可用字段: col.dot’ 我也试过 df.approxQuantile((&
浏览 7提问于2019-06-12得票数 1
我必须在pyspark数据帧上进行2级分组。我的试探性的：grouped_df.groupby(["C"]).count()'GroupedData' object has no attribute 'groupby'
我想我应该首先将分组的对象转换为pySpark DF。
浏览 2提问于2017-10-18得票数 7
回答已采纳
(F.col('filled_serie'))) 1258
Py4JJavaError: An error occ
浏览 0提问于2018-09-16得票数 2
1回答
尝试在一些训练数据上实现决策树回归算法，但是当我调用fit()时，会得到一个错误。DecisionTreeRegressor(featuresCol="features", labelCol="_11")
生成错误_fit_java(dataset)
File "/opt/spark/python/pyspark/ml/wrapper.py",
浏览 2提问于2019-10-04得票数 0
回答已采纳
有人能告诉我为什么我会收到下面的错误吗？根据火花放电-卡桑德拉连接器的自述，下面我正在尝试的东西应该可以工作(没有星火包)：
$ pyspark_egg=&qu
浏览 3提问于2016-01-10得票数 5
回答已采纳
在pyspark中配置jupyter notebook时，它有一些错误:在.bashrc文件中：export PYSPARK_DRIVER_PYTHON=jupyter当我输入pyspark时，它显示[C 13:51:52.029 Notebo
浏览 2提问于2017-06-25得票数 0
我尝试从sqlCtx.read.format加载数据，在实例化sqlCtx.read.format错误的同时，我得到了"IllegalArgumentException: U“错误，但是当我使用spark.read.formatimport osimport pandas as pdimport osimport refrom pyspark</e
浏览 3提问于2017-03-15得票数 3
回答已采纳
forwardSparkAzureStorageCredentials", "true")\ .save()IllegalArgumentException: KrbException: Cannot locate default realm------------------------------------------------------
浏览 12提问于2022-06-21得票数 1
回答已采纳
我使用的是一个带有两个节点的ApacheSparkVersion2.0.0独立集群，而且我还没有安装hive.I在创建dataframe时得到了以下错误。from pyspark import SparkContextsqlContext = SQLContext(sc)----> 1 sqlContext.createDataFrame(l).collect()
/home/mok&#x
浏览 3提问于2016-08-27得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
