Session)], [14183197,Browse,80161356,8702171157207449,72,527780278061,List(StartPlay, Action, Session)])[14183197,Browse,80161356,8702171157207449,72,527780278061,List(StartPlay, Action, Session)] val schema = StructType(Array(
StructFiel
浏览 0提问于2017-10-12得票数 0
1回答
减少方法是否需要初始化程序？
、、、、
下面的union_all函数尝试这样做：from pyspark.sql import DataFrame
return reduce(DataFrame.union, dfs)TypeError: reduce() of empty sequencewith no initial value
从这一讨论中
浏览 2提问于2020-12-18得票数 0
回答已采纳
我正在努力创建一个空的数据在火花(火花)。df = sqlContext.createDataFrame(sc.emptyRDD(), schema)Traceback (most recent call last):Desktop/spark-1.5.1-bin-hadoop2.6/python/pyspark/sql/context.py", line 404, in createDataFrame
rdd,
浏览 4提问于2016-01-06得票数 34
回答已采纳
1回答
schema = StructType([])else:但是，我似乎找不到正确的语法来检查dataframe是否为空。上面的final.rdd.isEmpty总是给出一个真值，即使最终的数据帧不是空的。
浏览 1提问于2018-10-11得票数 0
回答已采纳
我想要更改Spark Dataframe中特定列的nullable属性。
如果我打印当前数据帧的模式，它看起来如下所示。
浏览 24提问于2016-09-28得票数 0
回答已采纳
2回答
我尝试过df.write.json("myNewJson")，虽然它不抛出任何错误或警告，但它只是没有在目标中创建任何文件。df.write.format("json").save("/MyDir/")似乎也有同样的问题。我是不是漏掉了什么陈述？
浏览 0提问于2018-04-17得票数 4
回答已采纳
我正在尝试在Spark scala中创建一个空的dataFrame，并希望创建自己的模式并将记录加载到其中。
浏览 32提问于2021-03-13得票数 0
为了使用pandas_udf，我定义了一个输出schema，并在列Number上有一个条件。作为一个例子，这里的简化思想是我只希望返回具有奇数Number的行的ID。这就带来了一个问题，有时在一个组中没有奇怪的Number，因此UDF只返回一个空的数据帧，这与为Number返回一个int的定义的schema冲突。schema = StructType([ StructField(&quo
浏览 2提问于2020-05-18得票数 3
2回答
代码在以下方面失败：Number of columns of the returned pandas.DataFrame doesn't match specified schema.熊猫功能from pandas import Timestamp
sdf = spark.createDataFrame(df)
sdf.print
浏览 1提问于2020-11-20得票数 4
回答已采纳
1回答
下面的代码从拼花文件中读取星火DataFrame并写入另一个拼花文件。ArrayType DataType中的可空字段在将DataFrame写入新的Parquet文件后进行更改。dataFrame = sqc.read().parquet("src/test/resources/users.parquet");
StructField[] fields = dataFrame.schema).parquet("src&#
浏览 3提问于2016-09-26得票数 3
回答已采纳
是否可以使用已知的模式保存一个空的DataFrame，以便将该模式写入该文件，即使该文件没有任何记录？def example(spark: SparkSession, path: String, schema: StructType) = { val dataframeWriter = dataframe.write.
浏览 2提问于2018-04-14得票数 5
2回答
这是一个很好的代码：val schema= StructType(Array( .appName("Parquet Converter")val dataFrame: <
浏览 0提问于2018-11-14得票数 5
回答已采纳
1回答
熊猫数据框架未附加
、、、
码# pass a sql query and return a pandas dataframe columns_list = [desc[0] for desc in cur.description] else:
modified_schemadf=pd.DataFrame(columns=[&
浏览 5提问于2020-03-19得票数 0
回答已采纳
我试图在pyspark dataframe(2.0.0)上定义一个sql视图，但得到了类似“未找到表或视图”的错误。我正在做的事情: 1.创建一个空的dataframe 2.将不同位置的数据加载到一个temp dataframe 3.将temp data frame附加到一个主dataframe (空的) 4.在dataframe(之前是空的)上定义一个sql视图。SparkSession.builder.config(conf=SparkConf()
浏览 2提问于2016-12-21得票数 0
为了检查等式，我使用了toDF()，它不幸地给出了一个模式，在模拟的dataframe中为"_id“提供了一个nullable = true，从而使测试失败(注意，函数的”实际“输出为nullable我还尝试过创建模拟的dataframe，这是一种导致错误的不同方式：import org.apache.spark.sql.Encoders
va
浏览 0提问于2018-09-18得票数 0
回答已采纳
我在python中有这样的json： example = [{"col1":"","col2":"","col3":52272}, ...] json的列可能为空。空值为"“。我创建了spark模式： schema = StructType([ StructField("col2", L
浏览 17提问于2021-10-18得票数 0
回答已采纳
我试图从我在SharePoint中创建的视图中提取数据，连接工作，数据被拉出来，但10列中只有7列被返回。我尝试了一个普通的GetListItems，也使用了字段名。更新：import shareplum as sp
au
浏览 0提问于2020-07-10得票数 2
我将通过一个过程一个接一个地获得生成的数据帧。我必须把它们合并成一个。 +--------+----------++--------+----------++--------+----------+
| Name|Age ||Earl | 32|
| Name|Age
浏览 18提问于2019-10-18得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
