1回答
我使用Spark窗口函数row_number()为具有嵌套结构的复杂DataFrame生成ID。然后，我提取DataFrame的一部分以创建多个表作为输出，其中包括这个键。但是，Spark只会在操作被触发时物化该表，所以当提取的表保存到HDFS中时，它最终会生成ID。另一方面，在处理大型DataFrames和转换时，Spark可能会打乱数据，从而更改row_num
浏览 1提问于2017-11-21得票数 1
我正在使用下面的python代码从spark dataframe创建一个交叉表。另一方面，我正在基于spark dataframe中的另一列创建一个新列，我希望使用如下代码，但这是徒劳的。ValueError:无法将列转换为布尔值:在生成DataFrame布尔表达式时，请使用'&am
浏览 0提问于2021-02-23得票数 0
如果字段不存在于要读取的拼图中，有没有办法为编码器选择默认值？public static final Encoder<ParquetModel> encoder = Encoders.bean(ParquetModel.class);
例如，在我的ParquetModel中有一个字段Name，但它不在拼花面板的模式中。有没有办法指定默认值？
浏览 4提问于2020-10-23得票数 0
1回答
我的data.csv文件有三列，如下所示。我已经将这个文件转换为python spark dataframe。A B C| 2 | 0 | 5 |我想在spark dataframe中添加另一列D，值为Yes或No，条件是如果B列中的相应值大于
浏览 0提问于2019-02-23得票数 3
回答已采纳
2回答
dec| val||100| 2|1234.5678|+---+---+---------+ jdt
浏览 4提问于2018-08-28得票数 0
回答已采纳
1回答
data file被导入到SQL Server表中。数据文件中的一个列是文本数据类型，该列中的值仅为整数。Server db中目标表中的对应列为varchar(100)类型。问题：在上述情况下，如何防止server将值存储到Scientific Notations中。例如，当0474525431插入到VARCHAR(100)列时，它应该按原样存储，而不是以4.74525431E8的
浏览 3提问于2022-05-14得票数 0
回答已采纳
我使用spark/scala本地将json文件转换为dataframe。val
浏览 5提问于2021-07-19得票数 1
如何在不转换为RDD的情况下更新Spark SQL DataFrame行/列值
为什么我们不能像RDD那样直接更新DataFrame并返回另一个。
浏览 1提问于2016-03-22得票数 0
我通过拼图文件将大量数据读入到数据帧中。我注意到大量的列都有1,0，-1作为值，因此可以从Int类型转换为Byte类型，以节省内存。我写了一个函数来做这件事，并返回一个新的dataframe，其中的值被转换为字节，但是当在UI中查看dataframe的内存时，我发现它只是保存为原始dataframe的转换，而不是新的dataframe我是Spark</em
浏览 3提问于2018-02-01得票数 5
1回答
星火中每列值之和
、、
我所做的是将我在Spark中获得的数据some转换为Pandas (使用Spark2Pandas命令)，然后对其进行如下工作：
基本上，我有一个有100列的Pandas dataframe，每个列都称为因此，首先，我删除了每一列文本的"FirstP“和”SecondP“部分(基本上，我只保留数字)。之后，使用for循环创建一个新列，在该列</em
浏览 3提问于2022-01-06得票数 -2
回答已采纳
我希望将spark dataframe列的值从小时分钟秒转换为将变成4337，谢谢你的评论。会变成39秒。我已经读过这个问题，但是我不知道如何使用这个代码来转换我的spark dataframe列。我使用的是scala 2.10.5和spark 1.6
谢谢
浏览 12提问于2017-07-31得票数 2
回答已采纳
我有一个场景，通过where条件从同一个DataFrame中使用另一个列从DataFrame读取一列，这个值作为IN条件通过，从另一个DataFrame中选择相同的值，我如何在spark DataFrame在SQL中，它将类似于：
select distinct(A.date) from table A where A.key in (selec
浏览 19提问于2021-05-28得票数 0
回答已采纳
有人能引导我把PythonRDD转换成DataFrame吗。 if type(row) == unicode else row)
现在，我希望将PythonRDD转换为我想要转换<
浏览 3提问于2016-07-12得票数 0
回答已采纳
4回答
我想向dataframe添加一个新的map类型列，如下所示：| |-- key: string我试过密码：错误是：
(致: String)org.apache.<
浏览 12提问于2017-05-28得票数 10
回答已采纳
*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache Spark 2.4.5中出现标题异常 df_raw有2列"x“、"y”的数据，而df_items是模式的空数据框，还有其他一些列 左连接发生在null的值上，它应该从第一个dataframe中获取整个数据，并从第二个dataframe中获取空列
浏览 31提问于2020-12-20得票数 0
1回答
我需要在spark中实现滞后函数；我可以像下面这样做(使用hive/temp spark表中的一些数据)lagno:value0, 2003,nullDataFrame df;
DataFrame dfnew=df.select(
浏览 3提问于2016-09-16得票数 3
我在spark.It中读取了一个json文件并将其转换为dataframe，其中有一个列skills，其中包含值的列表。现在，我想要过滤数据帧，以便列skills具有另一个列表的任何值。B", "C", "D"] and list=["A", "Z"]
skill= ["E", "B",
浏览 3提问于2018-12-13得票数 0
1回答
因此，我正在尝试将python算法转换为Spark友好代码，并且遇到了以下问题：它基本上比较一列和另一列，并为可能相同的列生成索引对(记录匹配)。我的代码：
df1 = spark.read.lo
浏览 0提问于2018-07-25得票数 0
回答已采纳
我有一个包含日期时间列的csv文件："2011-05-02T04:52:09+00:00“。我使用scala，文件被加载到spark DataFrame中，我可以使用jodas时间来解析日期：import sqlContext.implicits._
val df = new SQLContext(sc).load("com.databricks.spark.csv"
浏览 0提问于2015-04-28得票数 3
回答已采纳
遵循，我使用：val sqlContext = new org.apache.spark.sql.SQLContext(sc)
主=纱线-星团火花-外壳-num-执行器4-执行器-内存4G -执行器-核心4-包com.databricks:火花-avro_2.10:2.0
浏览 3提问于2016-04-20得票数 16
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
