1回答
我有两个DataFrames，它们有这样的数据，|ADDRESS|CUSTOMER| CUSTOMERTIME3712.2672901111655| 0| 5|现在，我想要比较这两个数据帧，以找到下一步可以连接这些DataFrames的匹配列(
浏览 3提问于2018-02-02得票数 1
我有两个数据帧，一个是主数据帧，另一个是查找数据帧。我需要在自定义表单中使用pyspark实现第三个。我需要检查列list_ids中的值，检查查找数据帧中的匹配项，并在最终数据帧中标记计数。我尝试过数组交集和数组查找，但它不起作用。主要数据帧</em
浏览 22提问于2021-06-17得票数 1
回答已采纳
我有两个数据帧A和B。A有30列- reason1,reason2.......reason30现在，我需要在B中查找所有以reason*开头的列，并在数据帧A的一列中获取相应的值。因此，最终的数据帧将具有reason1,reason2.......reason30, value
我试图将每一列<
浏览 9提问于2021-05-17得票数 0
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的基于<e
浏览 13提问于2016-09-22得票数 0
alias("count")) .limit(3)它在以下行失败：.orderBy(df("count").desc)，说明没有这样的列count
浏览 2提问于2018-11-08得票数 0
我有以下两个熊猫数据帧： 数据帧#1： user_id animals 1 1 'cat我希望在#1和#2的基础上创建一个新的数据帧#3： 数据帧#3： user_id animals location
0 1 &
浏览 10提问于2020-09-14得票数 1
回答已采纳
1回答
我正在尝试使用PySpark在spark数据帧的所有列中查找一个子字符串。我目前知道如何使用filter通过一列搜索子字符串，并且包含： df.filter(df.col_name.contains('substring')) 如何扩展这条语句或利用另一条语句在多个列中搜索子字符串匹配
浏览 21提问于2019-10-17得票数 0
回答已采纳
如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？我可以看到spark的unionAll不支持此操作，并抛出以下错误
org.apache.spark.sql.AnalysisException: Union can only be performedon tables with the same number of columns, but the left table has 11 c
浏览 0提问于2016-08-04得票数 0
1回答
我有两个拼图文件，拼花A有137列，拼花B有110列。拼图文件包含表的整个历史记录。因此，拼图A拥有表的整个历史记录的所有字段。拼图B是我今天拉入的所有值，删除了17列。是否可以将缺少的列添加到拼接B并添加空值。那就加入工会吧？
浏览 19提问于2018-09-06得票数 0
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
考拉也有类似的东西吗？ 我正在编写一系列到考拉数据帧的转换测试。首先，由于我的测试csv文件只有几行(<10行)，我考虑只使用pandas。不幸的是，这些文件非常宽(接近200列)，并且具有在spark读取文件时指定的各种数据类型。由于熊猫的类型规范与考拉的类型规范非常不同，除了我们已经为spark编写的类型模式之外，我还必须编写大约200个完整的dtype列表。这就是为什么我们决定使用spark</e
浏览 27提问于2020-12-12得票数 0
回答已采纳
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。loadfinaldf.write.format("delta").opt
浏览 18提问于2021-10-29得票数 0
1回答
我想为spark数据帧的单个列中的每个字符串删除字符串的最后两个值。我想在spark数据帧中实现这一点，而不是将其移动到pandas，然后再移回来。下面是一个数据帧示例，# | age| name|# | 350|Michael|# |123| Justin|
# +--
浏览 1提问于2019-06-04得票数 1
我是Apache Spark SQL的新手，正在尝试实现以下目标。我有下面的DF文件，我想把它转换成一个中间DF文件，然后再转换成json文件。
浏览 0提问于2018-04-13得票数 0
为了在大型数据集上获得一些离群点图，我需要将spark DataFrame转换为pandas。Turing to Apache Arrow在将x转换为字符串时，一次简单的运行会使我的pyspark控制台崩溃(它在没有转换的情况下工作得很好)，为什么？()21/05/16 11:31:
浏览 20提问于2021-05-16得票数 1
回答已采纳
1回答
我有两个数据帧：df2 shape = (97, 5818)
df2的前4825个列名与df1相同，然后递增+1。但是，在这两个数据帧的末尾，都有一个名为Group_number的列。我希望连接两个数据帧，以便最终数据帧的形状为(198,5818)，即最终数据帧包含df1部分的和
浏览 1提问于2018-08-08得票数 0
在熊猫中，这可以通过column.name来完成。>>> spark_df.columns此程序调用我的函数: my_func
浏览 1提问于2016-09-28得票数 55
1回答
我有两个h2o帧，我想基于这两个列中存在的一个相同的列来连接它们，我使用Java API并从spark dataframes中获取h2o帧。h2oContext.asH2OFrame(train_validation);我可以使用spark</e
浏览 8提问于2017-06-22得票数 2
1回答
我有两个数据帧，它们是从两个csv文件中读取的。pyspark代码dfFinal = dfFinal.join(df2, on=['NUMBER'], how='inner')连接这两个使用NUMBER coumn的数据，生成的新数据帧如下。，因为连接后的数据帧具有重复的列。)在加入spark</e
浏览 1提问于2018-10-03得票数 1
我知道这可能是一个愚蠢的问题。我有以下代码：rows = [1,2,3]df.printSchema()但是我得到了一个错误：我不明白为什么会发生这种情况，因为我已经提供了'data'，也就是变量row。
浏览 1提问于2018-03-12得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
