2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark感谢您的回
浏览 37提问于2020-09-03得票数 0
回答已采纳
我想在两个数据帧之间执行左连接，但是列并不完全匹配。第一个数据帧中的联接列相对于第二个数据帧有一个额外的后缀。from pyspark import SparkContext
df1
浏览 1提问于2017-08-08得票数 3
回答已采纳
1回答
我有两个包含GB级数据的大型pyspark数据帧df1和df2。第一个数据帧中的列是id1、col1。第二个数据帧中的列是id2、col2。数据帧具有相等的行数。此外，id1和id2<e
浏览 9提问于2020-06-10得票数 2
回答已采纳
2回答
在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？
我需要在PySpark中同时绑定数据帧和作为一个数据帧。
浏览 1提问于2017-08-30得票数 3
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
在pyspark (和一般的python )中执行两个数据帧的滚动连接时，我遇到了很多问题。我希望将两个pyspark数据帧通过它们的ID和最近日期反向连接在一起(这意味着第二个数据帧中的日期不能晚于第一个</em
浏览 1提问于2020-08-08得票数 2
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
我在pyspark中有所有这些支持库，并且我能够为parent创建数据帧- def xmlReader(root, row, filename):
return xref
df1.head()
浏览 11提问于2019-03-15得票数 0
1回答
我想要执行大量的配置单元查询，并将结果存储在数据帧中。我有一个非常大的数据集，结构如下：| visid_high，它使用每一行作为二级查询的输入：for session in sessions.collect()[:100]:
query = "SELECT pr
浏览 5提问于2018-07-23得票数 0
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的
浏览 13提问于2016-09-22得票数 0
我有两个pyspark数据帧A和B。我想内部连接两个pyspark数据帧，并选择第一个数据帧中的所有列和第二个数据帧中的一些
浏览 11提问于2020-08-23得票数 0
回答已采纳
我想将多个PySpark数据帧合并到一个PySpark数据帧中。它们都来自相同的模式，但是它们可能会有所不同，因为有时会缺少一些列(例如，模式通常包含200个具有已定义数据类型的列，其中dataFrame A有120列，dataFrame B有60列)。是否有可能在不写入和读取所有数据
浏览 2提问于2020-06-22得票数 0
3回答
我是一个spark应用程序，有几个点我想要持久化当前状态。这通常是在一个大的步骤之后，或者缓存一个我想要多次使用的状态之后。似乎当我第二次对我的数据帧调用cache时，一个新的副本被缓存到内存中。在我的应用程序中，这会导致在扩展时出现内存问题。尽管在我当前的测试中，给定的数据帧最大大约为100MB，但中间结果的
浏览 9提问于2016-04-28得票数 39
回答已采纳
1回答
我有两个pyspark数据帧，它们的行数不同。我试图通过在多个键上连接这两个数据帧来比较所有列中的值，这样我就可以找到这些列中具有不同值的记录和具有相同值的记录。df1 and df2 on multiple keys
same=df1.join(df2, on=[
浏览 14提问于2021-02-13得票数 0
在PySpark中是否有与pandas info()方法等效的方法？我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
在连接两个数据帧时，我在pyspark中遇到了问题。第一个dataframe是一个单列的dataframe "zipcd"，第二个是四个列的dataframe。每当我试图连接两个dataframe时，问题就会出现，因为Pyspark在我的新dataframe中返回我，关于zipcd的
浏览 30提问于2021-07-01得票数 1
2回答
我有一个非常宽的数据帧> 10,000列，我需要计算每个列中空值的百分比。现在我正在做的是：for c in df_a.columns[:]: # print(c)当然，这是一个缓慢的过程，有时会崩溃。有没有我
浏览 0提问于2017-09-24得票数 1
我有一个从sql server中的一个表创建的pyspark数据框架，我对它做了一些转换，现在我要将它转换为动态数据框架，以便能够将其保存为s3存储桶中的文本文件。当我将数据帧写入文本文件时，我将向该文件添加另一个头文件。这是我的动态数据框，将保存为文件：
2021-03-21 | MT.0000| 234.543
浏览 0提问于2021-04-23得票数 0
我在SparkR中有一个小代码，我想把它转换成pyspark。我对这个windowPartitionBy并不熟悉，并且重新分区。你能帮我了解一下这段代码是做什么的吗？
浏览 34提问于2020-12-18得票数 0
回答已采纳
我有以下两个数据帧: df_whitelist和df_text|keyword| whitelist_terms |
+------，例如关键字LA对应于“LA city”和“US LA In da”。在df_text中，我有文本和在这个文本中找到的一些关键字。我想要做的是，对于每一段文本，例如“客户端有ad..”，对于它的每个关键字“client”和</e
浏览 4提问于2017-11-12得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
