比较Pyspark数据帧的值(列表)
Pyspark是一种用于大数据处理的Python库，它提供了丰富的功能和工具来处理大规模数据集。在Pyspark中，数据帧（DataFrame）是一种数据结构，类似于关系型数据库中的表，它由行和列组成。
要比较Pyspark数据帧的值（列表），我们可以使用Pyspark的内置函数和方法来实现。
- 首先，我们需要将数据帧转换为Pandas数据帧，以便进行比较。可以使用
toPandas()方法将Pyspark数据帧转换为Pandas数据帧。 - 首先，我们需要将数据帧转换为Pandas数据帧，以便进行比较。可以使用
toPandas()方法将Pyspark数据帧转换为Pandas数据帧。 - 接下来，可以使用Pandas提供的比较运算符（如
==、!=、>、<等）对Pandas数据帧进行值的比较。 - 接下来，可以使用Pandas提供的比较运算符（如
==、!=、>、<等）对Pandas数据帧进行值的比较。 - 这将返回一个布尔类型的Pandas系列，其中每个元素表示对应行中的值是否与给定列表中的值相等。
- 如果需要将结果重新转换回Pyspark数据帧，可以使用
createDataFrame()方法将Pandas数据帧转换为Pyspark数据帧。 - 如果需要将结果重新转换回Pyspark数据帧，可以使用
createDataFrame()方法将Pandas数据帧转换为Pyspark数据帧。
在这个问答中，我推荐使用腾讯云的Tencent Sparkling，它是腾讯云提供的大数据计算服务，基于Apache Spark构建，提供了高可靠、高性能、高扩展的大数据计算引擎。您可以通过以下链接了解更多关于Tencent Sparkling的信息和产品介绍：
希望以上内容对您有所帮助！如有任何疑问，请随时告诉我。
相关·内容
假设我们有一个pyspark数据帧，其中一列(column_a)包含一些字符串值，还有一个字符串列表(list_a)。
数据帧：
column_a | count
some_string | 10
another_one | 20
third_string | 30
list_a：
['string', 'third', ...]
我想过滤这个数据帧，只有当column_a的值包含list_a的项目之一时，才保留这些行。
这是根据单个字符串过滤column_a的代码：
df['column_a'].like('%
浏览 0提问于2019-10-01得票数 5
回答已采纳
我有以下在熊猫数据帧上工作的函数 def event_list(df,steps):
df['steps_present'] = df['labels'].apply(lambda x:all(step in x for step in steps))
return df DataFrame有一个名为labels的列，值为list。此函数接受dataframe和Steps (这是一个列表)，如果参数列表中的所有元素都存在于dataframe列中，则输出具有新列Steps的dataframe value in df['labels
浏览 136提问于2021-04-02得票数 1
回答已采纳
1回答
我有一个数据帧列表，在列表的每个位置上，我有一个数据帧，我需要将所有这些数据帧合并到一个数据帧中。在我使用之前，这是在PySpark中完成的 dataframe_new =pd.concat(listName) 解决方案1 from pyspark.sql.types import *
import pyspark.sql
from pyspark.sql import SparkSession, Row
customSchema = StructType([
StructField("col1", StringType(), True),
Str
浏览 12提问于2021-01-28得票数 0
2回答
我想使用PySpark提取SharePoint列表数据。我不确定Sharepoint列表数据和存储。我想以PySpark数据帧的形式读取SharePoint列表数据。
我尝试过Python Libraies: Sharepy Slum和许多其他库
浏览 2提问于2019-05-24得票数 2
我在Cassandra中将时间戳存储为YYYY-mm-dd HH:MM:SSZ，并且我能够在cql shell中过滤数据以获得特定的时间范围，但是当我在pyspark数据帧上尝试同样的操作时，我在过滤后的数据帧中没有得到任何值。
有谁能帮我在pyspark中找到合适的datetime格式吗？
谢谢。
浏览 6提问于2020-03-05得票数 1
我正在研究PySpark。我有一个数据框，我需要将其转储为JSON文件，但JSON文件应具有以下格式，例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE", "No matching concept", "MALE", ....]} 因此，每列应该有一个键，相应的值应该包含该列中的所有值的列表 我尝试将其转换为Pandas数据帧，然后在将其作为JSON转储之前转换为字典，并成功地完成了转换，但由于数据量非常大，我想直接在PySpark数据
浏览 14提问于2019-12-18得票数 1
回答已采纳
我一直在尝试用pyspark重现一些在Pandas中很容易做到的东西，但我现在已经挣扎了一段时间。假设我有以下数据帧： df = pd.DataFrame({'a':[1,2,2,1,1,2], 'b':[12,5,1,19,2,7]})
print(df)
a b
0 1 12
1 2 5
2 2 1
3 1 19
4 1 2
5 2 7 和列表 l = [5,1] 我尝试做的是按a进行分组，如果b中的任何元素都在列表中，则为该组中的所有值返回True。然后，我们可以使用结果来索引数据帧。与此相对应的Pandas是：
浏览 8提问于2020-11-04得票数 2
回答已采纳
1回答
我已经创建了一个pyspark数据帧，形象化地看起来像这样： >>> df
f1 | f2 | ... | fn | row_num
------------------------------
10 | 50 | ... |100 | 1
20 | 50 | ... |200 | 2
30 | 50 | ... |300 | 3
40 | 50 | ... |400 | 4
50 | 50 | ... |500 | 5 然后我还创建了随机的行号列表，如下所示： my_list = [[2, 5],[4, 1, 3]] 根据这个列表的结构，我
浏览 16提问于2019-04-18得票数 0
回答已采纳
我目前正在尝试比较两个数据帧，看看在pyspark中字段是如何不匹配的。我已经能够手动编写它，但我希望能够传递一个字段列表，以确保帧在字段上不匹配。数据帧是相同的。 到目前为止，我拥有的代码是： key_cols = ['team_link_uuid', 'team_sat_hash']
temp_team_sat = orig.select(*key_cols)
temp_team_sat_incremental = delta.select(*key_cols)
hash_field = ['team_sat_hash']
test_up
浏览 11提问于2019-04-29得票数 0
回答已采纳
我正在尝试将pandas.DataFrame代码转换为等效的pyspark DataFrame。我有一个以下格式的RDD。
myRdd = [[1, 'a', {'a':[1, 2]}],
[2, 'b', {'c': 1, 'd':3}],
[3, 'c', {}]]
columnNames = ['sl', 'name', 'params']
内部列表中的第三个元素没有特定的结构。在pandas数据帧中，我可以
浏览 1提问于2018-04-07得票数 1
1回答
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘region’分组)和汇总总和或计数，汇总列的名称应与列的原始名称相同，而不是PySpark生成的默认名称。 以下是一个例子： df- PySpark数据帧，由50+列组成 Reqd_Col = 'Amount'，'Balance'，'Customer‘-->这是一个不断变化的动态列表
浏览 24提问于2021-09-08得票数 0
1回答
我列出我的数据帧以丢弃未使用的数据帧。首先，我使用下面的函数列出了我在其中一篇文章中找到的数据帧
from pyspark.sql import DataFrame
def list_dataframes():
return [k for (k, v) in globals().items() if isinstance(v, DataFrame)]
然后我试着从列表中删除未使用的。我在下面使用的代码
df2.unpersist()
当我再次列出时，df2仍然在那里。如何在pyspark上删除数据帧以获得一些内存？或者你还有其他的建议吗？谢谢。
浏览 0提问于2018-10-31得票数 4
回答已采纳
1回答
我打算在下面的difflib.SequenceMatcher数据帧上使用PySpark ()。
tech.show()
+-----------------------------+----------------------+
| concat_tech |Vendor_product |
+-----------------------------+----------------------+
|AWS Cloud Administration |AWS Cloud Map |
|Grad Portal
浏览 1提问于2021-03-05得票数 1
回答已采纳
我有一个pyspark数据帧，如下所示： ? 如果两列uniq_id和date_time具有相同的值，我希望只保留一条记录。 预期输出： ? 我想用pyspark来实现这一点。 谢谢
浏览 28提问于2020-10-06得票数 0
回答已采纳
假设我有一个列表new_id_acc = 6,8,1,2,4，我有像这样的PySpark DataFrame id_acc | name |
10 | ABC |
20 | XYZ |
21 | KBC |
34 | RAH |
19 | SPD | 我想用new_id_acc值替换pyspark列id_acc，我该如何实现并做到这一点。我尝试过，发现除了常量值之外，可以使用lit()，但是没有找到任何如何处理list的方法。 替换后，我希望我的PySpark数据帧看起来像这样 id_acc | na
浏览 27提问于2019-05-14得票数 1
1回答
我有一个列名列表，每次列名都不同。列名存储在列表中。因此，我需要传递列表中的列名(在下面的示例中，列名是其id和programid id)，以便在源数据帧和目标数据帧之间进行比较。在下面的示例中，我想检查src_id == id和src_programid == programid是否。 from pyspark import SparkContext, SparkConf, SQLContext
from pyspark.sql.functions import col, when
srccolumns = ['src_id','src_programid'
浏览 14提问于2019-04-13得票数 0
我从一个pyspark dataframe开始，在对它使用.take()之后转换成一个列表。我怎么才能保持它是pyspark数据帧呢？
df1 = Ce_clean
print(type(df1))
df1 = df1.take(1000)
print(type(df1))
<class 'pyspark.sql.dataframe.DataFrame'>
<class 'list'>
浏览 1提问于2020-09-17得票数 1
在PySpark中是否有与pandas info()方法等效的方法？
我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
1回答
注意:这是用于Spark 2.1.1.2.6.1.0-129
我有一个星星之火数据帧(Python)。我想用空值替换整个dataframe的所有0实例(不指定特定的列名)。
以下是我编写的代码：
my_df = my_df.na.replace(0, None)
以下是我收到的错误：
File "<stdin>", line 1, in <module>
File "/usr/hdp/current/spark2-client/python/pyspark/sql/dataframe.py", line 1634, in repl
浏览 4提问于2021-10-24得票数 0
回答已采纳
如何在一个列表中存储多个数据帧？ 我有一个函数可以读取文件夹中的多个拼图文件。但是，我需要创建一个列表，其中包含正在读取以执行其他进程的数据帧。预期的结果如下所示： dfs = df1、df2、df3、df4、dfn 注意:我正在使用pyspark数据帧 谢谢!
浏览 8提问于2021-07-15得票数 0
我有下面的pyspark数据帧。 Job_name start_time status
A 09:00:00 Not started
B 09:30:00 Completed
C 09:30:00 Running 我正在尝试创建一个列表-从上面的数据框中创建一个列表，如下所示。 预期输出： lst = ["job A Not started at 09:00:00", "job B Completed at 9:30", "job C Running at 9.30"] 有没有办法将pysp
浏览 34提问于2021-09-21得票数 1
回答已采纳
我有csv数据，并使用read_csv创建了Pandas dataframe，并强制所有列为字符串。然后，当我尝试从Pandas数据帧创建Spark数据帧时，我得到了下面的错误消息。
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
z=pd.read_csv("mydata.csv", dtype=str)
z.info()
<class 'pandas.core.frame.DataFrame'>
浏览 6提问于2016-08-06得票数 33
回答已采纳
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark来处理这种情况？感谢您的回复。 df[Name].show()
Java
Oracle
.NET
df1[Name].show()
Oracle
Scala
.NET
python
浏览 37提问于2020-09-03得票数 0
回答已采纳
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
我有一个现有的逻辑，可以将pandas数据帧转换为元组列表。 list(zip(*[df[c].values.tolist() for c in df])) 其中df是一个熊猫数据帧。 有没有人能帮我在pyspark中实现同样的逻辑呢？
浏览 17提问于2019-10-15得票数 1
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。 这是我的原始数据帧： pyspark> df.show()
+---+------------+
| id| lst_col|
+---+------------+
| 1|[a, b, c, d]|
+---+------------+
pyspark> df.printSchema()
root
|-- id: integer (nullable = false)
|-- lst_col: array (nulla
浏览 29提问于2020-01-24得票数 0
回答已采纳
1回答
我有一个SparkSQL数据帧和2Dnumpy矩阵。它们具有相同的行数。我打算将numpy矩阵中的每个不同数组作为新列添加到现有的PySpark数据帧中。这样，添加到每一行的列表是不同的。 例如，PySpark数据帧如下所示 | Id | Name |
| ------ | ------ |
| 1 | Bob |
| 2 | Alice |
| 3 | Mike | numpy矩阵是这样的 [[2, 3, 5]
[5, 2, 6]
[1, 4, 7]] 产生的预期数据帧应该如下所示 | Id | Name | custo
浏览 16提问于2019-10-05得票数 0
在链接中，用户可以在Spark3.2中的PySpark之上与熊猫合作。是否需要很长时间才能将PySpark数据帧转换为PySpark熊猫数据框架？
我知道将PySpark数据帧转换为熊猫数据框架需要很长时间。
浏览 9提问于2022-03-02得票数 1
回答已采纳
我正在提取Snowflake表并将其加载到PySpark DataFrame中，并且我想重命名它的列。现在，正在将加载的数据帧存储到一个变量中，然后访问列列表：
calculated_signal_df = (
spark.read.format("snowflake")
.options(**sfOptions)
.option("query", "select * from iot.calculated_signal")
.load()
)
calculated_signal_df = calculated_s
浏览 1提问于2021-04-21得票数 0
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：
ID value
1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新列，它基本上将它转换为一个字符串列表。如果Label为null，则字符串应包含value；如果label不为null，则string应为label:value。因此，对于上面的示例数据帧，输出应如下所示：
ID
浏览 0提问于2021-02-09得票数 0
2回答
在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？
示例：
数据帧1有10列。
数据帧2有1列
我需要在PySpark中同时绑定数据帧和作为一个数据帧。
浏览 1提问于2017-08-30得票数 3
我有两个pyspark数据帧tdf和fdf，其中fdf比tdf大得多。这些数据帧的大小每天都在变化，我不知道它们的大小。我想从fdf中随机挑选数据来组成一个新的数据帧rdf，其中rdf的大小大约等于tdf的大小。目前我有以下几行代码： tdf = tdf.count()
fdf = fdf.count()
sampling_fraction = float(tdf) / float(fdf)
rdf = fdf(sampling_fraction, SEED) 这些行产生正确的结果。但是当fdf的大小增加时，fdf.count()需要几天的时间才能完成。你能推荐另一种在PySpark中更快的
浏览 15提问于2021-01-30得票数 0
回答已采纳
1回答
我目前有一个pyspark数据帧，如下所示： +--------------------+
| items|
+--------------------+
| [1, 2, 3, 4]|
| [1, 5, 7]|
| [9, 10]|
| ...| 我的目标是转换这个数据帧(或创建一个新的数据帧)，以便新数据是表中项的两个长度组合。 我知道itertools.combinations可以创建列表的组合，但我正在寻找一种有效地对大量数据执行此操作的方法，但我不知道如何将其与Py
浏览 12提问于2021-02-09得票数 1
回答已采纳
1回答
我有一个非常庞大的数据集，我需要使用pyspark dataframe。请参考数据的简化版本： product_type series_no product_amount date
514 111 20 2020/01/01 (YYYY/MM/DD)
514 111 30 2020/01/02
514 111 40 2020/01/03
514
浏览 30提问于2021-01-23得票数 0
回答已采纳
我正在尝试从pandas数据帧创建一个pyspark数据帧。
import pandas as pd
from pyspark.sql.types import StructType, StructField, IntegerType, DoubleType
a_dict = {0: [(0, 9.821), (1, 82.185)]}
a_pd = pd.DataFrame.from_dict(a_dict.items())
a_pd.columns = ["row_num", "val"]
a_str = StructType([StructField
浏览 0提问于2020-10-26得票数 0
1回答
我有一个pyspark管道(包含估算和一个机器学习模型)和一个pandas数据帧。我是否可以在不将其转换为Pyspark dataframe的情况下将管道应用于此pandas数据帧？如果不可能，我如何有效地使用pyspark管道来生成对pandas数据帧的预测？
浏览 3提问于2021-09-13得票数 1
我想在中创建一个函数PYSPARK获取数据帧和参数列表(代码/分类特征)，并返回带有附加虚拟列的数据帧，如列表PFA中特征在DF之前和之后的类别：数据帧之前和之后- Examplepython中的代码如下所示： enum = ['column1','column2']
for e in enum:
print e
temp = pd.get_dummies(data[e],drop_first=True,prefix=e)
data = pd.concat([data,temp], axis=1)
data.drop(e,ax
浏览 115提问于2017-03-15得票数 5
回答已采纳
我有一个pyspark数据帧，如下所示：
<code>A0</code>
我想添加一个新的列，它将为这些唯一的行生成索引，如下所示：
<code>A1</code>
请帮助我使用pyspark生成这个新专栏。
提前感谢！
浏览 24提问于2018-12-21得票数 4
回答已采纳
1回答
我是PySpark的新手。我创建了spark dataframe，并且我有一个" countries“列，其中包含国家列表。如何通过存在于国家/地区列表中的单个国家/地区来groupBy我的数据帧 +-----------------+
| countries|
+-----------------+
| [Россия, Китай]|
| [Великобритания]|
| [Норвегия]|
| [Россия]|
| []|
| [США]|
| [Росси
浏览 4提问于2019-10-09得票数 0
1回答
Spark SQL更新/删除
、、、、
目前，我正在做一个使用pySpark的项目，它读取一些Hive表，将它们存储为数据帧，并且我必须对它们执行一些更新/过滤。我正在不惜一切代价避免使用Spark语法来创建一个框架，该框架只接受参数文件中的SQL，该参数文件将使用我的pySpark框架运行。
现在的问题是，我必须在我的最终数据帧上执行更新/删除查询，是否有任何可能的工作来在我的数据帧上执行这些操作？
非常感谢!
浏览 7提问于2019-11-15得票数 1
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。
如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
有谁知道Python / PySpark中的简单算法来检测K-means聚类中的离群值并创建这些离群值的列表或数据帧吗？我不知道如何获得质心。我使用了以下代码： n_clusters = 10
kmeans = KMeans(k = n_clusters, seed = 0)
model = kmeans.fit(Data.select("features"))
浏览 57提问于2021-01-08得票数 1
回答已采纳
我在这里使用PySpark数据帧。"test1“是我的PySpark数据帧和事件 _ date是一个TimestampType。因此，当我尝试获取事件的不同计数时 _ date，结果是一个整数变量，但是当我尝试获取同一列的max时，结果是一个dataframe。我想了解哪些操作会导致数据帧和变量。我还想知道如何将事件日期的最大值存储为变量 生成整数类型的代码： loop_cnt=test1.select('event_date').distinct().count()
type(loop_cnt) 生成数据帧类型的代码： last_processed_dt=test1
浏览 147提问于2016-05-03得票数 5
回答已采纳
1回答
我无法从pyspark数据帧列表创建RDD，如下所示：
l = [('Alice', 1)]
df = sqlContext.createDataFrame(l)
m = [('bob', 2)]
df2 = sqlContext.createDataFrame(m)
df_list = [df, df2]
sc.parallelize(df_list)
我得到的错误是：Py4JError: An error occurred while calling o85.__getnewargs__. Trace: py4j.Py4JException: Method
浏览 4提问于2017-04-10得票数 1
1回答
我有PK列的列表。我在存储主键，因为每个表的主键数可能会发生变化。我想根据pk_list中的列连接两个数据帧。
pk_list=['col1',col2', .... 'coln']
现在，我的代码如下所示：
full_load_tbl_nc = full_load_tbl.join(delta_load_tbl, (col(f) == col(s) for (f,s) in zip(pk_list,pk_list) ) , "leftanti")
当我运行代码时，我会得到以下错误：
在join "/mnt/yarn/userc
浏览 0提问于2018-12-07得票数 2
2回答
我查找了任何类似于熊猫df.groupby(upc)['store'].unique()的火花放电的参考资料，其中df是熊猫中的任何数据。
请使用这段代码在Pyspark中创建数据帧。
from pyspark.sql.types import StructType,StructField, StringType, IntegerType
from pyspark.sql import *
from datetime import date
import pyspark.sql.functions as F
spark = SparkSession.builder.appNa
浏览 5提问于2021-12-13得票数 0
回答已采纳
我正在寻找一种有效的方法，将一些映射函数应用于数据帧中的每一对元素。例如： records = spark.createDataFrame(
[(1, 'a'), (2, 'b'), (3, 'c'), (4, 'd')], \
['id', 'val'])
records.show()
+---+---+
| id|val|
+---+---+
| 1| a|
| 2| b|
| 3| c|
| 4| d|
+---+---+ 我想获取a，b，c，d值，并将它们
浏览 6提问于2020-11-20得票数 0
我有一个包含令牌列表的数据帧。
data1 = [(1, ["This","is", "category", "A"]),
(2, ["This", "is", "category", "B","This", "is", "category", "B"]),
(3, ["This", "is", "category", "F&#
浏览 0提问于2020-04-22得票数 1
我有一个数据帧列表，其中一些数据帧具有NaN值。到目前为止，我可以使用这个NaN来识别单个数据帧的值。
如何找到数据帧具有NaN值的列表的索引。
dffs样本列表，
[
var1 var1
14.171250 13.593813
13.578317 13.595329
10.301850 13.580139
9.930217 NaN
6.192517 13.561943
NaN 13.565149
6.197983 13.572509,
var1 var2
2.456183
浏览 2提问于2017-07-25得票数 4
回答已采纳
2回答
我有一个PySpark数据框架，它只包含一个元素。如何从数据帧中提取数字？
例如，如何从PySpark数据帧中获得数字5.0？
+-----------------+
| count |
+-----------------+
| 5.0 |
+-----------------+
浏览 0提问于2022-07-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
