如何从dataframe中的另一列替换Pyspark Dataframe列中的字符串
在Pyspark中，可以使用withColumn方法和when函数来替换Dataframe列中的字符串。具体步骤如下：
- 导入必要的模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import when- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建一个示例Dataframe：
data = [("Alice", "Female"), ("Bob", "Male"), ("Charlie", "Male")]
df = spark.createDataFrame(data, ["Name", "Gender"])
df.show()输出：
+-------+------+
| Name|Gender|
+-------+------+
| Alice|Female|
| Bob| Male|
|Charlie| Male|
+-------+------+- 使用
withColumn和when函数替换字符串：
df = df.withColumn("Gender", when(df.Gender == "Female", "F").otherwise("M"))
df.show()输出：
+-------+------+
| Name|Gender|
+-------+------+
| Alice| F|
| Bob| M|
|Charlie| M|
+-------+------+在上述代码中，我们使用when函数来判断Gender列中的值是否为"Female"，如果是，则替换为"F"，否则替换为"M"。最后，使用withColumn方法将替换后的结果赋值给Gender列。
对于Pyspark的Dataframe中的其他列替换字符串的操作，可以按照类似的方式进行。根据具体的需求和条件，使用when函数来判断并替换相应的值。
腾讯云相关产品和产品介绍链接地址：
相关·内容
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
专家们，这是次要的，但我不能只是把它做对。-------------+----------------------------------------------------------+-------------------+ 在这个数据框中，我想要的是将列查询更改为： select * from table where DW_EFFECTIVE_DATE_PARTITION ='2019-12-24 00:00:00' 我试过了： >>>
浏览 43提问于2020-01-10得票数 0
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame
注意:我之所以使用pyspark列，是因为我从我使用的库(远大期望)中获得了它的输入。replace the above logic with a map fun
浏览 4提问于2021-11-19得票数 0
回答已采纳
我非常绿色的火花，所以我把它转换成一个熊猫DataFrame，然后使用地图功能，我提取所需的元素。问题是，数据是巨大的，因此这种方法是不可扩展的。让我花时间的是toPandas()命令。是否有从每一行访问列表中的值的选项？
谢谢!
浏览 5提问于2021-12-09得票数 1
回答已采纳
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同<e
浏览 3提问于2021-12-11得票数 0
有没有办法用pyspark 2.1.0创建/填充列，其中列的名称是另一个列的值？colName to targetColName's value cols = dataFrame.columnsTypeError: 'Column' ob
浏览 0提问于2018-09-13得票数 1
4回答
我有一个具有下面数据(所有列都有字符串数据类型)的Pyspark (原始Dataframe)。在我的用例中，我不确定输入数据中有哪些列。用户只需将dataframe的名称传递给我，并要求我修剪这个dataframe的所有列。1504 " Test"不管怎
浏览 2提问于2017-07-31得票数 0
2回答
我有一个使用以下命令创建的pyspark.sql.dataframe.DataFrame实例如何修改此列，使其只取其中的前4个字符，并丢弃其余的字符？
如何将此列的类型从字符
浏览 0提问于2016-08-20得票数 4
回答已采纳
我有一个dataframe，它在一个列中存储一个JSON对象。我希望处理JSON对象来创建一个新的dataframe (列的数目和类型不同，每行将从JSON对象生成n个新行)。我在下面编写了这样的逻辑:在迭代原始数据集时，将字典(行)附加到列表中。for item in row.json_object['obj']:
# create a dictionary to represent each r
浏览 4提问于2022-10-19得票数 1
回答已采纳
1回答
因此，我现在有以下DataFrame，其值如下：+-------+--------+
| VALUE如何向TIME列添加值？稍后，我将在我的程序中添加更多的行，并且需要为值和时间列添加/追加值。我该怎么做？
浏览 5提问于2017-06-26得票数 0
回答已采纳
1回答
我将df作为一个pyspark.sql.dataframe.DataFrame导入到Databricks中。在这个df中，我有3列(我已经证实它们是字符串)，我希望将它们连接起来。我试过先使用一个简单的"+“函数。因此，我试图在每一列后面添加.astype(str)，但没有结果。最后，我尝试简单地添加另一列，其中满是数字5：也收到了
浏览 1提问于2022-12-02得票数 0
1回答
在PySpark中，如何将Dataframe转换为普通字符串？我将PySpark与Kafka一起使用，而不是硬编码代理名称，而是在PySpark中参数化了Kafka broker名称。这些变量为带有字符串的Dataframe类型。错误：
只能将字符
浏览 0提问于2021-03-05得票数 0
在“火花:最终指南”中，它说：
df.col("count")
但是，当我在包含列count的dataframe上运行后的代码时，就会得到错误'DataFrame' object
浏览 2提问于2018-08-12得票数 9
2回答
我正在创建一个火花作业，它要求使用用python编写的函数将列添加到dataframe中。其余的处理是使用Scala完成的。我已经找到了如何从pyspark调用Java/Scala函数的示例：
我发现用另一种方式发送数据的唯一例子是使用pipe。我是否可以将整个dataframe发送到python函数，让函数操作数据并添加其他
浏览 3提问于2017-09-15得票数 5
我有一个问题，在一个熊猫数据替换价值观。如果这是真的，我希望替换dataframe中的另一列的值，但替换同一行的值。如果在“url”列的URL中找到一个字符串，我希望在列“Model”<e
浏览 1提问于2018-10-03得票数 1
回答已采纳
2回答
我有一个pyspark dataframe，其中一些列具有相同的名称。我想将具有相同名称的所有列合并到一列中。例如，输入dataframe： ? 我如何在pyspark中做到这一点？
浏览 57提问于2021-06-18得票数 2
回答已采纳
3回答
我试图用PySpark中的0值替换原始数据中的句号。
from pyspark.sql import functions as F
dataframe2 = dataframe1.withColumn("test_col", F.wh
浏览 8提问于2019-09-01得票数 1
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataf
浏览 20提问于2021-04-11得票数 0
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所
浏览 16提问于2020-12-30得票数 2
2回答
请您帮助我替换dataframes spark中的列值： ["2", "xxx", "company 1"],company 44", "company 2"],
["4", "xxx", "company 1"],
浏览 1提问于2022-03-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
