根据列当前值更新pyspark中的列
在pyspark中，可以使用withColumn()方法根据列当前值更新列。该方法接受两个参数，第一个参数是要更新的列名，第二个参数是一个表达式，用于计算新的列值。
以下是一个示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])
# 更新Age列，将Age值加上10
df = df.withColumn("Age", col("Age") + 10)
# 显示更新后的数据
df.show()输出结果为：
+-------+---+
| Name|Age|
+-------+---+
| Alice| 35|
| Bob| 40|
|Charlie| 45|
+-------+---+在上述示例中，我们使用withColumn()方法更新了Age列，将每个值加上了10。通过col("Age")获取了Age列的当前值，并使用加法运算符将其与10相加，得到新的列值。最后，我们将更新后的数据显示出来。
需要注意的是，withColumn()方法返回一个新的DataFrame，原始DataFrame并没有被修改。如果需要保留更新后的结果，需要将其赋值给一个新的变量。
相关·内容
0回答
x| y| z|| 3| 5| 9|+-----+-----+-----+from pyspark.sql import functions as F
df = df.w
浏览 2提问于2017-01-01得票数 1
回答已采纳
1回答
我需要用'modifiedDate‘列在Pyspark中创建delta表。行更新时，修改time的值应更改为当前时间。我曾想过要做一个触发器，但却找不到任何关于在带有delta表的Pyspark中使用触发器的信息。我该怎么做？
浏览 1提问于2022-01-30得票数 1
回答已采纳
---+----++---+----+| 2| Tim|| 4| sam|现在，我向df添加了一个新列，null|| 3| Jim| null|+---+----+----------+
现在，我想根据一个条件更新new_column中的值。中实现这一点。编辑--我不是
浏览 1提问于2018-05-02得票数 0
回答已采纳
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。
所需的是根据年份划分一个大数据，并为每年(小数据)查找散列值并将结果持久化到一个表中。输入(产品，质量，商店，SoldDate
浏览 8提问于2022-12-04得票数 0
给定两个列的表: DEVICEID和DEVICETYPEfrom pyspark.sql.functions import *
浏览 1提问于2020-06-23得票数 3
回答已采纳
我想遍历pyspark dataframe中的每一行，并根据另一列的内容更改列的值。我要将其更改为的值也基于要更改的列的当前值。具体地说，我有一列包含DenseVectors，另一列包含我需要的向量的索引。 或者，我也可以用DenseVector中<
浏览 11提问于2019-04-25得票数 2
回答已采纳
我有一个包含"CUSTOMER_MAILID“、"OFFER_NAME”、"OFFER_ISAPPLIED“列的数据帧。N|如果"OFFER_ISAPPLIED“列有一些值，我想用"Y”更新"OFFER_NAME“列值，但不包括Null。
浏览 0提问于2016-11-14得票数 1
嗯，我使用的是PySpark，我有一个Spark dataframe，我使用它将数据插入到mysql表中。df.write.jdbc(url=url, table="myTable", mode="append")
我希望通过列值和特定数字的总和来更新
浏览 4提问于2015-09-16得票数 12
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。如果只想根据条件替换列中<e
浏览 12提问于2015-03-17得票数 95
回答已采纳
2回答
)我在Department表和DepartmentHistory表上运行了select，Department包含我插入的1我运行了一次更新，如下所示，更新后，DepartmentHistory填充了1行。UPDATE Department WHERE DeptID = 1
时态表不显示插入的行吗？
浏览 4提问于2018-12-07得票数 1
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。我看到了关于如何将一列添加到dataframe中的推荐代码，而不是从列表中添加多列的代码。,
浏览 2提问于2020-05-12得票数 1
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所有的代码都需要当前的</em
浏览 16提问于2020-12-30得票数 2
1回答
我正在尝试从Apache中的另一列中创建一个新列。2018-05-26T00:00:00.000+0000 5 Thursday我尝试过 & & 手册中的建议/worker.py", line 262, in main File "/databricks/spark&#x
浏览 0提问于2018-10-26得票数 0
回答已采纳
2回答
我有一张名为Customers的桌子，它有一个名为Balance的列。如果客户的余额以'00‘结束，比如说3000，那么它应该更新到30.00，在其他情况下，比如1333，它不应该改变值。我已经能够将像3000和1333这样的值从from dbo.Customers
where SUBSTRING(REVERSE(Balance),1,2) = '00'但在任何地方都找不到像3000、600
浏览 3提问于2019-09-13得票数 0
回答已采纳
1回答
检查火花数据中的行值是否为空。
、、、、
我正在使用pyspark中的自定义函数来检查星火数据true中每一行的条件，如果条件为true，则添加列。守则如下：from pyspark.sql.functions import *sdf.show()AttributeError
浏览 3提问于2016-08-19得票数 7
1回答
我使用readline6.2运行mysql Ver 14.14远端5.5.40，用于debian-linux-gnu (i686)我在某个地方读到，这可能是由于MySQL模式造成的，但是在my.ini中没有为该模式设置任何设置。
浏览 2提问于2014-10-28得票数 0
回答已采纳
3回答
我有一个PySpark数据格式，我想根据某些列中的唯一值进行筛选。from pyspark.sql import SparkSession
# Operation I want to replicate in
浏览 15提问于2022-07-13得票数 1
我正在进行一个PySpark转换，以便根据另一个列中的空值创建一个新列。下面是示例输入数据：
这是预期的输出数据：
浏览 2提问于2022-09-07得票数 -2
我的电子表格设置如下:前10列充满描述性数据，其次是24列月份数据(每月2列)。我想要做的
浏览 0提问于2013-01-25得票数 2
回答已采纳
我正在对来自Teradata数据库的数据执行增量加载，并将其存储为一个拼花文件。因为Teradata中的表包含数十亿行，所以我希望我的PySpark脚本能够比较哈希值。Teradata：我的PySpark脚本使用JDBC连接来调用teradata： .format("jdbc"myParquet"
浏览 0提问于2019-01-16得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
