1回答
用PySpark替换多个值
、、、、
我需要将"Action“列中的值替换为特定值。ActionName2 Midpoint4 Complete 我想用数字替换这些值
浏览 39提问于2020-11-05得票数 0
回答已采纳
我是否可以使用regexp_replace或其他等效工具用一行代码替换一个pyspark dataframe列中的多个值？Xien|2010-03-02 09:33:51| 3|
+------------+-------------------+-------------+ 在pandas中，我可以用lambda表达式替换一行代码中的多个字符串： df1[name].apply(lambda x: x.replace('
浏览 23提问于2020-08-22得票数 0
回答已采纳
2回答
用电火花替换结构型柱的空白点
、、、、
我有一个用例，希望用空值替换StructType列中的空值。下面是示例，您可以使用它重新创建场景： ),)
我想知道如何在Name列中替换空
浏览 3提问于2022-01-31得票数 1
回答已采纳
我有几个“无”值的数据框架。通过StringIndexer，将字符串列转换为浮动列后，"None“值被替换为number。谢谢。
浏览 1提问于2018-04-29得票数 0
最初，我用-1填充了所有空值，以完成我在Pyspark中的联接。'Letter': ['A', '-1', 'B', 'A'],
| -1| B| 30|+------+------+-----+
浏览 6提问于2020-06-29得票数 5
回答已采纳
看一下pyspark，我看到translate和regexp_replace可以帮助我处理存在于数据框列中的单个字符。我想知道是否有一种方法可以在regexp_replace或translate中提供多个字符串，以便解析它们并用其他东西替换它们。
用例:删除A列中的所有$、#和逗号(，)
浏览 0提问于2018-06-09得票数 10
回答已采纳
1回答
我试图将python函数转换为PySpark用户定义的函数，如下所示：from pyspark.sql.functions importudf,col,arrayfrom datetime import我正在使用PySpark udf创建一个新的列“PySpark”。但是Py
浏览 8提问于2022-07-11得票数 2
回答已采纳
1回答
我对PySpark相当陌生，但我正在尝试在代码中使用最佳实践。我有一个PySpark数据格式，我想延迟多个列，用滞后值替换原始值。我想根据ID获取所有值，按date排序，然后对值进行一定程度的滞后。我到目前为止掌握的代码：
window = Window.partitionBy(F.col("ID"))
浏览 3提问于2022-01-04得票数 1
回答已采纳
2回答
我有一个pySpark dataframe，其中有我想要替换的空值，但是要替换的值对于不同的组是不同的。我的数据看起来是这样的(appologies，我没有办法通过它作为文本)：对于组A，我希望用-999替换空值；对于组B，我想用0替换空值。
浏览 5提问于2022-11-16得票数 3
我有一个pyspark数据帧，df1 ["jon", "doe"]我正在尝试替换空值并使用空列表。id alias2 [].fillna('alias', '[]') .fillna('alias', create_list([])
以及来自的答案
浏览 5提问于2019-08-09得票数 2
3回答
我试图用PySpark中的0值替换原始数据中的句号。
from pyspark.sql import functions as F
dataframe2 = dataframe1.withColumn("test_col它应该只用数字重写列(例如，在非完全停止行中有一个数字，否则，它是一个句号，应该用0替换)。
浏览 8提问于2019-09-01得票数 1
1回答
我正在使用spark DataFrame，我希望检测来自特定列的任何值，其中该值不是单调递减的。对于这些值，我想根据排序条件将它们替换为以前的值。下面是一个概念性的示例，假设我有一个值为[65, 66, 62, 100, 40]的列。值"100“不遵循单调下降趋势，因此应替换为62。因此，结果列表将是[65, 66, 62, 62, 40]。下面是我创建的一些代码，用于检测必须替换的值，但是我不知道如何用前
浏览 15提问于2020-02-14得票数 1
回答已采纳
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
1回答
似乎不支持替换无穷大值。我尝试了下面的代码，但它不起作用。还是我漏掉了什么？sqlContext.createDataFrame([(None, None), (1, np.inf), (None, 2)])或者我必须走一条痛苦的道路:将PySparkDataFrame转换为DataFrame，替换无穷大值，然后将其转换回PySpark DataFrame。
浏览 7提问于2015-12-23得票数 6
回答已采纳
3回答
我有个df 'Courses':["Spark,ABCD","PySpark","Hadoop","Python","Pandas"], }print(df)
我试图用dict<
浏览 14提问于2022-05-31得票数 0
回答已采纳
我有一个以" null“作为字符串的Dataframe，我想将其替换为数据库中PySpark Dataframe中的SQL值null。 有没有人能帮个忙。我是Spark的新手。 谢谢。
浏览 38提问于2021-09-02得票数 2
2回答
我有一个PySpark Dataframe，我想添加一个从其他列的多个值计算出来的列。l = [('Ankit',25),('Jalfaizy',22),('saurabh',20),('Bala',26
浏览 1提问于2019-11-29得票数 1
回答已采纳
我有一组简单的地址数据，如下所示；简单地用缩写替换街道名称：43421 Margarita St在我的电火花程序中，我只是简单地使用regexp来替换缩写，比如“路”、“街”等等。from pyspark.sql import *from pyspark.sql.functions import colendsWith("Ave&qu
浏览 6提问于2021-11-10得票数 0
回答已采纳
举个例子，我有一个dfdf = sc.parallelize([]).toDF()
现在，我希望将NULL、NA和NaN替换为(N
浏览 9提问于2017-12-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
