对于这个非常普遍的问题，我很抱歉：df2 = df.withColumn('A', F.when( (F.col('BtoPandas()df2.loc[df2['X'] == '2018-12-10'] 但是，如果我将代码的fill.na</em
浏览 5提问于2019-11-11得票数 0
(我不确定)df["Col1"] = df["Col1"].map({"Y": 1, "N": 0})
您能告诉我如何在Pyspark中实现这一点吗？
浏览 2提问于2019-03-31得票数 0
1回答
我想要使用更好的dataframe操作和pyspark中的函数来实现这一点。一般情况下，我可以很容易地想到如何对熊猫或蟒蛇这样做，但我还不知道如何在每个给定的月份循环使用if，然后将前三个月的活动状态选择到max(m1、m2、m3)函数中，如果prev月不存在，就会保持边缘条件
浏览 2提问于2019-11-12得票数 1
回答已采纳
2回答
我希望创建一个基于现有列有条件填充的数组，有时我希望它包含None。下面是一些示例代码：from pyspark.sql import SparkSession Row(I
浏览 4提问于2022-07-01得票数 1
回答已采纳
这是可行的：这将失败： .F.when(F.col("v1") >0, 2)
.other
浏览 66提问于2019-11-01得票数 0
回答已采纳
'Nan'))]
rdd = sc.parallelize(items)df = df.withColumn("col1", func.<e
浏览 1提问于2019-08-05得票数 9
回答已采纳
我正在和Spark和PySpark一起工作。我正在尝试实现与以下伪代码等效的结果： IF fruit1 == fruit2 THEN 1, ELSE 0.我正在尝试用PySpark来做这件事，但是我不确定它的语法。有什么建议吗？我查看了expr()，但无法让它正常工作。请注意，df是一个pyspark.sql.dataframe.DataFrame。
浏览 0提问于2016-10-21得票数 57
回答已采纳
1回答
我正在尝试根据某些列的值在dataframe上创建一个新列。它在所有情况下都返回null。有人知道这个简单的例子出了什么问题吗？ if 'Foo'==1: elif 'Bar' =
浏览 2提问于2018-09-26得票数 2
回答已采纳
我想当userid=22650984.How在pyspark平台上更新它的价值?谢谢你的帮助。
浏览 8提问于2018-04-08得票数 11
回答已采纳
||2019-01-01| 10| 2|+----------+-----+----+
如何更改
浏览 15提问于2020-05-14得票数 1
回答已采纳
我想知道是否有一种方法可以同时更改PySpark数据帧的两列(或更多列)。现在我正在使用withColumn，但我不知道这是否意味着条件将被检查两次(对于大型数据帧来说，这可能太昂贵了)。这段代码主要是检查其他两列(对于同一行)中的值，并在此基础上将两列更改为None/null。should_hide_response_udf(col("response_created"))
"response_t
浏览 2提问于2017-06-21得票数 1
回答已采纳
2回答
PySpark动态时语句
、、、
根据字符串的值，列名会更改。下面是我目前拥有的代码的示例： F.when(df.pet == "dog", df.dog_Column) \ .otherwise(None))))dfvalues = ["dog", &
浏览 1提问于2018-06-20得票数 3
回答已采纳
1回答
我有这样的数据： from pyspark.context import SparkContextsc =预期结果是这样的： ? 最后一个问题是得到“Delta”的总和： ? 下面是我的代码，我无法对其进行调整以获得想要的结果： import pyspark.sql.functions as Fwindow
浏览 23提问于2021-01-18得票数 0
回答已采纳
1回答
我返回一个dataframe，它有许多带有数值的列，并且我尝试使用多个复合条件将这个结果集过滤成一个新的、较小的结果集。from pyspark.sql import functions as f
matches = df.filter(f.when('df.business') >=0.9 & (f.when('df.city') == 1.0) & (f.when('street')
浏览 0提问于2019-01-29得票数 1
回答已采纳
2回答
我需要按州分组，并找出每个薪资范围中有多少项(总共有3个薪资范围)，创建一个Dataframe，并根据状态名称对结果进行排序。星火有什么功能可以达到这个目的吗？dfWithoutSchema是输入数据
val newDf = dfWithoutSchema.withColumn("set1", when($"salary">0 and $"salary" <=5, 1).otherwise(0)).withColumn("set2", when($&
浏览 16提问于2021-12-08得票数 0
回答已采纳
我在SQL Server中运行下面的SQL查询，当条件不满足时，我需要返回默认值‘NULL’。对于一些不符合条件的记录，结果应该显示为NULL，但是我在NULL.Can的位置上得到了一个空格，有人能帮帮忙吗？CASE WH
浏览 2提问于2016-07-13得票数 0
我正在编写一个具有许多WHERE条件的查询。我在SWITCH子句中使用了where大小写，但结果不是我想要的。select * from @tab t (case when h1 = @h1and h2 = @h2 then 2 end)
浏览 4提问于2014-09-02得票数 1
回答已采纳
我试图找出条件来检查一个PySpark数据文件的值是否存在于另一个PySpark数据文件中，如果存在，则提取该值，然后再进行比较。我正在考虑使用一个withColumn()函数执行一个多个when()。id | value || hello | 1111 || people | 2222 |d
浏览 12提问于2022-02-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
