我必须添加一个自定义的条件，它在.withColumn中有很多列。我的场景有点像这样。我必须按行检查许多列是否有空值，并将这些列名添加到新列中。我的代码看起来有点像这样： df= df.withColumn("MissingColumns",\ when(col("firstName").isNull(),lit("firstName")),\
when
浏览 39提问于2020-11-23得票数 0
回答已采纳
因此，我在PySpark中使用df.Withcolumn()来创建列，并使用F.when()来指定何时应该更新该列的条件。df = df.withColumn('ab', F.when(df['text']=="0", 1).otherwise(0))
基本上，如果符合条件，我会将列更新为“1”。现在，如果相同的条件匹配，我想要更新同一df中的</e
浏览 3提问于2016-10-19得票数 0
在pyspark中，我知道when子句可以具有多个条件，从而产生如下所示的单个输出： 'Output', (condition1==True)& (condition2==True), .otherwise(do_something_else)但是，当一个条件满足时，是否有可能执行多个输出？就像这样： cond
浏览 1提问于2020-05-21得票数 1
回答已采纳
是否可以注册用Scala编写的UDF (或函数)以在PySpark中使用？中，现在可以进行以下操作：val mybiggertable = mytable.withColumn("moreSpam", UDFaddOne(mytable("spam")))
// Spam: 1, 2
浏览 6提问于2016-04-07得票数 7
回答已采纳
1回答
我有一个SQL查询，我正试图将它转换为pyspark查询，如下所示具有两个条件的第三次查询WHERE (((EMPLOYEE_TABLE.LANGUAGE[])<>"ENGLI
浏览 2提问于2022-10-16得票数 0
回答已采纳
我正在和Spark和PySpark一起工作。我正在尝试实现与以下伪代码等效的结果： IF fruit1 == fruit2 THEN 1, ELSE 0.我正在尝试用PySpark来做这件事，但是我不确定它的语法。有什么建议吗？我查看了expr()，但无法让它正常工作。请注意，df是一个pyspark.sql.dataframe.DataFrame。
浏览 0提问于2016-10-21得票数 57
回答已采纳
在pyspark.how中执行以下转换，我能适应scala吗？
accept_value= when(col("column1") < 0.9, 1).otherwise(0)
浏览 3提问于2022-03-29得票数 1
1回答
当我编写以下pyspark命令时：df = df.withColumn('explosion', explode(col('col1'))).filter(col('explosion')['sub_col1'] == 'some_string') \ .withColumn('sub_col2', from_unixtime(col(&#
浏览 4提问于2018-08-23得票数 5
回答已采纳
1回答
我目前正在处理以下错误，同时试图在pyspark.sql.functions.explode中的DataFrame中的数组列上运行PySpark。但是，这仍然会引发相同的错误。在Pandas中，我通常会抽出一行，然后决定从那里做什么。我不知道如何访问这一行来查看数据，以了解我需要考虑哪些条件。我更多的是寻找调试的建议，但如果你知道答案，这也是很好的</em
浏览 2提问于2017-11-20得票数 1
回答已采纳
2回答
添加带有随机数据的新列
、、、
我想要在dataframe中添加一个包含0或1的值的新列。from random import randint
但我得到了以下错误
/ withColumn /python/pyspark/sql/dataframe.py“，第1313行，在withColumn AssertionError( c
浏览 4提问于2017-01-04得票数 13
回答已采纳
使用复杂的嵌套结构列时，我很难在pyspark内部进行json转换。from_json的架构似乎没有行为。示例：df.display()
df.w
浏览 2提问于2022-02-18得票数 0
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
我已将csv文件读入pyspark dataframe。现在，如果我在when()子句中应用条件，那么当条件在runtime之前给出时，它会很好地工作。import pandas as pdfrom pyspark.sql import SQLContext# col1,value# 2,bbb
浏览 0提问于2019-11-08得票数 0
回答已采纳
1回答
我有一个包含字符串值的列(即“xyztext\afadfa”)。我希望创建一个新列，其中值为“0”或“1”，这取决于原始列是否包含某些文本(即“文本”)。| xtext| 1 |编辑:我之前已经尝试过了(现在已经添加了.cast(int))，但是当我插入列名: df1 = df.withColumn('Target'，df.column.contains(‘text’).cast(‘int’)时，收到的“列不可调用”错误
到目前为止，我所取得<em
浏览 3提问于2016-05-24得票数 1
回答已采纳
我有一个data frame在pyspark，如下所示。import litnew_df = df.withColumn('new_column', lit(None).castnew_column中的值。我试图写下面的条件，但无法这样做。编辑--我不是在寻找if the语句，而是如何更新pyspark列中记录<e
浏览 1提问于2018-05-02得票数 0
回答已采纳
我有一个SQL查询，我想将其转换为pyspark。我们有一个名为CGPA的列，它包含一些值，我需要将值除以条件匹配的25个值。= ([STUDENT_TABLE].CGPA/25)我正在尝试的电火花代码不起作用df=df.withColumn('CGPA' , F.when((co
浏览 11提问于2022-10-20得票数 0
回答已采纳
我试图通过使用cp_codeset()函数并在withColumn()函数中调用pySpark中的udf来动态地为列表中的每个项创建列(在本例中是withColumn列表)。下面是我写的代码，但是它给了我一个错误。from pyspark.sql.functions import udf, col, lit
浏览 2提问于2017-03-27得票数 2
我有一个列为字符串的dataframe。我希望在PySpark中将列类型更改为双重类型。以下是我这样做的方法：changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show']))
只是想知道，这是不是正确的做法，就像在进行Logistic回归时，我遇到了
浏览 11提问于2015-08-29得票数 147
回答已采纳
1回答
我正在尝试根据某些列的值在dataframe上创建一个新列。它在所有情况下都返回null。有人知道这个简单的例子出了什么问题吗？elif 'Bar' == 1: elif 'Baz' ==1 :spark_udf = udf(get_profile,StringType())
浏览 2提问于2018-09-26得票数 2
回答已采纳
我想为我的pyspark应用程序使用kafka自定义分割器，从kafka推送到另一个kafka主题。使用pyspark处理将数据从源转换到宿。我希望能够根据data/message中的某个键控制应该将数据推送到哪个分区。在中，我找不到此类用例的任何参考资料或示例。我正在使用python处理和pyspark，被用作kafka客户端，但它也缺乏自定义分区程序的文档/
浏览 1提问于2021-11-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
