1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传
浏览 6提问于2017-01-20得票数 0
回答已采纳
考虑一个数据帧示例： df = | tech|state|| 70|wa ||| 50|mo || 90|wi || 50|ca |
+-------+-----+ 我想要更改'tech‘列，以便将任何值50更改为1，而所有其他值都等于0。|
浏览 29提问于2019-04-22得票数 0
回答已采纳
我想知道是否有一种方法可以同时更改PySpark数据帧的两列(或更多列)。现在我正在使用withColumn，但我不知道这是否意味着条件将被检查两次(对于大型数据帧来说，这可能太昂贵了)。这段代码主要是检查其他两列(对于同一行)中的值，并在此基础上将两列更改为None/null。
浏览 2提问于2017-06-21得票数 1
回答已采纳
我需要帮助在pyspark数据帧主题。我有一个数据框架，比如1000+列和100000+ rows.Also，我有10000+ if elif条件，在每个if else条件下，只有很少的全局变量被一些值递增。现在我的问题是，我如何才能仅在pyspark中实现这一点。我读到了过滤器和where函数，它们根据条件返回行，我需要检查这
浏览 0提问于2017-07-25得票数 0
1回答
这是我的partitionBy条件，需要根据数据框中的列值进行更改。val windowSpec = Window.partitionBy("col1", "clo2","clo3").orderBy($"Col5".desc)
现在，如果数据帧中的一列(col6)
浏览 1提问于2017-11-20得票数 1
我正在尝试通过SparkNLP对文本数据进行主题建模和情感分析。我已经对数据集执行了所有预处理步骤，但在LDA中遇到错误。Error 程序是： from pyspark.ml import Pipelinefrom pyspark.sql.types imp
浏览 187提问于2021-04-22得票数 1
回答已采纳
尝试弄清楚如何用空值随机替换Pyspark中的特定列。因此，像这样更改数据帧： | A | B || 1 | 2 || 5 | 6 || 9 | 10 |
| 11| 12 | 并将列'B‘中25%的值随机更改为空值： | A
浏览 29提问于2020-09-18得票数 2
回答已采纳
1回答
如何访问PySpark数据帧中某列的某个索引处的值?例如，我想访问一个名为"Category“的列的索引5处的值。我如何在PySpark语法中做到这一点呢？
浏览 2提问于2018-03-07得票数 10
回答已采纳
我需要根据pyspark中的某些条件从dataframe创建临时dataframe。你能教我怎么做吗？示例：id Name last_name102 Shyam Naresh我想根据id值创建临时数据帧。
浏览 2提问于2020-12-01得票数 0
1回答
我想要执行大量的配置单元查询，并将结果存储在数据帧中。我有一个非常大的数据集，结构如下：| visid_high，它使用每一行作为二级查询的输入：for session in sessions.collect()[:100]:
query = "SELECT pr
浏览 5提问于2018-07-23得票数 0
我有一个包含多个列的spark dataframe，重要的是一列带有日期时间戳，另一列带有值。如果值对应于某个特定时间之前的日期时间，我希望将value列中的所有值按一个常量进行缩放。只有值列中的值应该更改，其余的数据帧应
浏览 23提问于2021-04-21得票数 0
回答已采纳
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark感谢您的回复。 df[Nam
浏览 37提问于2020-09-03得票数 0
回答已采纳
2回答
在中过滤数组
、、、、
火花版本: 2.3.0 Array Col['strawberry', 'raspberry']
['apple', 'pineapple', &
浏览 3提问于2021-10-01得票数 1
回答已采纳
我有一个包含2列的数据帧"dfClean“：|som| ano || 1 | 1 || 3 | 1 |我需要创建一个Python列表，在同一行的列"ano“中有1的值在"som”中。所以期望的输出是：pyLst = [1,3,4]
在Pandas中</em
浏览 0提问于2021-03-03得票数 0
1回答
我正在使用Pyspark版本1.6处理Pyspark数据帧。在将此数据框导出到.CSV文件之前，我需要根据特定条件对特定列使用LIKE和OR运算符过滤数据。为了向您介绍我到目前为止所做的工作，我从多个.JSON文件创建了初始数据帧。此数据框已子集，因此仅包含所需的列。然后创建了一个sqlContext临时表。到目前为止，我已经尝
浏览 0提问于2017-07-27得票数 0
回答已采纳
1回答
我的data.csv文件有三列，如下所示。我已经将这个文件转换为python spark dataframe。A B C| 2 | 0 | 5 |我想在spark dataframe中添加另一列D，值为Yes或No，条件是如果B列中的相应值大于A B C D| 2 | 0 | 5 |
浏览 0提问于2019-02-23得票数 3
回答已采纳
我在pyspark中有一个数据帧。在这个数据框架中，我有一个名为id的列，它是唯一的。df['id'].max()TypeError: 'Column' object is not callable
请告诉我如何在数据</
浏览 3提问于2017-05-11得票数 14
回答已采纳
1回答
这似乎是一项非常容易的任务，但我正在寻找一种智能解决方案，根据数据帧同一行中其他四列(a、b、c、d)的值计算列aggr。d=c(1,2,3,3,3), aggr=c(1,2,1,3,2))
如果同一行中的四个值</e
浏览 5提问于2015-08-26得票数 1
回答已采纳
2回答
我需要找出pyspark dataframe中所有列中0的百分比。如何在数据帧中找到每一列的零计数？
附言:我尝试过将数据帧转换为pandas数据帧，并使用了value_counts。但是，对于大型数据集来说，推断它的观察值是不可能的。
浏览 0提问于2018-08-20得票数 4
1回答
动态创建spark中的多列
、、、、
对于每个子段，过滤条件可在底层字典中用于子段，即a，b，c，d，f。此外，子段字典键的筛选条件也是pyspark dataframe的列名。我想要为每个段一次创建吡火花数据帧中的子段列，当满足筛选条件时，每个子段列的值为1，否则0，类似于， pyspark_dataframe
浏览 4提问于2017-09-11得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
