多列的Pyspark百分位数

文章/答案/技术大牛

发布

1回答

pyspark、percentile

我想使用pyspark将pyspark dataframe的多个数值列转换为它的百分位值，而不改变它的顺序。例如，给定要转换为百分位arr = [Salary, Age, Bonus]的列数组和以下输入，我希望得到以下输出输入 +----------+-------------+---------+----| 20 | 20 | 20 | +----------+-------------+----

浏览 62提问于2021-07-28得票数 0

1回答

忽略缺失值计算pyspark数据框列的百分位数

pyspark、apache-spark-sql

我对pyspark是个新手。我有一个包含ID和BALANCE列的pyspark数据框。我尝试将列balance存储到100% (1-100%)的存储桶中，并计算每个存储桶中有多少个in。我不能使用任何与RDD相关的东西，我只能使用Pyspark语法。Window.orderBy(df.BALANCE)我希

浏览 14提问于2019-07-11得票数 0

1回答

如何将列添加到PySpark数据column中，该数据column中包含另一列的第9分位数

apache-spark、pyspark、apache-spark-sql、quantile、percentile

我有一个非常大的CSV文件，它已经作为一个PySpark数据文件导入：df。dataframe包含许多列，包括列ireturn。我想要计算该列的0.99和0.01百分位数，然后将另一列添加到dataframe df中，作为new_col_99和new_col_01，它们分别包含0.99和0.01百分位数。我编写了下面的代码，它适用于小数据格式，但是当我将它应用到我的大型数据文件时会

浏览 0提问于2019-01-15得票数 3

1回答

对于熊猫来说，有什么替代的方法来减少火花放电1.6

python、pandas、pyspark、apache-spark-sql

bindt, labels=False, include_lowest=True )df.show()|['{0}_quartile'.format(var)] = pd.cut(df[var], bindt, labels=False, inc

浏览 5提问于2019-02-21得票数 5

回答已采纳

1回答

如何在PySpark中对百分位数进行聚合？

apache-spark、pyspark、apache-spark-sql

我希望能够基于百分位数(或者更准确地说，在我的例子中是补充百分位数)进行聚合。考虑以下代码：from pyspark.sql import functions as F spark = SparkSession.builder.getOrCreate，我还想分别计算补码百分位数中val2的不同值。例如，对于组b，val1的

浏览 22提问于2020-05-17得票数 0

回答已采纳

2回答

用groupBy计算PySpark数据的百分位数

apache-spark、pyspark、apache-spark-sql、median、percentile

我正在尝试groupBy，然后计算PySpark数据的百分位数。我已经根据测试了下面的代码import pyspark.sql.functions as func 这是因为numpy版本(1.4.1)，百分位数函数是从

浏览 0提问于2018-12-14得票数 2

回答已采纳

1回答

按日期将吡火花数据集拆分为两个

python、pyspark、pyspark-sql

我有pyspark数据集，我想按照datetime列将其划分为列车和测试数据集，其中，训练数据集的日期时间应该小于日期时间列的中位数，而测试数据集应该有其余的数据集。我尝试按datetime列对dataset进行排序，并选择上半部分。但是这只解决了火车部件的问题，我不知道如何从PySpark中的初始数据集中“减除”训练数据集。如果PySpark与Pandas ()函数有某种相似之处

浏览 0提问于2019-08-21得票数 0

回答已采纳

1回答

不执行多个联接的单元查询

join、hive、aggregate

我编写了一个Hive查询，在包含整数值(包括0)的表的多列上计算33和66百分位数。然后，我加入这些结果，得到一个表，其中有33 %和66 %的列。我的问题是查询不执行。我试着用2列

浏览 1提问于2016-06-23得票数 0

回答已采纳

1回答

只有当另一列的值满足条件时才能得到列的分位数

python、pandas、dataframe、quantile

我有一个包含多列的数据格式。我想要“双重排序”，在A列的最低50%的文件中，我提取B列的最低50%的文件。A B5 2.09 2.1 在这个例子中，A的第50百分位数将给出前两行。那么，B的第50百分位数将是1.5。因此，我应该返回类似于C列

浏览 6提问于2020-04-17得票数 1

回答已采纳

2回答

Pyspark -使用dataframe中其他两个列的RMSE创建新列

python、pyspark

我对Pyspark还是个新手。我有一个数据框架，我想用col1和col2之间的均方根计算创建第三列。我使用了一个用户定义的lambda函数来计算均方根值，但是一直收到这个错误AttributeError: 'int' object has no attribute 'mean' from pyspark.sql.functionsimport udf,colfro

浏览 39提问于2020-04-11得票数 0

回答已采纳

2回答

如何使用pySpark计算所有列的中位数、平均值和百分位数，而不是单独计算？

apache-spark、pyspark、apache-spark-sql

0.052 0.022 -0.017 -0.006 -0.022 -0.059有几个列。通常，该方案看起来像第一列是标识符(ID)，随后的每一列都是数字。我想计算所有列的中位数、平均值和百分位数，而不是单独使用pySpark。不幸的是，我不知道如何做到这一点。我可以分别计算每一

浏览 16提问于2022-05-25得票数 0

回答已采纳

1回答

SQL查询帮助-百分位数

sql、aggregate-functions

我有一个包含2列的单表。学生ID课程Id 这两个列彼此之间具有多对多的关系。我想找出- 1。所有学生中学生注册的课程的平均数量。2.所有学生注册课程数量的第90个百分位数。

浏览 0提问于2013-06-28得票数 0

回答已采纳

2回答

多列25百分位数

sql、sql-server、tsql

假设我有一个包含A、B、C、D、E等列的表，其中每一列都是int。此表由每列中具有随机值的数百行填充。对于每一列，返回对应于第25百分位数的值的最佳方法是什么？例如：1 5 8 9 38 3 6 1 87 2 2 6 9 这里，列A由值1、3、4、8和7组成。这个集合的第25个百分位数</e

浏览 2提问于2010-11-09得票数 1

回答已采纳

1回答

星火sql百分位数在浮点列上

hive、pyspark、apache-spark-sql、pyspark-sql

根据，百分位数命令应该给出每个数字列的确切百分位数。至少当我的输入是由浮点数组成时--这不是真的。在中，它说百分位数命令只适用于整数。我不明白星星之火sql和hive之间的关系，但它似乎不是只运行hive --否则它就不会更改它的文档。另外，spark的percentile有一个不同的签名，允许它获得一个frequency参数，我也不知道它有什么用途。这是一个具有意外输出

浏览 0提问于2019-07-21得票数 2

2回答

在R中求特定输入的百分位数

我有一个dataset列，它包含值。当给出一个新的输入时，我希望检查这个列并在该列中找到该输入值的百分位数。以下是我可复制的例子， data <- seq(90,100,

浏览 4提问于2015-12-01得票数 2

回答已采纳

1回答

近似百分位数的计算

apache-spark、percentile、approximation

当使用sparks percentiles_approx函数计算声明性SQL中的近似百分位数时，有时我发现这个函数非常慢。这比默认的10k精度低10倍。我观察到，得到的百分位数有点匹配，但当真正深入到细节中，并对许多组进行计算时，即每天一个百分位数，它们根本不匹配。事实上，当尽可能多地对数据进行预汇总并保留所有数字列(即删除任何非数字内存密集型列)时，就有可能使用一个简单

浏览 4提问于2020-04-29得票数 0

回答已采纳

2回答

使用stata循环填充输出向量

excel、loops、foreach、stata、percentile

当你在Stata中取一个变量的百分位数时，例如。file *get centiles有什么方法可以将生成的百分位表记录到百分位值存储在r(c_#)中，其中#表示需要数据的百分位数。但我需要所有百分位数的值的</e

浏览 11提问于2012-04-11得票数 2

1回答

如何将一个6位数拆分为一列4位数和一列2位数(例如: 201452分为2014年和52)

pyspark

如何在PySpark中将一个6位数拆分为一列4位数和一列两位数(例如: 201452分为2014年和52)。它应该系统地拆分第四个数字之后的6个数字。我已经尝试了pyspark.split(...)方法，但我不能根据位置拆分6位数字。如何指定此位置？

浏览 23提问于2019-05-15得票数 0

回答已采纳

1回答

Excel中百分位数函数的动态列

excel、function、percentile

我有一个包含许多列的数据集。我需要计算每一列的百分位数到一个模板中，如果不能复制公式的话。有没有一种方法可以让我计算百分位数动态的列？有关简化示例，请参见下表。我想要实现的是这样一个公式：=percentile.inc(column array with name in $A11,0.25) 此公式将写入单元格B11，并计算支付列的第25百分<e

浏览 7提问于2020-10-27得票数 0

回答已采纳

2回答

按另一列按百分位分组删除数据

python、pandas

我可以使用以下方法从列中删除95百分位数以上的数据：如何删除按另一列分组的95百分位数以上的数据？因此，如果我有如下所示的数据，我想删除第1行，因为它在类型A中超过了95百分位数。type value 2 A 0.1 3 A 0.3

浏览 10提问于2022-08-31得票数 2

回答已采纳

点击加载更多