使用summarize_all()查找sparklyr数据的中位数
使用summarize_all()函数可以对sparklyr数据进行汇总统计，包括计算中位数。
中位数是一组数据中居于中间位置的数值，将数据按照大小排序后，中间位置的数即为中位数。它可以用来描述数据的集中趋势，相对于平均数更能反映数据的分布情况。
在sparklyr中，可以使用summarize_all()函数结合dplyr包的mutate()函数来计算中位数。具体步骤如下：
- 首先，加载sparklyr和dplyr包，并连接到Spark集群：
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")- 加载数据集到Spark中，假设数据集名为df：
df <- sdf_copy_to(sc, iris)- 使用summarize_all()函数结合mutate()函数计算中位数：
df %>%
summarize_all(~ median(.)) %>%
mutate_all(as.numeric)上述代码中，summarize_all()函数会对数据集中的每一列应用median()函数，计算出每一列的中位数。然后，使用mutate_all()函数将结果转换为数值型。
总结一下，使用summarize_all()函数可以方便地计算sparklyr数据的中位数。在实际应用中，可以根据具体需求对数据集进行适当的筛选和转换，以得到所需的中位数结果。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
- 腾讯云数据仓库TDSQL：https://cloud.tencent.com/product/tdsql
- 腾讯云数据计算服务TDSW：https://cloud.tencent.com/product/tdsw
相关·内容
我正在尝试获取我使用sparklyr提取的r中数据的汇总统计信息，包括平均值和中位数。我可以通过在dplyr::summarize()步骤中手动输入所有内容来获取所有统计数据，但是我想知道是否有方法可以使用summarize_all()语句来实现这一点。()尝试在不调用中位数的百分位数的情况下有效。这将为我的数据获取count、mean、min、
浏览 8提问于2020-09-02得票数 0
回答已采纳
问题 我有一个巨大的Spark Dataframe，叫做x。我正在使用databricks。X有数十亿条记录，太大了，不能收集到一台机器上。我要怎么做才能让它正常工作？： dplyr::summarize_all(x,mean) 更多信息 这是我目前收到的错误消息： Error in UseMethod("tbl_vars") :
no applicable methodsummarize_all的示例： cars <- copy_to(sc, mtcar
浏览 17提问于2020-09-24得票数 2
回答已采纳
我的数据中的观察值包含在组中，我试图使用summarize_all函数获取每个组的多个汇总统计数据(例如，平均值、中位数、长度、标准差)。当我在summarize_all中指定na.rm=T时，它会将na.rm参数应用于列出的每个函数(如下所示，mean和sd)。library(dplyr)
select(Month, Ozone, Solar.R, Temp) %>
浏览 0提问于2019-08-07得票数 1
1回答
我正在尝试将我的R代码(如下面所示)重构为Sparklyr R代码，以便在星火数据集上工作，以获得最终结果，如表1所示：
var n nmissdata_tbl <- as_tibble(
浏览 0提问于2019-01-17得票数 1
回答已采纳
1回答
如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark有什么建议可以解决这个问题吗？
谢谢!
浏览 6提问于2020-11-06得票数 2
我用summarize_all()函数在dplyr中总结了一个数据帧。如果我执行以下操作： summarize_all(mydf, list(mean="mean", median="median", sd="sd")) 我得到了一个tibble，每个原始度量都有3个变量但是当我尝试捕获向量内的n来计算标准差并确保丢失的单元不被计算时…… summarize_all(mydf, list(mean="mean"
浏览 21提问于2019-09-24得票数 3
回答已采纳
我有一个数据集(15 GB)：7200万条记录和26个特征。我想比较7个监督ML模型(分类问题)：支持向量机，随机森林，决策树，朴素贝叶斯，神经网络，KNN和XGBoosting。我创建了一个包含720万条记录的样本集(占整个集的10%)。在样本集上运行模型(甚至是特征选择)已经是一个问题。它有很长的处理时间。目前我只使用RStudio。
几天来我一直在寻找我的问题的答案。我尝试了以下方法：- data.table -仍然不足以减少处理时间- sparklyr<
浏览 25提问于2019-11-10得票数 0
1回答
Sparklyr未连接到数据库
、、、、
我正在尝试使用sparklyr或SparkR连接到数据库。install.packages("sparklyr")
Error i get is: Error in value[[3L]
浏览 0提问于2018-11-27得票数 1
1回答
我希望能够在SparkR SparkDataFrame上使用Java方法向Cassandra写入数据。然而，对于我的用例，我希望能够使用SparkR::spark.lapply，这样我就可以在本地收集我的Cassandra表的子集，在它们上运行脚本并写回数据。我尝试使用sparklyr的每个方法都是单线程的，所以实际上根本没有使用spark。使用SparkR，我可
浏览 7提问于2017-01-22得票数 0
回答已采纳
我正在运行Sparklyr和SparkR。当我试图使用由schema()创建的数据表调用spark_read_csv()函数时，会收到以下错误(以及select()和lapply()函数上的类似错误)：
平台:x86_64-W64-mingw32 32(&q
浏览 1提问于2019-04-14得票数 0
1回答
我使用doubleslash(\)来断行，光标指向下一行，但是有一个斜杠()在我的数据后面。以下是我所提供的意见：
找到给定数据的中位数：\13，16，12，14，19，12，14，13单个斜杠会附加到数据中。
浏览 0提问于2019-05-14得票数 0
1回答
我试图使用summarize_all来查找每个ID的平均值，我可以成功地为ID列和我试图找到的(速度)列找到平均值。但是，当我使用下面的代码时，所有其他列都作为NAs返回。因此，我需要保持按驱动程序平均的速度，但是有多个行来维护唯一的驱动程序和位置(日期不重要)
我认为这可能是因为作为NAs返回的列是非数字的。我也尝试使用聚合()函数，但情况也是如此。这是我目前使用的</e
浏览 0提问于2019-05-21得票数 1
回答已采纳
1回答
我对R中sparklyr中的ft_one_hot_encoder函数的输出感到好奇。在使用ml_create_dummy_variables之前，我尝试实现它来查找我无法使用的输出。我有一些简单的测试数据和一个工作的spark连接：require(sparklyr)
spark_connection<-spark_connect(master = '：
浏览 18提问于2017-07-05得票数 2
1回答
我有大量的数据(>10000000)，int类型包含我想要计算的中位数(所以我有>1000000个中间值)。我应该保持一个排序列表并将项目按顺序插入到这个列表中，然后每次计算中位数，还是应该每次插入，然后对列表进行排序。注意:我不能使用std::set，因为也可能存在重复，如果使用std::
浏览 1提问于2015-07-13得票数 3
回答已采纳
1回答
我使用Sparklyr库从R到HDFS读取和写入数据。读取数据的工作原理是预期的，但是写入会带来问题。为了能够使用spark_write_csv函数，我需要将我的R data.frames转换成Spark对象。为此，我使用了sparklyr sdf_copy_to函数(也尝试过使用copy_to)。Rtmp2gpelH/spark_serialize_62547a7b0f9ad206fd3
浏览 2提问于2017-03-01得票数 3
我有一个数据帧，它由5个属性(如图、权重、日期等)加上2000个光谱值(不同的波长)组成。因此，大约有2005列。DF &>% aggregate(...*I am stuck here*
最终目标是拥有一个具有2005列、24行的数据帧(每行由原始元数据+基于曲线图编号的每个波长的平均值*组
浏览 5提问于2018-09-03得票数 1
如何编写oracle或PLSQL脚本来查找表中数据类型为'number‘的列名，以及查找表中该列名的平均值和中位数。
浏览 0提问于2021-04-24得票数 0
2回答
如果这种问题不能用火花解决的话，我很惊讶：# in this format: YYYY-MM-DD (year, month, day) ... ...我收到这个错误：
Error: org.apache.spark
浏览 4提问于2016-10-27得票数 3
回答已采纳
在新的Python3.4中，他们引入了一个新的统计模块。除其他外，它还有一个计算中值的函数。
目前，函数首先对数据进行排序，然后确定中值。是否有比目前使用的函数更快的计算中值的方法？Python应该实现哪种算法来确定中位数？
浏览 5提问于2014-08-18得票数 0
我只是尝试使用databricks中的sparklyr导入的数据来查找日期列的最大值： data %>% dplyr::select(date_variable) %>% max() 这将返回一个错误max()和min()一定是最常用的函数之一吗？我在这里做错了什么？
浏览 7提问于2020-09-26得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
