根据spark dataframe中的列值查找累积平均值
，可以通过以下步骤实现：
- 首先，导入必要的Spark库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.window import Window
from pyspark.sql.functions import col, avg- 创建SparkSession对象：
spark = SparkSession.builder.appName("Cumulative Average").getOrCreate()- 加载数据集到Spark DataFrame：
df = spark.read.format("csv").option("header", "true").load("data.csv")其中，"data.csv"是数据集的文件路径。
- 定义窗口规范：
windowSpec = Window.orderBy("column_name").rowsBetween(Window.unboundedPreceding, Window.currentRow)其中，"column_name"是你要根据的列名。
- 计算累积平均值：
df = df.withColumn("cumulative_avg", avg(col("column_name")).over(windowSpec))这将在DataFrame中添加一个名为"cumulative_avg"的新列，其中包含累积平均值。
- 显示结果：
df.show()以上步骤将根据指定的列值计算累积平均值，并将结果显示在控制台上。
关于Spark DataFrame和窗口函数的更多信息，可以参考腾讯云的相关产品文档：
相关·内容
这是我的数据框架： # +--------+--------+------+------+----------+------------+-------------------+-----------5/1/2021|brand3| cars3| 0.0| 67.9|2021-01-05 00:00:00| 45.1| 在这里，我通过计算"brand2“行的累积和和"brand3”行的累积平均值来推导Tot
浏览 65提问于2021-09-15得票数 1
我想在Spark DataFrame中将一列居中，即用该列的平均值减去该列中的每个元素。目前，我是手动完成的，即首先计算列的平均值，从简化的DataFrame中获得值，然后用平均值减去列。我想知道在Spark中有没有一种简单的</e
浏览 55提问于2019-02-27得票数 0
如果没有迭代，我就无法解决这个问题df = pd.DataFrame({'model_1': [0.15, 0.19, 0.25, 0.54, 0.55 , 0.98, 1.12],3个水桶，取所有累积和小于或等于总曝光量的1/3的行的平均值。所以我们可以看到前4行的累积</e
浏览 1提问于2021-10-21得票数 0
回答已采纳
名称可以在单个数据name中具有不同的值。当我使用spark (scala)将数据写入elasticsearch时，我希望根据列"name“的值将数据写入不同的索引。dataframe.saveToEs("index-name")dataframe.saveToEs(col("&quo
浏览 8提问于2020-01-11得票数 1
回答已采纳
3回答
我有一个数据集，我想将这个数据集的顺序随机化100次，并计算每次的累积平均值。<- seq.int(1,100)df <- cbind(ID, val) %>% mutate(cm = cummean(
浏览 46提问于2021-09-22得票数 0
我不知道根据某列与选定行的累积和以及从另一列的值平均值将行从数据帧中分离出来。，单位平均值为61，以及权重的累积和在800至1100之间。选择到新数据帧的行也应从主df中删除。
实际工作的dataframe - ，我正在尝试使用更接近前面指定的标准的最佳方法从数据文件中提取行。其中，选择<em
浏览 2提问于2016-04-24得票数 1
2回答
我正在寻找一种方法来计算一些统计数据，例如，使用Scala计算星火中几个选定列的平均值。考虑到data对象是我的DataFrame，很容易计算出一列的平均值。data.agg(avg("var1") as "mean var1").showdata.groupBy("
浏览 3提问于2017-08-14得票数 2
回答已采纳
我有一个spark dataframe，它有一个具有浮点型型值的列。我正在尝试找出第11行到第20行之间的平均值。请注意，我没有尝试任何形式的移动平均值。我试着像这样使用分区窗口-它返回一个'org.apache.spark.sql.
浏览 7提问于2019-07-25得票数 1
回答已采纳
我有一个包含日期时间列的csv文件："2011-05-02T04:52:09+00:00“。我使用scala，文件被加载到spark DataFrame中，我可以使用jodas时间来解析日期：import sqlContext.implicits._
val df = new SQLContext(sc).load("com.databricks.spark.csv", Map(&qu
浏览 0提问于2015-04-28得票数 3
回答已采纳
我有一个包含两列"date“和"value”的dataframe，如何在dataframe中添加两个新列"value_mean“和"value_sd”，其中"value_mean“是过去10天(包括”date“中指定的当天)的平均值，"value_sd”是过去10天内"value“的标准差？
浏览 0提问于2016-02-12得票数 4
对于给定的矩阵Z，假设第一列引用索引值，是否可以根据第一列Z(:,1)中的索引值找到Z(:,2:3)的平均值。[1 3 4 1 3 9 1 5 7]
那么，如何在Z上循环查找索引值为1的相应行的平均值
浏览 4提问于2014-05-06得票数 2
回答已采纳
我有两个Pandas DataFrames，一个列是一个累积分布( [0,1]和单调递增之间的所有条目)，第二个是与每个累积分布相关联的值。
我需要访问与累积分布(百分位数)中不同点相关联的值。例如，我可能对百分位数[.1,.9]感兴趣，我正在通过检查在第一个DataFrame中应该插入百分位数的位置来找到这些百分位数在DataFrame
浏览 1提问于2015-09-03得票数 0
回答已采纳
1回答
Dataframe有两个列-1和item-2，我希望为项目-2中的item-1值和条目-1中的item-2值的所有行查找购买和出售列的平均值。
在这里，项目1中的第一行的值是A，项目2、4和6的值为A，因此avg-item 1- buy应该是这些索引
浏览 2提问于2022-07-26得票数 1
Spark中是否有函数可以通过忽略null/NaN来计算DataFrame中列的平均值？就像在R中一样，我们可以传递一个选项，比如na.rm=TRUE。当我在带有NaN的列上应用avg()时，我只得到NaN。
浏览 1提问于2017-09-17得票数 2
回答已采纳
3回答
这里是DataFrame：---------------------------2 | restaurant| 200004 | auto | 10000如何查找每个sector类型的计数，并删除sector类型计数低于特定LIMIT的记录dataFrame.groupB
浏览 0提问于2016-03-15得票数 2
回答已采纳
1回答
(我是Spark的新手)我需要存储大量的数据行，然后处理这些数据的更新。我们打算按照相同的标准对数据和更新进行分片，并定期重写"shard S+ shard S => new shard S累积的所有更新“。(我们知道如何组合shard S+update= new shard S) 如果这就是我们的设计，我们需要(1)通过它的一列(比如:列K)将DataFrame分
浏览 19提问于2019-05-03得票数 2
回答已采纳
我正在尝试根据多个CSV文件中的行来查找平均值。我已经从目录中提取了该文件，并将其修改为仅包含两个适用的列。问题是，我想根据目录中所有66个CSV文件的值来计算特定行的平均值。我的代码基本上停留在这里： # Set path to folder
# Get list of csv files in folder
浏览 41提问于2020-12-26得票数 0
我必须根据该级别的行数来计算MultiIndex DataFrame的平均值。
基本上，我必须对最后一列中的值求和，然后除以每个SKU_ID索引的每月行数，从而求出这些值的平均值。
浏览 0提问于2019-04-04得票数 0
如何创建UDF，以编程方式将每列中的spark dataframe中的空值替换为列平均值。例如，在示例数据col1中，空值的值为((2+4+6+8+5)/5) = 5。
浏览 5提问于2016-07-13得票数 2
我在Java17中使用Spark3.3.0，假设我有一个包含100万人的DataFrame。对于每个人，我想查找每年的工资(例如从一个数据库)，但每个人可能有不同年份的薪水。的迂回方式，可以将多个值从UDF加载到单个列中，然后将它们拆分为单独的列。我是否应该为每个可能的薪资年创建一个单独的查找DataF
浏览 3提问于2022-09-10得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
