Sparklyr on Databricks -在具有多个NaN值的sparklyr数据帧上按行取多列的平均值
Sparklyr是一个R语言的包，它提供了与Apache Spark的无缝集成，使得在R语言环境中可以直接操作和分析大规模数据。Databricks是一个基于云的Apache Spark服务提供商，它提供了一个托管的Spark环境，使得用户可以轻松地使用Spark进行数据处理和分析。
在具有多个NaN值的sparklyr数据帧上按行取多列的平均值，可以通过以下步骤实现：
- 首先，加载并连接到Spark集群，可以使用
spark_connect()函数来建立与Databricks环境的连接。 - 然后，加载数据集并创建一个sparklyr数据帧，可以使用
spark_read_csv()函数来从CSV文件中读取数据，并使用copy_to()函数将其转换为sparklyr数据帧。 - 对于具有多个NaN值的数据帧，可以使用
na.replace()函数将NaN值替换为0或其他合适的值，以便后续计算。 - 接下来，可以使用
mutate()函数创建一个新的列，将需要求平均值的多列进行相加，可以使用rowSums()函数实现行求和。 - 使用
mutate()函数再创建一个新的列，将行求和除以列数，以计算每行的平均值。 - 最后，可以使用
select()函数选择需要的列，并使用collect()函数将数据帧中的数据返回到R环境中进行进一步分析或可视化。
这样就实现了在具有多个NaN值的sparklyr数据帧上按行取多列的平均值的操作。
推荐的腾讯云相关产品是腾讯云的Apache Spark服务，可以在腾讯云的官方网站上找到相关产品介绍和详细信息。
参考链接：
相关·内容
我正在尝试为sparklyr数据帧创建最小、最大和平均列。我只想在计算中按行使用该大型数据帧中的5列。列中有许多NaN值，这些值可能是计算对象。在标准R中，使用的代码是： df_train$MinEncoding <- spark_apply(df_train,f=min ,columns=[,EncodingFeatures], 1, F
浏览 13提问于2019-10-15得票数 1
3回答
R循环数据帧
、、
我正在处理R中的一个数据帧，它只有2列，但行数非常多。我想把我的数据帧分成多个子集，比如每个'm‘行的子集，然后为数据帧的每个划分找出这m行中每一行的列中值的平均值，然后返回每个包含'm’行的<
浏览 2提问于2013-05-11得票数 0
回答已采纳
我正在编写一个函数来计算一组数据的指数移动平均值。我正在使用sparklyr包在Databricks Spark平台上工作。我目前对这些值的正确性不感兴趣(我使用的是虚拟值-例如。init = 10是任意的)。我更感兴趣<
浏览 25提问于2019-11-08得票数 1
回答已采纳
我正在尝试计算列的前150行的平均值，并使用平均值作为列的第一个值，第151行作为列的第二行，因此on...is有任何可以解决这个问题的python包。注意:只需要取前150行的平均值，其他行保持与原始数据帧相同。以下是我
浏览 26提问于2019-03-21得票数 0
回答已采纳
我有一个数据帧，其中数据每隔一小时进行一次，但其中一列有几个NaN值。当我遇到NaN时，我希望代码在NaN之前的四个小时内取平均值，然后用该平均值替换NaN。我试着修改这个问题的答案：pandas DataFrame: replace nan values with average of columns，但这个示例取</
浏览 22提问于2019-01-09得票数 1
回答已采纳
2回答
嗨，我有一个下面的火花数据帧。我想要跨行求和。我在sparklyr中找不到任何与行和等价的函数。我尝试了以下查询，但它对列值求和。0 0 0 我尝试将多个列聚合到一个单独的列中
浏览 2提问于2017-11-22得票数 1
我正在尝试计算Python中三列的平均值。这里是捕捉-如果我的3列的所有3个行值都不是null，那么我的平均值将是(x+y+z)/3。如果我其中一个行值为空(假设z)，那么我的平均值应该是(x+y)/2。
我将这些平均值存储在一个单独的列中，该列<
浏览 22提问于2018-06-23得票数 -1
回答已采纳
我想将spark数据帧中的NA/NULL分配给它最近的邻居。我来自R背景，所以我使用了sparklyr，但想不出一种方法。它可以很容易地在R中完成。有没有办法通过Sparklyr在Spark中做到这一点？c 9 4 10 910 10 e NA 10 NA 10
当然，如果我在连续的<e
浏览 0提问于2017-08-08得票数 2
回答已采纳
我想要做的是，当我有超过一个相同ID的观测值时，计算平均值，当只有一个观测值具有相同ID时，计算平均值。ID，在这种情况下，只有Maserati和Mazda有缺失的值，我希望R取Maserati丢失的值，用样本中所有Maserati之间的平均值来替换，如果不满足这个条件，我想取列的平均
浏览 4提问于2021-01-14得票数 1
回答已采纳
1回答
我有一个由几个文件组成的数据帧(dfA)。dfA有三样东西，一个与dfA中的其他日期值匹配的日期值，一个与dfA中的其他名称相同的未知名称列表中的名称，以及一个唯一的集中值。我想创建一个新的数据帧(dfB)，其中行按日期进行多索引，列是名称，值是来自所述名称值</em
浏览 11提问于2021-10-27得票数 1
回答已采纳
2回答
我有一个初始列，没有丢失数据(A)，但有重复的值。如何用缺失的数据填充下一列(B)，使其被填充，并且左侧的列始终在右侧具有相同的值？我也希望其他列保持不变(C) A B C2 2 NaN 8
3 3 NaN
浏览 14提问于2020-02-12得票数 1
回答已采纳
1回答
我有一个具有4列的pandas数据帧，这是一台设备如何将数据导出到csv。我的当前代码获取csv，将其导入到dataframe中，向列添加标题，然后在其上运行一些代码以按照我们需要的方式对其进行转换。以下是代码的主要部分： data = pd.read_csv(info, usecols=[0, 1, 2, 3], names=["a", "
浏览 1提问于2020-06-16得票数 0
2回答
我必须用前3个实例的平均值填充dataframe中一列的NaN值。下面是一个例子： df = pd.DataFrame({'col1': [1, 3, 4, 5, np.NaN, np.NaN, np.NaN, 7]})col11 3.02 4.04 NaN6 NaN
7 7.0
浏览 32提问于2020-12-14得票数 0
回答已采纳
我有一个原始数据框架，其中包含来自房地产的信息。为了在每m2的美元价格列中填充NaN值，我制作了一个多索引透视表，该表具有按m2覆盖的属性类型、地点和表面划分的每m2价格的平均值。现在，我想在原始数据框的每m2价格列中迭代，用我在数据透视表中创建的值
浏览 13提问于2020-03-27得票数 0
1回答
熊猫群群中忽略NaN的标准错误
、、、、
我已经将数据加载到具有多个列标题索引的dataframe中。目前，我一直在按列索引对数据进行分组，取组的平均值，计算95%的置信区间，如下所示：import pandas as pdci = grouped.aggregate(lambda x
浏览 8提问于2013-08-04得票数 9
回答已采纳
我有两个关于建筑物资产评估的数据框架。一个数据框具有多个关于财务信息的列，而另一个数据框具有包含这些建筑物的位置信息的列。这两个数据帧具有不同的行和列长度(金融数据帧有超过60,000行，而位置数据<em
浏览 49提问于2020-08-22得票数 0
如果我有一个DataFrame，我想用相同的索引名对行进行分组，比如：c 2 1 -d 4 3 -d 65 -c 2 1.5 e 5 4averaging = df.groupby(["
浏览 3提问于2018-10-08得票数 0
1回答
我需要找到一种方法来对在一列中具有相同值的行进行分组，但是将行分组在多列上。我需要实现的是对表示单个对象的行进行分组，这些对象在不同的服务上具有不同的ID。3456 NaN 7862 NaN NaN
NaN NaN
浏览 17提问于2018-09-07得票数 0
回答已采纳
2回答
滚动窗口对数据不产生影响
、、、
因此，我必须对dataframe中的一组行执行滚动窗口。问题是，当我执行full_df = full_df.rolling(window=5).mean()时，full_df.head(2000)的输出显示了所有的NaN值。有人知道为什么会这样吗？这是数据集：df = pd.read_csv('all_stocks_5yr.csv', usecols=["date", "close",
"Nam
浏览 1提问于2021-11-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
