Pyspark 2.4中的GroupedData对象
Pyspark是一个用于大规模数据处理的Python库，它提供了与Apache Spark分布式计算框架的集成。GroupedData对象是Pyspark中用于对数据进行分组操作的对象。
GroupedData对象可以通过DataFrame或Dataset的groupBy()方法获得。它提供了一系列用于聚合和转换数据的方法，包括聚合函数（如count、sum、avg等）、透视表、窗口函数等。
GroupedData对象的主要优势在于能够高效地对大规模数据进行分组和聚合操作，以及提供了丰富的聚合函数和转换方法，方便用户进行数据分析和处理。
GroupedData对象的应用场景包括但不限于：
- 数据分组和聚合：可以根据某个或多个列对数据进行分组，并对每个组进行聚合操作，如计算每个组的总数、平均值等。
- 数据透视表：可以根据某个或多个列对数据进行分组，并生成透视表，以便更好地理解数据的关系和趋势。
- 窗口函数：可以在分组数据上应用窗口函数，如计算每个组的排名、累计和等。
对于Pyspark中的GroupedData对象，腾讯云提供了一系列相关产品和服务，如：
- 腾讯云数据仓库（Tencent Cloud Data Warehouse）：提供了高性能、可扩展的数据仓库解决方案，可与Pyspark集成，支持对大规模数据进行分组和聚合操作。
- 腾讯云大数据计算服务（Tencent Cloud Big Data Computing Service）：提供了基于Apache Spark的大数据计算服务，可与Pyspark集成，支持对大规模数据进行分组和聚合操作。
- 腾讯云数据分析平台（Tencent Cloud Data Analytics Platform）：提供了全面的数据分析解决方案，可与Pyspark集成，支持数据透视表和窗口函数等操作。
更多关于腾讯云相关产品和服务的详细信息，请访问腾讯云官方网站：腾讯云。
相关·内容
我必须在pyspark数据帧上进行2级分组。我的试探性的：
grouped_df=df.groupby(["A","B","C"])
grouped_df.groupby(["C"]).count()
但我得到以下错误：
'GroupedData' object has no attribute 'groupby'
我想我应该首先将分组的对象转换为pySpark DF。但我不能这么做。
有什么建议吗？
浏览 2提问于2017-10-18得票数 7
回答已采纳
1回答
我在一个具有数百万条记录的数据集上运行groupBy()，并希望保存结果输出(一个PySpark GroupedData对象)，以便以后可以对其进行反序列化，并从该点恢复(根据需要在该点上运行聚合)。
df.groupBy("geo_city")
<pyspark.sql.group.GroupedData at 0x10503c5d0>
我希望避免将GroupedData对象转换为DataFrames或RDDs，以便将其保存为文本文件或Parquet/Avro格式(因为转换操作很昂贵)。是否有其他有效的方法将GroupedData对象存储为二进制格式，以便更快地进
浏览 0提问于2016-07-27得票数 2
1回答
星火分组数据表详细信息
、、、
如何实现分组spark-dataframe的密钥？
另一个问题是：
pyspark.sql.group.GroupedData对象包括什么？
浏览 0提问于2018-05-12得票数 0
回答已采纳
我有一个火花数据仓库，看起来是这样的：
+-----+----------+--------+-----+
|key1 |date |variable|value|
+-----+----------+--------+-----+
| A49|2022-03-20| V1| 31|
| A49|2022-03-21| V1| 39|
| A49|2022-03-22| V1| 33|
| A49|2022-03-23| V1| 27|
| A49|2022-03-24| V1| 32|
| A49|2
浏览 3提问于2022-04-04得票数 0
我想要旋转一个spark数据帧，我引用了，基于pivot函数，线索是.groupBy('name').pivot('name', values=None)。这是我的数据集，
In[75]: spDF.show()
Out[75]:
+-----------+-----------+
|customer_id| name|
+-----------+-----------+
| 25620| MCDonnalds|
| 25620| STARBUCKS|
| 25620| nan|
| 2
浏览 2提问于2018-08-13得票数 8
回答已采纳
1回答
我怎样才能做到这一点？
from pyspark.sql import functions as F
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)
grouped=df.groupby([col list]).agg(F.count([col list]))
我读过关于堆栈溢出的类似问题，但没有找到确切的答案。
即使我试着把一列
grouped=dfn
浏览 3提问于2020-02-26得票数 0
回答已采纳
2回答
我有一个具有如下标题的数据集：
|State|2020-01-22|2020-01-23|2020-01-24|2020-01-25|2020-01-26|2020-01-27|2020-01-28|
我正在尝试基于groupBy列和每一列的行值之和(列数保持不变)进行groupBy。但当我用：
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
df = df.groupBy('State').agg(F.sum())
但是我得到了错误：sum() missing 1 required
浏览 3提问于2022-04-19得票数 0
2回答
你好，我想实现这样的目标
SAS SQL: select * from flightData2015 group by DEST_COUNTRY_NAME order by count
我的数据如下：
这是我的星火密码：
flightData2015.selectExpr("*").groupBy("DEST_COUNTRY_NAME").orderBy("count").show()
我收到了这个错误：
AttributeError：'GroupedData‘对象没有属性'orderBy’。我对火种很陌生。Pyspark的
浏览 4提问于2022-03-01得票数 0
回答已采纳
我有SQL开发背景，目前正在学习pyspark / python，我对使用python查询数据/链接方法有点困惑。 例如，下面的查询(摘自'Learning Spark第二版‘)： fire_ts_df.
select("CallType")
.where(col("CallType").isNotNull())
.groupBy("CallType")
.count()
.orderBy("count", ascending=False)
.show(n=10, truncat
浏览 6提问于2020-09-22得票数 5
回答已采纳
目前正在开发PySpark。DataFrame上没有映射函数，必须转到RDD获取map函数。在Scala中有一个map on DataFrame，有什么原因吗？
浏览 5提问于2017-11-17得票数 7
回答已采纳
2回答
我正在尝试将用户定义的函数应用于PySpark中的窗口。我读到过UDAF可能是可行的，但我找不到任何具体的东西。
举个例子(取自此处：，并针对PySpark进行了修改)：
from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.window import Window
from pyspark.sql.functions import avg
spark = SparkSession.builder.master("local").config(conf=Spark
浏览 0提问于2018-01-09得票数 11
回答已采纳
我有这样的数据：
+-----+--------+
|count| country|
+-----+--------+
| 12| Ireland|
| 5|Thailand|
+-----+--------+
当我添加sum()函数以获得第一列'count‘的总数时，我得到了以下错误：
AttributeError: 'DataFrame' object has no attribute 'sum'
我确实导入了from pyspark.sql.functions import sum
我该怎么算，或者我少了什么？
谢谢你，感谢你的帮助。
浏览 3提问于2017-05-29得票数 1
我正在阅读R中关于数据分析和图形的，我认为当前版本的lme4和他们使用的版本之间存在一些问题(我有2007年和2010年的版本)。我目前的问题是书中的p340，作者展示了如何使用lmList提取每个人的斜率。守则内容如下：
library(lme4) data(Orthodont, package = "nlme") ab <- coef(lmList(distance ~ age|Subject, data=Orthodont))
这应该是相当直截了当的，似乎在书中是这样的。然而，我得到以下信息：
Error in eval(expr, envir, enclos) :
浏览 1提问于2014-04-27得票数 3
回答已采纳
1回答
var data1=[
{"year":2000,
"country":"Madagascar",
"country_id":847,
"indicator":"Current account balance - National Currency (millions)"
},
{"year":2005,
"country":"Madagascar",
"country_
浏览 1提问于2013-03-26得票数 1
回答已采纳
1回答
我在试图计算电火花的加权平均值，但没有取得很大进展。
# Example data
df = sc.parallelize([
("a", 7, 1), ("a", 5, 2), ("a", 4, 3),
("b", 2, 2), ("b", 5, 4), ("c", 1, -1)
]).toDF(["k", "v1", "v2"])
df.show()
import numpy as np
def weighted_mean(wor
浏览 6提问于2016-08-08得票数 5
回答已采纳
1回答
我正在尝试弄清楚如何从C#实体框架中检索自定义对象。
我有这个来自数据库的输出。
我正在尝试将其转换为以下JSON编码格式。
{
DT_RowId: 50-1,
donor: "0111158",
serial_number: "0111158-2030RV-001",
status: "Released",
location:"Finished Goods",
ext_dt: "08/2019",
qty: "1",
ne
浏览 0提问于2018-06-19得票数 0
2回答
上下文
我将一组JSON数据存储为一个对象。我想通过一个特定的属性来“分组”这个数据。这个很管用。但是，我希望能够更多地对已经分组的数据进行分组。这就是我被困的地方。我所遵循的过程可能是完全错误的，所以如果您有更好的方法分组JSON数据，请说。
过程
接受data对象，并将其替换为包含groupLevel、filter和新data对象等的新对象，直到所有分组都完成为止。
问题
如何遍历这个结构，具体针对最低的data对象，按照下面的方式创建新的分组(我可以这样做)，然后作为一个全新的结构返回整个组，以便在代码的其余部分中使用。问题是在保持结构完整的同时，能够在最低的层次上做出改变。
原始数据结
浏览 2提问于2015-08-26得票数 1
1回答
我试图使用collect_set获取categorie_names字符串的列表，这些字符串是，而不是groupby的。我的代码是
from pyspark import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql import functions as F
sc = SparkContext("local")
sqlContext = HiveContext(sc)
df = sqlContext.createDataFrame([
("1", "cat1
浏览 7提问于2019-11-07得票数 2
回答已采纳
1回答
你好，我正在使用creat，我想使用dataloader插件创建creat，api响应具有嵌套对象。我试过了，但行不通。我的json回答是这样的。另外，我想将24小时的时间转换为12小时的时间( json中的插槽)，如何使用这种类型的json使用dataloader插件创建图表？
{
"driver_data": [
{
"slot": 0,
"rideCount": 0
},
浏览 0提问于2018-09-14得票数 0
回答已采纳
我有一个如下所示的对象 {
"8 am": 2,
"11 am": 6,
"12 pm": 3,
"5 pm": 7,
"1 pm": 0
} 我使用下面的代码使用键对对象进行排序。 const ordered: any = {};
Object.keys(groupedData).sort().map((key) => {
ordered[key] = groupedData[key];
}); 我得到的结果如下 {
"1 pm": 0,
"
浏览 38提问于2020-01-16得票数 0
回答已采纳
这是我的第一个实际LINQ-to-SQL查询。我想知道我是否犯了什么大的，明显的错误。
我有一个中大型(2M+记录，每天增加13k )的表，其中包含数据、dataTypeID、machineID和dateStamp。我想要获取所有机器和特定dataType在4小时内的平均值、最小值和最大值，回溯到28天。
E.g
DateTime*
1/1/10 12:00AM:74.2:72.1:75.7
1/1/10 04:00AM:74.5-73.1-76.2
1/1/10 08:00AM:73.7:71.5:74.2
1/1/10 12:00 ：73.2:71.2:76.1
等等。
2010年01月2
浏览 0提问于2010-02-19得票数 2
回答已采纳
我正试着按字母顺序对商店的标题进行排序，数据是随机显示的。我要加一个小提琴：
enter code here
浏览 2提问于2016-12-21得票数 0
回答已采纳
我是一个业余的vba程序员，目前正在为以下问题而苦苦挣扎：
我为我的VBA程序编写了一个简单的SQL查询，以便从Access中的现有查询(GroupedData)中提取数据：
Dim strSQL as string
Dim db as dao.database
dim rs as dao.recordset
strSQL = "SELECT GroupedData.EmployeeID, GroupedData.End, GroupedData.LOB, GroupedData.Position, GroupedData.WorkStatus " & _
&
浏览 12提问于2016-09-21得票数 0
1回答
如何使饼图聚合数据源？
、、、
使用，版本: 2013.3 1119 (2013年11月20日)
如果我有这段代码：
$("#status-chart").kendoChart({
dataSource: {
data: [
{Status: 10},
{Status: 20},
{Status: 200},
{Status: 200}
]
},
series: [{
field: 'Status
浏览 1提问于2013-11-26得票数 5
回答已采纳
1回答
使用material表，我的当前表在每一行上生成一列。我想在每一行中显示3列作为项目，下面是我的表格地图：
<TableBody>
{this.props.data.slice(page * rowsPerPage, page * rowsPerPage + rowsPerPage).map(n => {
return (
<TableRow key={n.id}>
<TableCell>
{n.title}
浏览 0提问于2018-04-16得票数 2
回答已采纳
我有一个有3年日历数据的列表，我在excel中有它们，所以我使用oledb读取数据并将它们存储在list.You中，可以找到下面的列表。
IList<BulkDateInsert> objExcelCon = ReadExcel(Filepath);
我在上面的名单上得到了什么
{
"CalendarDate": "\/Date(1490985000000)\/",
"Calendarday": "Sat",
"isweekday": false,
"isweekend":
浏览 2提问于2017-03-31得票数 0
JS中是否有用于转换时间序列数据时间帧的库？我每分钟都会从物联网设备上生成数据。在我正在开发的应用程序中，将有一个图表，我们将能够可视化不同时间段(1m，30m，1h，1d等等)之间的数据切换，就像经典的股票市场图表一样。
将所有1m数据相加并求平均值是一项非常简单的任务。但是，例如，每30m生成一个新的数据信息并不是那么明显。由于有大量的sotck，forex和crypto网站，我想一定有人分享了一个很好的库。
浏览 13提问于2018-08-27得票数 0
我无法找到这个问题的答案，或者我找不到正确的地方，但我试图找到一种方法，我可以使用AngularJS和Bootstrap将多个元素(面板)分组到一个大面板中。
因此，例如，我有大约60个左右的迷你面板，代表客户的联系表格。所有这些表单都位于一个带有ng-repeat的大面板中。我想以某种方式将我的联系人按不同的标准分组(例如，按国家代码或公司类型等)。从一个下拉式控制。
我希望所有联系人都显示在一个面板中，但由一个.page-header隔离(与下面的示例类似)：
有没有人在任何地方看到这方面的例子，或有关于如何实现这一目标的任何细节？
浏览 2提问于2016-06-28得票数 0
回答已采纳
在Highstock中，用区域样式和dataGrouping绘制了一系列密集采样的数据点。现在，我需要访问每个组中心的值，以便将其作为一个新的系列来绘制，该系列将用于跟踪第一个系列的中心值。
因此，在配置图表的plotOptions中，我需要访问第一个系列中的分组数据，以构建第二个系列的数据网格。
下面是一项尚未完成的尝试：
let center_data = []; // the line data series to be constructed
window.chart = new Highcharts.StockChart({
chart: {
rend
浏览 7提问于2020-10-06得票数 0
回答已采纳
1回答
我正在编写一个进程，它需要为某些基于某些标准匹配的组生成一个UUID。我的代码开始工作了，但我担心在我的UDF中创建UUID可能会出现问题(因此它是非确定性的)。下面是一些代码的简化示例，以说明：
from uuid import uuid1
from pyspark.sql import SparkSession
from pyspark.sql.functions import PandasUDFType, pandas_udf
spark = (
SparkSession.builder.master("local")
.appName("Wo
浏览 1提问于2020-05-17得票数 9
我的ajax函数返回几个具有以下模式的JSON对象：
var data = [
{ 'category': 3, 'name': 'Max' },
{ 'category': 1, 'name': 'John' },
{ 'category': 2, 'name': 'Mary' },
{ 'category': 2, 'name': 'Dennis' },
{ &
浏览 2提问于2015-01-06得票数 0
回答已采纳
我有一个建议：
var modbusData = [
{ Type: "rtu", IdDevice: "1", Time: "11:01:00", Data: "1,12,23" },
{ Type: "tcp", IdDevice: "2", Time: "11:01:11", Data: "30,40,50" },
{ Type: "rtu", IdDevice: "1", Time: "11:02:00
浏览 2提问于2021-06-16得票数 0
回答已采纳
我试图每5秒发送一次请求到服务器，但不知怎么没有触发计时器。我在控制台上没有任何错误。知道为什么不行吗？
提前谢谢！
import React, { Component } from 'react';
import AzureService from "../_services/AzureService";
import "../_css/TFSBuilds";
import {FormikBag as props} from "formik";
import {timer} from "rxjs";
impor
浏览 3提问于2020-03-11得票数 0
回答已采纳
我有一个对象数组，我试图根据title regex值对其进行分组。
示例数组：
[
{
id: "1",
title: "[GroupA] Example Title",
date: "example date",
},
{
id: "2",
title: "[GroupA] Example Title",
date: "example date",
},
{
id: "3",
title: "
浏览 4提问于2021-05-24得票数 0
回答已采纳
我有一个非常恼人的问题，我已经对一组数据进行了分组，但我无法访问组中的数据。我可以得到密钥位，而不是数据..
我在表单中有大量的数据
Data.Period = x
Data.Adjustment = y
我执行一个GroupBy
var groupedData = Data.GroupBy(x => x.Period new {x.Period});
这(根据linq)带回了我的分层数据，它开始看起来像我想要的那样。我想遍历内容，但是cant...How，我要这样做吗？我该怎么.
研究如何在不使用投影的情况下到达Data.Adjustment。我还不想投影，因为我必须执行另一个grou
浏览 0提问于2012-03-16得票数 65
回答已采纳
1回答
我试图使用C#中的聚合从mongo日志中获取统计数据，但我总是得到错误：
必须将组聚合字段'RecordDate‘定义为对象内的表达式。
这是我的代码，有人能告诉我聚合中出了什么问题吗？
IMongoCollection<LogRecord> myCollection = MongoClient.GetDatabase("DatabaseName").GetCollection<LogRecord>("CollectionName");
List<GroupedData> logSats = myCollect
浏览 0提问于2019-04-02得票数 1
我有100个病人的数据(一个带有rbind的总文件)，有两个列(time，var1)。我需要分组数据(100个组)，以便能够绘制100个病人的数据。
我在整个数据末尾添加了一个列patientID，但是应该分组，以便为每个病人生成100个地块。因为我需要数据在一起，所以我不想把总数据分开。
我试过了，但没有用：
Data1$ID <- 1 # third column now has the ID
total <- rbind(Data1,Data2,....)
total <- grouped.data(xdata = xdata, ydatalog = ydatalog
浏览 2提问于2015-05-14得票数 1
这是我的对象，我想从其中的子菜单创建一个菜单。 我正在处理一个项目，该项目需要按父名称对菜单列表组进行分类。 [
{
"parent": "Assessment",
"name": "Assessment Due date"
},
{
"parent": "Assessment",
"name": "Grading Schemes"
},
{
&#
浏览 34提问于2019-10-01得票数 1
回答已采纳
我拥有的数据可以简化为：
在这个例子中，我想删除与曲目2相关的数据，因为它只有3帧与之相关。所有具有3个以上关联帧的数据都可以保留。
正如我尝试演示的那样，帧编号并不总是从1开始。对于被跟踪的尽可能多的帧，轨道编号将始终是连续的相同编号。我在考虑使用一个函数为A列中的每个连续值将1附加到一个变量，然后执行一个测试，看看这个值是否等于>= 3。如果是，则转到A中的下一个整数，如果不是，则删除所有标有该整数的行(在本例中为2)。
在Excel宏中使用Visual Basic可以做到这一点吗?有没有人能给我一些关于我可以使用哪些函数的入门提示？这里完全是新手。我还没有找到任何类似的VBA，
浏览 0提问于2013-06-05得票数 0
回答已采纳
基于此，我创建了带有数组的对象，并可以通过以下方式显示每个数组的名称：
- each item in Object.keys(groupedData)
li= item
结果是：
* Fruit
* Sport
* Kitchen
但是，如何在不同的表中显示每个数组的值？例如：
我不知道如何从数组中得到任何价值？
我想过这个li= item.array[0].tag，但它不起作用。
@编辑
如果我用：
- each val, key in groupedData
li #{JSON.stringify(val)}
我可以在视图中显示值、结果：
[{
浏览 1提问于2016-04-25得票数 0
回答已采纳
我在DataGridView MouseDoubleClick中有一个事件，当我单击任何行时，我想从1列接收一个值。
我的数据源来自WZ_DWS_SITO类。我创建了一个从数据库中提取数据的方法：
public void getdata()
{
EntitiesSito db = new EntitiesSito();
var query = (from d in db.WZ_DWS_SITO
orderby d.WZ_DATA descending
group d
浏览 0提问于2018-12-10得票数 0
回答已采纳
2回答
我正在尝试从pandas.core.series.Series中提取“左”和“右”数据。
这是我的测试CSV：
"A","B","C"
1,1,"Hello"
2,1,"World"
3,2,"Good"
4,1,"!"
5,3,"Good"
6,2,"Morning"
7,3,"bye"
这是密码：
import pandas as pd
df = pd.read_csv('test.csv')
data = df[
浏览 4提问于2021-03-18得票数 0
回答已采纳
2回答
具有不可变js的递归分组
、、、
var list = new List([
{ "col1": "1", "col2": "A", "col3": "cat", "col4": "dog", "col5": "blue"},
{ "col1": "1", "col2": "A", "col3": "cat", "col4": "dog"
浏览 0提问于2018-08-31得票数 2
回答已采纳
1回答
我有一个Kendo网格，有以下解密内容：
@(Html.Kendo().Grid<AgencyAutomation.DomainLayer.ViewModels.InvoiceDetailViewModel>()
.Name("invoiceDetailGrid")
.BindTo((IEnumerable<AgencyAutomation.DomainLayer.ViewModels.InvoiceDetailViewModel>)@ViewBag.InvoiceDetails)
浏览 2提问于2015-04-09得票数 4
回答已采纳
如果我有一条SQL语句，
SELECT Count(id) as TotalRows, transaction_date
FROM Accounts
Group By transaction_date
我使用什么作为返回类型，并使用Dapper Dot Net将其显示在my View中？我尝试使用ViewData["mydata"]并尝试使用List<dynamic>，但我无法迭代，因为返回类型为IActionResult，因此没有枚举器。我不能(我不知道如何)使用IEnumerable将它转换为特定的类型，因为没有像(Accounts，Person等)这样的自定义
浏览 11提问于2017-02-08得票数 0
给定一个分组DataFrame (由df.groupby([col1, col2])获得)，我希望获得分组变量(在本例中为col1和col2 )。
例如，从
import pandas as pd
import numpy as np
df = pd.DataFrame(
[
("bird", "Falconiformes", 389.0),
("bird", "Psittaciformes", 24.0),
("mammal", "Carnivora
浏览 11提问于2022-03-09得票数 0
回答已采纳
1回答
我有一个对象数组；我必须按照相同的ids、startDates和endDates对对象进行分组。如果If是相同的，但是startdate或endDate不是相同的-不要在那里分组。如果startDates或endDates是相同的，但If不是-不要在那里分组。我试过用减缩来做，但不知道怎么做。
怎么做？
我的代码：
const newDates: any[] = [];
response.forEach((elem, index) => {
if(newDates.length === 0) newDates.push([elem])
if(ne
浏览 11提问于2022-11-10得票数 -1
回答已采纳
它可以在没有聚合或计数的情况下遍历Pyspark groupBy数据帧吗？ 例如Pandas中的代码： for i, d in df2:
mycode ....
^^ if using pandas ^^
Is there a difference in how to iterate groupby in Pyspark or have to use aggregation and count?
浏览 54提问于2020-01-07得票数 3
回答已采纳
我从后端获取所有信息并将其映射为对象，我想将其显示为像第二张图像一样精确的分组，同时获取具有那里权限的对象，在那里，displayName ( Read，Read，Creat，Update)和group(Admin等)只显示一次管理员代理名称，其中多次显示。
下面是从后端获取的后端数据：
[
{
id: 54,
name: "agent_read_all",
description: null,
displayName: "Read all",
group: "Admin - Agent",
},
浏览 6提问于2022-11-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
