groupby对象上的聚合函数提供不完整的输出
groupby对象是pandas库中的一个功能，它允许我们根据一个或多个列的值对数据进行分组。在进行分组后，我们可以对每个组应用聚合函数来计算统计指标。然而，有时候聚合函数提供的输出可能是不完整的。
聚合函数提供不完整的输出可能有以下几种情况：
- 缺失值：在某些组中，聚合函数可能无法计算出结果，导致输出中存在缺失值。这可能是因为某些组的数据缺失或不满足聚合函数的要求。
- 过滤：在某些情况下，我们可能希望对某些组应用特定的过滤条件，而不是对所有组都应用聚合函数。这样就会导致输出中只包含满足条件的组的聚合结果，而其他组的结果被过滤掉。
- 自定义聚合函数：有时候，我们可能需要使用自定义的聚合函数来计算特定的统计指标。这些自定义函数可能无法提供完整的输出，因为它们可能只计算部分指标或根据特定的逻辑进行计算。
对于以上情况，我们可以根据具体需求采取相应的处理方法。例如：
- 处理缺失值：可以使用fillna()函数将缺失值替换为特定的值，或使用dropna()函数删除包含缺失值的行。
- 过滤数据：可以使用布尔索引来筛选满足特定条件的组，并对这些组应用聚合函数。
- 自定义聚合函数：可以根据需求编写自定义的聚合函数，并在groupby对象上应用这些函数来计算特定的统计指标。
需要注意的是，以上处理方法是针对pandas库中的groupby对象，具体的实现方式可能会因不同的编程语言和框架而有所差异。
关于腾讯云相关产品和产品介绍链接地址，可以参考腾讯云官方文档或官方网站来获取详细信息。
相关·内容
2回答
PYSPARKSQL中的枢轴
、、、、
我需要在下面的桌子上使用枢轴。
id,week,score
102,1,96
101,1,138
102,1,37
101,1,59
101,2,282
102,2,212
102,2,78
101,2,97
102,3,60
102,3,123
101,3,220
101,3,87
输出
1 2 3
101 138,59 282,97 220,87
102 96,37 212,78 123,60
在这里，我需要分类得分
我在下面的代码中尝试过，但是只有在特定id上有一个记录时，它才能工作。
df.groupBy(
浏览 2提问于2017-12-28得票数 0
回答已采纳
2回答
我正在处理一个数据形式的数据。我的数据是：
left_id right_id
a b
a c
c e
我希望以这样的方式编写代码，以便输出如下所示：
key value
a b,c
c e
在输入数据中，a发生了两次。一次用c，一次用b。因此，a的值被赋值为b和c。对于c，该值被赋值为e。
请帮我解决这个问题。
浏览 1提问于2020-03-15得票数 0
回答已采纳
2回答
我的数据如下：
date, cardio_time, muscles, muscle_time, stretch_time
2018-01-01, 0, "biceps / lats", 40, 5
2018-01-02, 30, "", 0, 10
2018-01-03, 0, "lats / calf", 41, 6
2018-01-03, 30, "hamstring", 4, 5
2018-01-04, 0, "biceps / lats", 42, 8
我想用相同的日期合并这些行，并从两行中保存信息。我的
浏览 0提问于2018-04-29得票数 3
3回答
我真的不明白为什么在为“课程”创建一个带有groupby的Dataframe时，我会得到一个入口位置输出？
代码：
import pandas as pd
technologies = ({
'Courses':["Spark","PySpark","Hadoop","Python","Pandas","Hadoop","Spark","Python","NA"],
'Fee' :[22000,250
浏览 22提问于2022-10-22得票数 0
回答已采纳
对于示例数据帧scholor，
scala> scholor.show
| id| name|age|sal|base|
对于上面的，都是下面的，给出相同的输出。那么agg()有什么用呢？这只是名字而已。
scala> scholor.groupBy("age").sum("base").show /*with out agg */
scala> scholor.groupBy("age").agg(sum("base")).show /* with agg */
+---+----
浏览 1提问于2017-04-08得票数 4
回答已采纳
1回答
我试图(实质上)通过移动到R+h2o.ai来加速一些R代码。
我是按单因素变量分组的，但当我试图计算加窗的分位数、偏度或峰度时，会出现错误。
在h2o中是否有与拆分应用-组合方法不兼容的摘要函数列表？它是否只适用于sql-模拟函数，如求和、计数或stdev？
此代码失败：
for(i in col_idx_list){
proc_cols_list <- names(df.hex)[i]
group_cols_list <- c("group_variable_factor")
h2o.quantile(x=df.hex[,proc_cols_lis
浏览 0提问于2019-02-18得票数 0
回答已采纳
我想使用一个函数跨几个属性进行聚合。例如，我有一个输入开始日期和结束日期的函数，还有一个带有“日期”、"shift_type“、”部门“和”工时“属性的调度对象类型。
我希望我的输出是每个日期/班次类型/部门组合的工时之和。
浏览 8提问于2022-06-02得票数 2
3回答
我有一个交易的Pandas DataFrame：
transactions.head():
Amount Date of Transaction Description \
0 39.95 2017-03-30 Fake_Transaction_One
1 2.39 2017-04-01 Fake_Transaction_Two
2 8.03 2017-04-01 Fake_Transaction_Three
3 34.31
浏览 0提问于2018-07-22得票数 3
回答已采纳
给定以下示例数据帧：
summary id
183 12.0 11
526 12.0 11
1036 14.0 11
1801 13.0 11
3003 12.0 11
14 6.0 17
177 11.0 17
511 8.0 17
1000
浏览 6提问于2017-03-16得票数 2
回答已采纳
1回答
我的任务：
对于下一组问题，我们将使用来自的普查数据。县是美国各州的政治和地理分区。该数据集包含2010至2015年美国各县和州的人口数据。用于描述变量名。
普查数据集(census.csv)应加载为census_df。请酌情使用此方法回答问题。
问题5
哪个州有最多的县？(提示:仔细考虑sumlevel密钥！你将来的问题也需要这个.)
这个函数应该返回一个字符串值。
census_df = pd.read_csv('census.csv')
census_df = census_df[census_df['SUMLEV']==50]
census_df_2 =
浏览 0提问于2019-07-04得票数 0
回答已采纳
在postgres sql中，如何执行涉及groupby (2列)上的计数的分析，但将数据集的输出限制为groupby中仅有1列的最大x行？ | Groupby_1 | Groupby_2 |
|-----------|-----------|
| a | x |
| a | y |
| b | x |
| b | x |
| b | z | 限制前的预期输出 | Groupby_1 | Groupby_2 | Count |
|--
浏览 11提问于2020-04-04得票数 0
我有以下数据
medal number Age
Gold 5 25
Silver 4 30
Bronze 3 45
Gold 1 23
Silver 2 12
Bronze 3 16
而且，我正试着在奖章上分组，得到“数字”和“年龄”的平均值。我可以用两行来做，但是如何用单线和熊猫群在一起。
我一次可以做一次手术
df.groupby(['medal'])['A
浏览 0提问于2018-11-20得票数 0
回答已采纳
我希望有一个独特的DateTimeIndex在一个数据。因此，我想将具有相同索引的两行合并为一行。在合并过程中，我想对每一列应用一个自定义公式(如avg/mean、max、min)。
用数据表述的想法：
一种具有时序数据的Dataframe
df_orig
+----------------------------+-------+--------+
| | value | value2 |
| ts | | |
+--------------------------
浏览 4提问于2020-03-05得票数 0
我有一份公司名称、日期和市盈率的清单。我需要找到给定日期的前10年数据的平均值，以便只考虑月末日期。
例如，如果我需要查找2015年12月31日的平均值.....我需要首先找到从2005年12月31日到2015年12月31日的所有前几个月的数据。然后是他们的平均值。
所需输出：
这是我到目前为止所做的……
df = pd.read_csv('daily_valuation_ratios_cc.csv')
df['date'] = pd.to_datetime(df['date'])
df = df.set_index('date&#
浏览 5提问于2020-05-12得票数 0
回答已采纳
1回答
我有一个很大的CSV文件，我们将使用它将资产导入我们的资产管理数据库。下面是CSV数据的一个较小的示例。
Serial number,Movement type,Posting date
2LMXK1,101,1/5/15 9:00
2LMXK1,102,1/5/15 9:30
2LMXK1,201,1/5/15 10:30
2LMXK1,202,1/5/15 13:00
2LMXK1,301,1/5/15 14:00
JEMLP3,101,1/6/15 9:00
JEMLP3,102,1/7/15 10:00
JEMLP3,201,1/7/15 13:30
JEMLP3,202,1/7/15
浏览 3提问于2016-02-17得票数 0
2回答
我试着把下面的详细信息列表分组：
details = [('20130325','B'), ('20130320','A'), ('20130325','B'), ('20130320','A')]
>>for k,v in itertools.groupby(details,key=operator.itemgetter(0)):
>> print k,list(v)
这是上面的groupby语句的输出：
20130325 [('
浏览 0提问于2013-03-26得票数 3
我对使用Python非常陌生，我一直在谷歌上搜索，但似乎没有任何东西完全适合我的问题。
我有一个如下所示的数据集：
groupID sentenceID strings
A 0 'abc'
A 0 'def'
A 1 'ghi'
B 0 'abc'
B 1
浏览 1提问于2019-10-31得票数 1
我有代码： if df1.groupby(["id", "Date"])['Rank'] > df2.groupby(["id", "Date"])['Rank']:
df1 = df1[(df1['Type' == 'A'])]
df2 = df2[(df2['Type' == 'D'])]
else:
df1 = df1[(df1['Type' == 'D'])]
浏览 11提问于2021-11-03得票数 0
2回答
在使用和在groupby之后操作输出时，我注意到一些函数在作为索引返回的内容以及如何操作这两个方面有不同的行为。
假设我们有一个包含以下信息的数据：
Name Type ID
0 Book1 ebook 1
1 Book2 paper 2
2 Book3 paper 3
3 Book1 ebook 1
4 Book2 paper 2
如果我们这么做
df.groupby(["Name", "Type"]).sum()
我们得到了一个DataFrame
ID
Name Type
浏览 1提问于2020-05-15得票数 3
回答已采纳
我有一个数据框架： df = c l
A [1,2,3]
A [1,2,3,4]
B [1] 我想要获得每组c的列l的平均长度(和std)。因此，这里的输出将是:A: 3.5 B:1 最好的方法是什么？
浏览 8提问于2021-11-18得票数 0
回答已采纳
我正试图在dataframe上运行聚合。然后，我要计算每一列的不同值。我生成一个用于聚合的字典，其内容如下：
from pyspark.sql.functions import countDistinct
expr = {x: "countDistinct" for x in df.columns if x is not 'id'}
df.groupBy("id").agg(expr).show()
我得到了错误：
AnalysisException:未定义函数：“可数点”。该函数既不是已注册的临时函数，也不是在数据库“默认”中注册的永久函数
浏览 7提问于2021-07-07得票数 2
回答已采纳
刚接触Pandas (2天)，并在我的学院奖数据集上运行了以下groupby命令。
df[(df.Award == 'Best Actress') & (df.Winner == 1.0)].groupby('Name')
我收到了以下输出，通常在可视化之前，但这次不是。
<pandas.core.groupby.DataFrameGroupBy object at 0x1166b8cc0>
我期待的是所有获得奥斯卡最佳女主角的女演员的名单，按她们各自的名字分组。
为什么不是chart呢？
编辑：
数据如下所示。。。
Year
浏览 1提问于2017-04-26得票数 1
3回答
我使用的是pandas DataFrame，其中一列包含numpy数组。当尝试通过聚合对该列求和时，我得到一个错误，声明‘必须生成聚合值’。
例如：
import pandas as pd
import numpy as np
DF = pd.DataFrame([[1,np.array([10,20,30])],
[1,np.array([40,50,60])],
[2,np.array([20,30,40])],], columns=['category','arraydata'])
这是我所期
浏览 0提问于2013-06-07得票数 11
回答已采纳
1回答
我希望看到数字列的所有方法，按位置分组，使用
dfMockPos.groupby(['Position']).mean()
当我这样做时，我只得到了许多列中的3列
其他列都是整数或浮点数，它们没有NAs。
如果我做了
dfMockPos['Weight'].mean()
然后我得到正确的输出。如何使用群比显示权重？
谢谢你的帮助
浏览 4提问于2022-10-25得票数 0
回答已采纳
1回答
我有名为df_civic的dataframe和列- state ,rank, make/model, model year, thefts。我要计算AVG和STD of thefts对每个model year。
所有数据格式的年份都与：years_civic = list(pd.unique(df_civic['Model Year']))一起使用
我的循环看起来如下：
for civic_year in years_civic:
f = df_civic['Model Year'] == civic_year
civic_avg = df_ci
浏览 1提问于2021-01-06得票数 0
回答已采纳
我正在加入多个数据格式，并通过从两个diff dataframe中乘两列并将其除以属于另一个dataframe的列来计算输出。我得到分组序列表达式是空错误，而no_order不是聚合函数。密码怎么了？
df = df1.join(df2,df2["code"] == df1["code"],how = 'left')\
.join(df3, df3["id"] == df1["id"],how = 'left')\
.join(df4, df4["id"] == df1["i
浏览 1提问于2020-05-24得票数 0
如果我将csv文件读入熊猫的dataframe中，然后使用groupby (pd.groupby(column1，.))，为什么不能在新的分组对象上调用to_excel属性。
import pandas as pd
data = pd.read_csv("some file.csv")
data2 = data.groupby(['column1', 'column2'])
data2.to_excel("some file.xlsx") #spits out an error about series lacking the a
浏览 5提问于2015-12-29得票数 2
回答已采纳
我正在尝试将值从行转换为不同的列，其值来自另一列。例如-
输入数据就像-
+-----------+
| X | Y | Z |
+-----------+
| 1 | A | a |
| 2 | A | b |
| 3 | A | c |
| 1 | B | d |
| 3 | B | e |
| 2 | C | f |
+-----------+
输出数据应该是这样的-
+------------------------+
| Y | 1 | 2 | 3 |
+------------------------+
| A | a | b | c |
| B
浏览 0提问于2018-05-15得票数 3
回答已采纳
使用Python3和Anaconda，我在ipython上导入了pandas和os。我有一个非常大的csv文件。在对文件使用read_csv之后，我尝试对两列使用.groupby()，但它将数据类型从DataFrame更改为DataFrameGroupBy，并且我不能再对其运行数据框方法。 我想不出任何可以尝试的东西。我对熊猫的经验很少，通过codecademy获得的。我的代码似乎可以在那里工作。 import os
import pandas as pd
totals = pd.read_csv('filename')
band_gaps = totals.groupb
浏览 19提问于2019-06-21得票数 0
回答已采纳
1回答
我有一个分组数据框架，我用count进行聚合：
counted = df.groupby(['col1','col2']).count()
现在，算数实际上是：
col1 col2
1 A 22
B 21
C 1
2 G 22
...
是否有任何方法来计算已计算值的std/最大值，以便我得到：
col1 std
1 1.34
2 3
以此类推。
浏览 0提问于2015-12-10得票数 1
回答已采纳
我一直在使用pandas.pivot_table通过给aggfunc参数提供一个函数列表(例如[np.mean, np.std])来聚合我的数据帧。现在，我想包装这些函数，以便它们只对所提供列的前半部分进行操作，如下所示：
new_df = pd.pivot_table(df, values=feature_cols, index=id_cols, aggfunc=[lambda x: np.mean(x[:len(x)//2]), lambda y: np.std(y[:len(y)//2])])
它会显示错误：
pandas.core.indexes.base.InvalidIndexEr
浏览 111提问于2019-03-28得票数 1
我必须在pyspark数据帧上进行2级分组。我的试探性的：
grouped_df=df.groupby(["A","B","C"])
grouped_df.groupby(["C"]).count()
但我得到以下错误：
'GroupedData' object has no attribute 'groupby'
我想我应该首先将分组的对象转换为pySpark DF。但我不能这么做。
有什么建议吗？
浏览 2提问于2017-10-18得票数 7
回答已采纳
我有一个问题。我有这个数据框架： df = pd.DataFrame({
"id_person": ["10", "10", "11", "11", "11", "10"],
"date": ["2021-08-30", "2021-08-30", "2021-08-30","2021-08-30","2021-08-31","2021-08-31",],
浏览 23提问于2021-10-20得票数 0
1回答
有两列，它们都是分类的。我想按第一列分组，让age_group和我的另一列Engagement_category按每个元素创建新列。
我在第一列age_group上做了groupby。
| age_group | Engagement_category |
|--------------|---------------------|
| 21-26 | Not Engaged |
| 27-32 | Disengaged |
| 33-38 | Engaged |
| 39-44
浏览 2提问于2019-10-24得票数 0
我有一个大型数据集，其中包含跨不同月份的多个列。我使用了两个标识符，分别是许可证和位置。这是我的数据的一个示例：https://i.stack.imgur.com/aU8JU.png 我正在迁移我的数据，我的一个工作表需要除"Type“列之外的所有列。但是，当我迁移时，我会有重复的行，因为有重复的许可证和位置。我想每月总结一下这些重复的许可证和位置。这是我想要的输出： https://i.stack.imgur.com/WwIz2.png 到目前为止我的迁移代码是： def migrate(df, template):
inventory = df.copy()
in
浏览 13提问于2021-08-25得票数 0
我正试图通过分组产品(P5PN)来构建一个SNS图。但是它抛出了一个错误"'SeriesGroupBy‘对象没有属性’error‘“
浏览 14提问于2022-03-30得票数 1
pandas有没有一种内置的方法，可以在同一列df["returns"]上应用两个不同的聚合函数f1, f2，而不必多次调用agg()？
示例数据帧：
import pandas as pd
import datetime as dt
import numpy as np
pd.np.random.seed(0)
df = pd.DataFrame({
"date" : [dt.date(2012, x, 1) for x in range(1, 11)],
"returns" : 0.05 *
浏览 0提问于2012-09-26得票数 190
回答已采纳
我正在努力解决一个问题，并希望得到一些帮助。
我有一个DF，在与另一个DF合并之前，我想要对其进行分组，唯一的问题是，在groupby之后，由于它是一个'DataFrameGroupBy‘对象，我无法合并它。
这些步骤如下：
Groupby DF将信息合并到2个id中：
dftest = cov_DF.groupby(['lstID','covID'])
它的结果是DF从121行到101行。然后将它与不同的df合并到'lstID‘上。
我在这里看到的答案都与用户的求和/数/最大有关，这不适用于我。
为了更好地解释我的情况，我迭代了XML，并附加了
浏览 8提问于2022-07-20得票数 0
我是Python熊猫的新手。
我想做一个特定的聚合/分组/交叉选项卡，但我对术语知之甚少，甚至不知道如何查找。
但这是我想要的。
假设我有一张这样的桌子
Bob, Oranges, 5
Bob, Apples, 10
Bob, Bananas, 12
Tim, Oranges, 3
Tim, Apples, 20
Tim, Bananas, 5
我想通过水果来找出每种水果的总数。但是生成另一个字段，该字段包含一个字符串，该字符串的详细信息按其值在另一列中排序。
所以我想要一个类似这样的输出：
Oranges, 8, "Bob(5), Tim(3)"
Apples,
浏览 0提问于2020-12-19得票数 0
回答已采纳
我一直在研究aSspark应用程序，并试图转换一个数据格式，如表1所示，我希望将列(_2)的每个元素除以按另一列(_1)的元素分组的元素之和(同一列)。表2是预期结果。
表1
+---+---+
| _1| _2|
+---+---+
| 0| 13|
| 0| 7|
| 0| 3|
| 0| 1|
| 0| 1|
| 1| 4|
| 1| 8|
| 1| 18|
| 1| 4|
+---+---+
表2
+---+----+
| _1| _2 |
+---+----+
| 0|13/x|
| 0| 7/x|
| 0| 3/x|
| 0| 1/x|
|
浏览 6提问于2016-10-13得票数 8
回答已采纳
1回答
frame = frame2.groupby(['name1', 'name2', 'date', 'agID','figi', 'exch', 'figi', 'marketSector','name','fx_currency', 'id_type', 'id', 'currency']).agg({'call_agreed_amount' : 'sum'
浏览 0提问于2018-06-19得票数 0
回答已采纳
2回答
试图在列表中获取每月每一天的销售计数，但目前groupBy子句上出现了一个错误。
正确输出：
例如，12月份有31天，这个输出显示了每天有多少销售额。如果没有销售，说明是0。
[0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 3, 4, 0, 0, 0, 0, 0, 0, 1, 0, 2, 8, 1, 0, 0, 0, 1, 0, 0, 0, 0]
销售表：
id
合计
created_at
updated_at
$year = 2020;
$month = 12;
$daysCount = Carbon::createFromDate($year,
浏览 2提问于2021-01-14得票数 0
回答已采纳
1回答
我有一个数据集
Name System
A AZ
A NaN
B AZ
B NaN
B NaN
C AY
C AY
D AZ
E AY
E AY
E NaN
F AZ
F AZ
F NaN
使用此数据集，我需要根据特定“名称”重复"System“的次数对数据集进行聚类。
在上面的例子中，名称A、B和D有一个" AZ“”子集“，而C、E有两个"AY”子集，而F有两个AZ，因此它是一个不同的集群。
输出
浏览 4提问于2022-02-03得票数 0
回答已采纳
4回答
我需要添加不同列的行值，并将其存储在相同的(或新的)数据帧中。例如:数据帧看起来像这样：
id col1 col2 col3 col4 ... col50
1 1 12 3 44 0
1 7 0 7 2 10
1 2 3 0 4 9
3 9 0 1 0 0
3 1 1 11 1 0
期望值应该是：
id col1 col2 col3 c
浏览 0提问于2018-10-20得票数 1
我是Python的新手，所以，我认为这只是一个基本的，但我找不到。我有一个由100个问题组成的数据框架。
|Date|QID|Time_1|Answer_1|Time_2|Answer_2|Time_3|Answer_3|
|1/12|001|20 | A | 30 | A | 34 | D |
|1/12|001|22 | A | 10 | A | 12 | D |
|1/12|002|27 | B | 40 | A | 45 | D |
|1/12|002|2
浏览 3提问于2020-01-16得票数 1
1回答
我认为这是一个很简单的问题，如果有人能帮我解决问题，我将非常感激。
下面是我在堆栈上找到的解决方案--不幸的是，这不是我想要的：
p2all.loc[p2all.groupby('emotion').age.idxmin()]
下面是我的代码，它几乎可以正常工作，但并不完全是这样的：
p2all.groupby(['emotion']).emotion.agg(['count'])
我的查询给出了以下结果：
我现在所要做的只是显示一个最小的值，这个值是658，没有其他的，但是经过2个小时的google和堆栈之后，我要么完全错过了它，要么
浏览 3提问于2022-03-30得票数 1
回答已采纳
您好，我有以下DataFrame： # Import pandas library
import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
# initialize list of lists
data = [['tom', 10,1], ['nick', 15,0], ['tom', 14,1], ['jason', 15,0], ['nick', 18,1], ['jaso
浏览 7提问于2020-06-22得票数 0
回答已采纳
我有这个数据-
Name Sum State
加10阿格拉
20阿格拉
B 20 Patna Bihar
B 10 Patna Bihar
B 20 Patna Bihar
C 50坎普尔上
D 10新德里
加10阿格拉
B 20 Patna Bihar
C10坎普尔上
我想转换成一个有条件的数据帧
Col1-只包含每个名称一次
Col2-与col1有关的所有和的总数
col3- col1名称所在区域的第一次出现
col1 4-第一次出现来自col1的名称状态
Name Sum State
40阿格拉
B 70 Patna Bihar
C 60坎普尔上
D 10新德里
==What我已经
浏览 3提问于2020-05-03得票数 0
回答已采纳
我有一个Pandas数据框，其中我希望对具有相同值的所有行进行分组，并按索引列对它们进行分组。 示例： data = {'Number':[5, 10, 15, 20, 25, 28],
'Letter':['a','a','b','b','c','c'],
'Type':['X','X','Y','Y','Z','Z']}
浏览 11提问于2020-03-26得票数 0
回答已采纳
1回答
PySpark -如何转接数据
、、、、
我想转接一张数据。这只是我原始数据的一个小片段-
from pyspark.sql.functions import to_timestamp, date_format
valuesCol = [('22','ABC Ltd','U.K.','class 1',102),('22','ABC Ltd','U.K.','class 2',73),('22','ABC Ltd','U.K.','class 3
浏览 0提问于2018-11-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
