Pandas -在多个条件下使用groupby和filter
Pandas是一个基于Python的数据分析工具库，提供了丰富的数据结构和数据处理功能。在Pandas中，可以使用groupby和filter方法来在多个条件下进行数据分组和筛选。
groupby方法是Pandas中用于分组操作的重要函数，它可以根据指定的列或多个列对数据进行分组。通过groupby方法，可以将数据按照某个或多个条件进行分组，并对每个分组进行相应的操作。例如，可以对某个列的值进行分组，然后计算每个分组的平均值、总和等。
filter方法是Pandas中用于筛选数据的函数，它可以根据指定的条件对数据进行筛选。通过filter方法，可以选择满足特定条件的数据行或列。例如，可以根据某个列的值进行筛选，选择大于某个阈值的数据行。
使用groupby和filter方法可以实现在多个条件下进行数据分组和筛选。首先，可以使用groupby方法按照某个或多个条件进行数据分组，然后再使用filter方法对每个分组进行筛选。例如，可以按照某个列的值进行分组，然后对每个分组进行筛选，选择满足特定条件的数据行。
在腾讯云的产品中，与Pandas相关的产品是TDSQL-C，它是一种高性能、高可用的云数据库产品，支持MySQL和PostgreSQL。TDSQL-C提供了丰富的数据处理和分析功能，可以满足大规模数据处理的需求。您可以通过以下链接了解更多关于TDSQL-C的信息：
总结：Pandas是一个基于Python的数据分析工具库，可以使用groupby和filter方法在多个条件下进行数据分组和筛选。在腾讯云的产品中，与Pandas相关的产品是TDSQL-C，它是一种高性能、高可用的云数据库产品。
相关·内容
1回答
我有一个包含几个组的pandas数据框，我想排除那些不满足某些条件(在特定列中)的组。例如，删除这里的组B，因为它们在列"crit1“中有一个非数字的值。
我可以根据条件df.loc[:, (df >< 0).any(axis=0)]删除特定的列，但不会删除整个组。
不知何故，我不能进行下一步，并将其应用于整个团队。
name crit1 crit2
A 0.3 4
A 0.7 6
B inf 4
B 0.4 3
因此，过滤后的结果(只允许浮点数)应该是：
A 0.3
浏览 5提问于2016-08-18得票数 6
回答已采纳
pandas/python新手入门。如果groupby ('year','month,'Unit','Name')的总和小于1000，我会尝试过滤csv中的所有数据。理想情况下，我希望返回满足该条件的所有数据。
我的数据看起来像
[Unit Operation Date Item_Description Category Name year quarter month][1]
到目前为止，我一直在使用pd.pivot_table函数
df2 = pd.pivot_table(df,index=['year', 'q
浏览 4提问于2020-03-21得票数 0
1回答
我有一个带有分类栏和其他内容的数据文件：
>>> np.random.seed(0xFEE7)
>>> df = pd.DataFrame({'A': np.random.randint(10, size=10),
'B': np.random.randint(10, size=10),
'C': np.random.choice(['A', 'B'], size=10)})
>&
浏览 3提问于2021-04-21得票数 2
回答已采纳
这是我第一次问问题。 我正在处理一个大型的CSV数据集(它包含超过1500万行，大小超过1.5 GB )。 我正在将摘录加载到运行在Jupyter Notebook中的Pandas dataframes中，以基于数据集推导出一个算法。我根据MAC地址对数据进行分组，这导致了1+百万组。 我的算法开发的核心是运行这个操作： pandas.core.groupby.DataFrameGroupBy.filter 根据数据集的不同，运行此操作需要3到5分钟。为了开发这个算法，我必须执行这个操作数百次，甚至数千次。 此操作似乎是受CPU限制的，并且仅使用我的机器上可用的几个内核中的一个。我花了几个小
浏览 22提问于2019-02-10得票数 6
回答已采纳
使用Pandas，我想要"groupby“并计算我的Dataframe的每一组的平均值。我这样做：
dict = {
"group": ["A", "B", "C", "A", "A", "B", "B", "C", "A"],
"value": [5, 6, 8, 7, 3, 9, 4, 6, 5]
}
import pandas as pd
df = pd.DataFrame(dict)
pr
浏览 4提问于2021-05-07得票数 2
回答已采纳
我有这样的数据
import pandas as pd
data = {'Index Title' : ["Company1", "Company1", "Company2", "Company3"],
'BusinessType' : ['Type 1', 'Type 2', 'Type 1', 'Type 2'],
'ID1' : ['123', '456&#
浏览 5提问于2020-05-31得票数 2
回答已采纳
2回答
在下面的DataFrame中，我需要通过从第三列中选择具有最高数值的对来筛选给定两个不同列的一对I的行。
import pandas as pd
data = [
['11x', '12x', 5.5, 'other_1'],
['11x', '12x', 3.5, 'other_2'],
['10x', '9x', 1.5, 'other_1'],
['10x', '9x', 3.5
浏览 2提问于2019-05-21得票数 3
回答已采纳
2回答
我试图只选择同时具有两个值的行。
例如，我试图只选择一个在Ear列中同时具有的的病人。
在这种情况下，只有Lisa。
下面是我试图获得正确数据的代码。
import pandas as pd
data = {'name': ['Lisa', 'Lisa', 'Mac', 'Intosh'],
'ear': ['Right','Left','Right','Left']
}
df = pd.DataFrame(data,
浏览 0提问于2019-05-15得票数 3
回答已采纳
2回答
我想用熊猫来创造新的数据。该表具有值名称和该值出现的行数。
在SQL中，我可以像这样创建我想要的表
SELECT start_station_name, COUNT(*) as total_number
FROM table
GROUP BY start_station_name;
但是当我使用Pandas和赋值函数时，我尝试了这样的方法。
casual_station_name = pd.DataFrame().assign(station_name = casual_filter['start_station_name'], total_ride = casual_filt
浏览 3提问于2022-11-13得票数 0
回答已采纳
让数据框架如下所示：
import pandas as pd
df = pd.DataFrame({"name":["A", "A", "B" ,"B", "C", "C"],
"nickname":["X","Y","X","Z","Y", "Y"]}
我如何分组df和丢弃那些不包含至少一个'X‘的组(C)？
谢谢
浏览 2提问于2016-06-27得票数 6
回答已采纳
1回答
我最近开始使用python和现在的pandas来读取excel文件。我有点纠结于一个问题，我没有找到任何类似的例子。 假设我有来自不同机器的不同分钟的数据。发生的情况是，一台机器有多个信息。例如，在下图中，如果考虑机器13.5，则在5 5分钟内有5个关于成本和温度的信息。 我需要成本、温度和分钟信息的平均值，也就是说，每个machine.Considering只有一行。例如，我只需要一个输出来表示成本，即34，4(34+35+35+35+33/机器13.5)。下面是我的代码。 import pandas
df = pandas.read_excel(
浏览 14提问于2021-11-03得票数 0
原始数据文件：
from pandas import Series, DataFrame
import pandas as pd
%pylab inline
df=pd.read_csv('NYC_Restaurants.csv', dtype=unicode)
我使用掩码隔离所需的行(列中只发生一次的行)。
mask = df['DBA'].value_counts()[df['DBA'].value_counts() == 1]
产生预期的结果。
但是，使用df[mask]会产生一个奇怪的数据格式，第一列多次重复；相反，只返回只包
浏览 4提问于2016-07-24得票数 0
回答已采纳
1回答
运行此程序时：
import pandas as pd
df = pd.DataFrame(dict(x=[1, 1, 2, 2, 3, 3], group=["a", "a", "a", "a", "b", "b"]))
df.groupby(["group"]).agg({
"x": [pd.Series.mode, "sum"]
})
返回此错误：
ValueError Tr
浏览 9提问于2022-08-31得票数 0
回答已采纳
1回答
对于下面的dataframe (df)，我正在执行foll操作：
import pandas as pd
def fun(group):
if(group.A.min() > 0.0):
# discard the group
return
else:
return group
df.groupby('cokey').apply(fun)
cokey A B
11168155 0 18
11168155 18 56
11168155 56 96
11168155
浏览 1提问于2015-04-06得票数 1
回答已采纳
2回答
在这个示例中，dataframe：
import pandas as pd
import numpy as np
i = ['dog', 'cat', 'elephant'] * 3
df = pd.DataFrame(np.random.randn(9, 4), index=i,
columns=list('ABCD')).sort_index()
什么是最快的方法，以获得每只动物的第二排作为数据？
浏览 0提问于2019-02-08得票数 2
回答已采纳
我刚刚开始使用python进行数据可视化。我搜索了google & stackoverflow，但找不到我的问题的答案。希望你能帮上忙：
我有一个pandas df，每个人有几个数据行(id)，还有另外两个列，名为StimCat (3级: A，B，C) & rt (连续值，反应时间)，例如：
id StimCat rt
0 1 A 596
1 1 B 657
2 1 C 200
3 1 C 354
4 1 A 164
5 2 A 164
6 2 B 343
7
浏览 1提问于2018-01-11得票数 1
回答已采纳
我有一个pandas多索引DataFrame，我想计算它在特定索引级别上的分位数。最好用一个例子来解释。
首先，让我们创建DataFrame：
import itertools
import pandas as pd
import numpy as np
item = ('A', 'B')
item_type = (0, 1, 2)
location = range(5)
idx = pd.MultiIndex.from_tuples(list(itertools.product(item, item_type, location)),names=('
浏览 5提问于2016-04-07得票数 5
我有这个Pandas数据帧： df = pd.DataFrame({'site': ['a', 'a', 'a', 'b', 'b', 'b', 'a', 'a', 'a'], 'day': [1, 1, 1, 1, 1, 1, 2, 2, 2],
'hour': [1, 2, 3, 1, 2, 3, 1, 2, 3], 'clicks': [100
浏览 9提问于2020-07-14得票数 1
回答已采纳
2回答
我有一张数据文件，看起来像：
import pandas as pd
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',\
'foo', 'bar', 'foo', 'foo'],'C' :[1,1,2,2,3,4,5,6],'D',[11,11,12,12,13,14,15,16]})
我想过滤这个数据，只保留A
浏览 3提问于2017-09-30得票数 1
回答已采纳
我想将街道name + cross名称一起出现的次数从最大到最小排序。
dataset=df.groupby(['Street Name', 'Cross Street']).size()
如何在Pandas数据帧中对此列表进行排序？
浏览 0提问于2016-10-17得票数 0
回答已采纳
2回答
我有一个看起来像这样的Pandas Dataframe
|Ind| C1 | C2 |....| Cn |
|-----------------------|
| 1 |val1| AE |....|time|
|-----------------------|
| 2 |val2| FB |....|time|
|-----------------------|
|...|....| .. |....| ...|
|-----------------------|
| n |valn| QK |....|time|
我必须按列C2对其进行分组，对每个组进行一些过滤，并将结果存储在每个组的单独
浏览 0提问于2019-01-16得票数 2
2回答
我是Python和Pandas的新手。我有以下DataFrame：
import pandas as pd
df = pd.DataFrame( {'a':['A','A','B','B','B','C','C','C'], 'b':[1,3,1,2,3,1,3,3]})
a b
0 A 1
1 A 3
2 B 1
3 B 2
4 B 3
5 C 1
6 C 3
7
浏览 2提问于2019-11-19得票数 0
回答已采纳
在pandas中使用groupby和并行应用过滤器的最有效方法是什么？
基本上，我在SQL中请求的等价物是
select *
...
group by col_name
having condition
我认为有许多用例，从条件均值，总和，条件概率，等等，这将使这样的命令非常强大。
我需要一个非常好的性能，所以理想情况下，这样的命令不会是在python中完成的几个分层操作的结果。
浏览 0提问于2014-03-01得票数 60
回答已采纳
4回答
是否可以从pandas中的groupby对象中删除组(按组名)？即在执行groupby后，根据结果组的名称删除结果组。
浏览 3提问于2013-06-04得票数 21
回答已采纳
5回答
我正在使用具有以下结构的DataFrame学习Python/Pandas：
import pandas as pd
df = pd.DataFrame({"cus_id" : ["2370", "2370", "5100", "5100", "8450", "8450", "1630", "1630", "1630"],
"cus_group" : ["A", &
浏览 3提问于2019-09-20得票数 4
回答已采纳
2回答
我用这个简单的DataFrame玩了一会儿。
A B
0 123 abc
1 123 abc
2 123 def
3 456 def
4 456 def
我想检查B列的值对于A栏中的每个不同值是否总是相同的，例如A栏中的'123‘，必须始终与B栏中的'abc’完全对应。
以下是我到目前为止尝试过的：
df2 = df[['A','B']].drop_duplicates()
df[(df['A'] == df2['A']) & (df['B'] == df2
浏览 2提问于2019-03-22得票数 0
下面是一个使用altair的简单图： import altair as alt
import pandas as pd
df = pd.DataFrame([['a',2],['a',3],['b',4],['b',5],['b',4],['c',8]], columns=['Letters', 'Numbers']) 我绘制了每个字母的count()：a:2、b:3和c:1。 chart = alt.Chart(df).mark_bar().encode(
浏览 21提问于2019-02-06得票数 2
回答已采纳
嗨，Stack溢出的聪明人，我正在寻找一种快速的方法来标记16万行Pandas中的所有对行，它们是对方的负对应。
例如Dataframe：
import pandas as pd
df = pd.DataFrame({'A': ['a','b','c','b','c','d','b'],
'B': ['x','y','x','y','x
浏览 1提问于2020-08-12得票数 1
我正在尝试生成pandas数据透视表，它计算一系列数据列中的值的平均值，这些值由固定权重列中的值加权，我正在努力寻找一种优雅而有效的方法来实现这一点。
df = pd.DataFrame([['A',10,1],['A',20,0],['B',10,1],['B',0,0]],columns=['Group','wt','val'])
Group wt val
0 A 10 1
1 A 20 0
2 B 10 1
3 B 0 0
我
浏览 2提问于2020-02-21得票数 1
1回答
在分组Pandas DataFrame时，什么时候应该使用transform，什么时候应该使用aggregate？它们在实践中的应用有何不同?你认为哪一个更重要？
浏览 0提问于2016-12-04得票数 38
我在pandas中有以下数据帧 code tank nozzle_1 nozzle_2 nozzle_var nozzle_sale
123 1 1 1 10 10
123 1 2 2 12 10
123 2 1 1 10 10
123 2 2 2 12
浏览 11提问于2019-09-20得票数 0
回答已采纳
3回答
我有一个像这样创建的数据文件：
import pandas as pd
df = pd.DataFrame({
'ind1': list('AAABBBCCC'),
'ind2': list(map(int, list('123123123'))),
'val1': [0, 0, 0, -1, -4, 5, 10, 11, 4],
'val2': [0.1, 0.2, -0.2, 0.1, 0.2, 0.2, -0.1, 2, 0.1]
})
df = df.se
浏览 0提问于2019-07-16得票数 1
回答已采纳
我正在尝试用python编写一个使用pandas的算法，如果连续3天的id值小于70，我想打印id。 在给定表中，我们看到最近三个日期(18/2/2019、15/2/2020和16/2/2020)的A值分别为76、89和77，因此不应打印，但B(28/9/2017、27/2/2018和28/2/2018)为23、24和25，小于70，因此应打印。 id Date Value
0 A 15/2/2019 70
1 A 16/2/2019 72
2 A 17/2/2019 74
3 A 18/2/2019 76
4 A
浏览 33提问于2020-07-22得票数 0
我有一个Pandas DataFrame，它包含了大量的类别，每个类别都有特性，而且每个类别都有自己的子特性，这些子特性被分组成对。一个简单的版本如下所示：
0 1 ...
categories features subfeatures
cat1 feature1 subfeature1 -0.224487 -0.227524
subfeature2 -0.591399 -0.799228
浏览 2提问于2014-06-20得票数 1
我试图得到每个A的B的最大值。C和D都在那里，因为我的数据集不仅仅是我想要排序和得到最大值的2列。
import pandas
import numpy
df = pandas.DataFrame({'A': [10, 10, 20, 20, 30, 20, 10, 20],
'B': [1001, 1002, 2002, 2003, 3001, 2003, 1002, 2003],
'C': numpy.random.randn(8),
'D': nump
浏览 1提问于2015-02-16得票数 1
回答已采纳
3回答
当满足条件时，我想从我的pandas数据框中删除组。例如，这个数据集，每当客户对question a回答i时，我需要删除该客户的整个记录。
import pandas as pd
df = pd.DataFrame({'customer': [1, 1, 2], 'question': ['a', 'b', 'a'], 'answer': ['i', 'ii', 'iii']})
df
customer question answ
浏览 2提问于2018-01-19得票数 1
回答已采纳
5回答
我有一个脚本，它生成一个具有不同数量的值列的pandas数据框。例如，此df可能是 import pandas as pd
df = pd.DataFrame({
'group': ['A', 'A', 'A', 'B', 'B'],
'group_color' : ['green', 'green', 'green', 'blue', 'blue'],
'val1': [5, 2, 3
浏览 67提问于2019-09-18得票数 22
回答已采纳
3回答
过滤异常和复杂的数据集
、、、
我有一个关于如何从大型df中过滤和选择异常数据集的问题。例如，我有一个df： import pandas as pd
import numpy as np
data = {"code": ['a', 'a', 'a', 'b', 'b', 'c', 'c', 'c', 'd', 'd'],
"number": [7, 5, 2, 4, 6, 9, 6, 2, 8, 2]}
df = pd.DataF
浏览 27提问于2020-06-22得票数 5
回答已采纳
2回答
假设我们有以下数据：
group id performance
0 exp A 1
1 exp B 2
2 exp B 3
3 exp C 4
4 control A 5
5 control A 6
6 exp D 7
7 control D 8
哪些Python代码只用于提取行，以便在中至少存在一个'id‘-- 'exp’和'control'？
以下是所需的输出：
group id performance
0
浏览 1提问于2019-11-21得票数 2
回答已采纳
我通过使用sum、max和min等函数将Pandas GroupBy和Groupby.agg用于我的数值列，但我注意到以前强加给我的列的数据类型(如np.int8、np.int16、np.int32)在GroupBy聚合后不会保留，实际上每一列都被覆盖为int64。Pandas版本1.1.5
我目前的解决方案是在完成groupby聚合后重新转换，这是一个已知的问题和/或有更好的解决方案吗？
浏览 19提问于2021-03-16得票数 1
回答已采纳
2回答
d以所有者或经理的身份保存关于人们计划工作时间和实际工作时间的数据(小时)。请注意，一个人可以--但不必--同时成为所有者和经理。
我需要重新排列d，以便在一个列中给出所有的名称，在另一个列中给出每个角色的计划和实际工作时间。
下面的代码实现了这一点，但并不是很漂亮。
我如何利用一些本地Pandas特性来获得相同的结果，但只需更少的输入？
import pandas as pd
d = {
'owner': ['mike', 'john', 'jake', 'lucy', 'mary',
浏览 0提问于2019-03-05得票数 1
回答已采纳
如果其中一列Letter中的值是相同的，我想使用shift()从前面的索引中拉入数据。
import pandas as pd
df = pd.DataFrame(data=[['A', 'one'],
['A', 'two'],
['B', 'three'],
['B', 'four'],
浏览 5提问于2016-06-22得票数 5
回答已采纳
我搜索了google和stackoverflow，以便根据每组条件和顺序找到正确的过滤方法。找不到！我在pandas中有一个跟踪数据集，我想过滤那些发起注册并成功登录的用户。数据如下： user_id event time
1 signupinitiated 2019-07-14 08:36:38.004
1 other event 2019-07-14 08:37:38.004
2 signup
浏览 45提问于2019-08-06得票数 0
1回答
我的数据集如下所示。我正在尝试对我的pandas数据进行子集，这样只有所有3个人的响应才会被选中。例如，在下面的数据框架中，所有三个人的回答都是“我喜欢吃”和“祝你一天愉快”。因此，只有这些应该被细分。我不知道如何在Pandas dataframe中实现这一点。
注意:我是Python新手，请用您的代码提供说明。
DataFrame示例
import pandas as pd
data = {'Person':['1', '1','1','2','2','2','2'
浏览 0提问于2019-05-04得票数 1
回答已采纳
1回答
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
data = pd.read_csv('list.csv')
print data
我正在尝试从这个表中获取数据并计算匹配项的数量
示例
我还在尝试优化大型数据帧的代码，只过滤具有多个客户端的票证：
double_tickets = data.TICKET.value_counts() > 1
notas_slice = double_tickets[double_tickets == True]
print notas_slic
浏览 0提问于2017-03-05得票数 0
我试图将B、和C列的平均值按列A分组。我不知道如何使用groupby函数来完成这个任务：
import pandas as pd
pd.DataFrame({'B' : df.groupby(['A'])['B'].mean()}).reset_index()
因为我只能知道如何找到平均值，并将单个列按另一列分组。如果这是我现在的数据
A B C
0 70 12
0 20 14
0 46 11
1 25 9
2 86 2
2 14 6
这是我的预期结果。将A的所有类似值分组在一起，B和C中的相应值在各自的列中平均：
浏览 2提问于2017-08-11得票数 0
为了说明我的问题，我有一个示例dataframe。
df = pd.DataFrame({'key1': [0, 0, 0, 0, 1, 1, 1, 1, 1, 1],
'key2': ['a', 'b', 'b', 'c', 'a', 'a', 'a', 'b', 'b', 'c'],
'key3': [
浏览 3提问于2016-04-17得票数 3
回答已采纳
我有一个MultiIndex Pandas数据帧，看起来像这样：
col1 col2 col3
a e m
b f n
g o
c h p
i q
d j r
k s
l t
MultiIndex由col1和col2组成。
如何在col2中选择恰好包含两个索引标签的col1的“行”
也就是说，我想：
col1 col2 col3
b f n
浏览 2提问于2018-02-16得票数 1
3回答
我有一个很大的餐馆检查数据集。一次检查将触发多个代码违规。我想找出是否有任何检查不包含特定的代码违规(作为有害程序的证据)。我把数据放在Pandas数据框里。
我尝试根据是否包括有害生物的违规行为来分离数据帧。我试着按违规代码分组。似乎找不到答案。
将有害程序违规设置为"3A“时，数据可能如下所示：
import pandas as pd
df = pd.DataFrame(data = {
'visit' : ['1', '1', '1', '2', '2', '3
浏览 32提问于2019-07-23得票数 1
回答已采纳
1回答
我有以下数据
import pandas as pd
import numpy as np
df = pd.DataFrame({
"Country": ["A", "A", "A", "A", "B", "B", "B", "B"],
"Year": [2020, 2020, 2021, 2021, 2020, 2020, 2021, 2021],
"Category": [1, 2
浏览 2提问于2022-01-21得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
