pandas按多列分组，并根据多个条件删除行

基础概念

Pandas 是一个强大的 Python 数据分析库，提供了大量的数据结构和数据分析工具。groupby 方法是 Pandas 中用于按一个或多个列对数据进行分组的常用方法。通过分组，可以对每个组应用聚合函数（如 sum、mean 等），也可以进行条件筛选。

相关优势

• 灵活性：可以按多个列进行分组，适应复杂的数据结构。
• 高效性：Pandas 底层使用 NumPy 数组，处理速度较快。
• 易用性：提供了丰富的内置函数和方法，便于数据操作和分析。

类型

• 单列分组：按单个列进行分组。
• 多列分组：按多个列进行分组。

应用场景

• 数据聚合：对每个组进行统计分析，如计算平均值、总和等。
• 条件筛选：根据分组后的数据进行条件筛选，删除不符合条件的行。

示例代码

假设我们有一个 DataFrame df，包含以下列：A, B, C, D。我们想按列 A 和 B 进行分组，并删除满足以下条件的行：组内 C 的平均值大于 10，且 D 的最大值小于 5。

import pandas as pd

# 创建示例 DataFrame
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': [1, 2, 3, 4, 5, 6, 7, 8],
    'D': [10, 20, 30, 40, 50, 60, 70, 80]
}
df = pd.DataFrame(data)

# 按列 A 和 B 分组，并计算每组的 C 的平均值和 D 的最大值
grouped = df.groupby(['A', 'B']).agg({'C': 'mean', 'D': 'max'})

# 筛选满足条件的组
to_drop = grouped[(grouped['C'] > 10) & (grouped['D'] < 50)].index

# 删除满足条件的行
df = df[~df.set_index(['A', 'B']).index.isin(to_drop)]

print(df)

解释

1. 创建示例 DataFrame：首先创建一个包含列 A, B, C, D 的 DataFrame。
2. 分组并聚合：使用 groupby 方法按列 A 和 B 进行分组，并计算每组的 C 的平均值和 D 的最大值。
3. 筛选条件：根据条件 C 的平均值大于 10 且 D 的最大值小于 50，筛选出需要删除的组。
4. 删除行：使用 isin 方法和布尔索引，删除满足条件的行。

参考链接

• Pandas 官方文档 - groupby
• Pandas 官方文档 - agg

通过上述步骤，你可以按多列分组并根据多个条件删除行。希望这个示例对你有所帮助！