Python DataFrame同时过滤和排序

基础概念

DataFrame 是 Python 中 pandas 库中的一个核心数据结构，用于处理和分析表格数据。它类似于 Excel 表格或 SQL 表，但功能更加强大和灵活。

类型

DataFrame 可以包含多种类型的数据列，如整数、浮点数、字符串、日期时间等。

应用场景

数据分析：对数据进行清洗、转换和聚合操作。
数据可视化：结合 matplotlib 或 seaborn 等库进行数据可视化。
机器学习：作为特征数据集，用于训练机器学习模型。
数据报告：生成各种统计报告和仪表盘。

过滤和排序示例

假设我们有一个包含学生信息的 DataFrame，如下所示：

import pandas as pd

data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],
    'Age': [20, 22, 21, 23, 24],
    'Score': [85, 90, 78, 92, 88]
}

df = pd.DataFrame(data)

过滤

我们可以根据某些条件过滤 DataFrame。例如，筛选出年龄大于 21 岁的学生：

filtered_df = df[df['Age'] > 21]
print(filtered_df)

排序

我们可以根据某一列对 DataFrame 进行排序。例如，按成绩从高到低排序：

sorted_df = df.sort_values(by='Score', ascending=False)
print(sorted_df)

同时过滤和排序

我们可以结合过滤和排序操作。例如，筛选出年龄大于 21 岁的学生，并按成绩从高到低排序：

result_df = df[(df['Age'] > 21)].sort_values(by='Score', ascending=False)
print(result_df)

可能遇到的问题及解决方法

问题：过滤或排序时出现错误

原因：可能是数据类型不匹配或条件设置错误。

解决方法：

检查数据类型是否正确，例如确保年龄列是整数类型。
确保过滤条件正确无误。

# 确保年龄列是整数类型
df['Age'] = df['Age'].astype(int)

# 正确的过滤条件
filtered_and_sorted_df = df[(df['Age'] > 21)].sort_values(by='Score', ascending=False)
print(filtered_and_sorted_df)

问题：排序时出现 NaN 值

原因：数据中可能包含缺失值（NaN）。

解决方法：

在排序前处理缺失值，例如填充或删除。

# 填充缺失值
df['Score'].fillna(0, inplace=True)

# 或者删除包含 NaN 的行
df.dropna(subset=['Score'], inplace=True)

# 然后进行过滤和排序
filtered_and_sorted_df = df[(df['Age'] > 21)].sort_values(by='Score', ascending=False)
print(filtered_and_sorted_df)