删除Pandas中的重复行(可能按组)

在Pandas中删除重复行（可能按组）可以使用drop_duplicates()函数。该函数能够识别并删除DataFrame中的重复行，可选择根据某列或多列的数值来判断是否为重复行。

# 导入Pandas库
import pandas as pd

# 创建DataFrame示例数据
data = {'列1': [1, 1, 2, 2, 3],
        '列2': ['A', 'A', 'B', 'B', 'C']}
df = pd.DataFrame(data)

# 打印原始数据
print("原始数据：")
print(df)

# 删除重复行
df.drop_duplicates(inplace=True)

# 打印删除重复行后的数据
print("\n删除重复行后的数据：")
print(df)

执行上述代码后，将会输出如下结果：

原始数据：
   列1 列2
0   1  A
1   1  A
2   2  B
3   2  B
4   3  C

删除重复行后的数据：
   列1 列2
0   1  A
2   2  B
4   3  C

此处使用了示例数据，其中包含两列（"列1"和"列2"）的数据。drop_duplicates()函数的inplace参数设置为True，表示在原始DataFrame上进行修改，即删除重复行后直接覆盖原始数据。如果inplace参数设置为False，则会返回一个删除重复行后的新DataFrame。

在应用场景方面，删除重复行可用于数据预处理、数据清洗、数据分析等任务中，以保证数据的准确性和一致性。对于大规模数据集，删除重复行能够提高数据处理和计算效率。

推荐的腾讯云相关产品是TDSQL（腾讯云分布式关系型数据库）和COS（腾讯云对象存储），这两个产品分别适用于存储和处理数据的需求。

• TDSQL产品介绍链接
• COS产品介绍链接