清理csv文件的正确方法

import pandas as pd

# 读取CSV文件
df = pd.read_csv('input.csv')

# 去除重复值
df = df.drop_duplicates()

# 保存清理后的文件
df.to_csv('output.csv', index=False)

# 检查空值
print(df.isnull().sum())

# 填充空值
df.fillna(0, inplace=True)  # 用0填充空值

# 或者删除包含空值的行
df.dropna(inplace=True)

# 假设日期列名为'date_column'
df['date_column'] = pd.to_datetime(df['date_column'], format='%Y-%m-%d')

# 保存清理后的文件
df.to_csv('output.csv', index=False)

# 假设数值列名为'value_column'
mean = df['value_column'].mean()
std = df['value_column'].std()

# 去除超出3倍标准差的异常值
df = df[(df['value_column'] >= mean - 3 * std) & (df['value_column'] <= mean + 3 * std)]