: 处理一个10GB的CSV数据集（销售记录），清洗无效数据（如空值、异常值），并生成统计报告（按产品汇总销量）。目标是让脚本高效运行，内存占用可控，处理时间在5分钟内。选择Python和Pandas是因为它擅长数据处理，但大文件容易爆内存，想通过这次实践优化性能，记录我的思路和过程。

: Ubuntu 22.04, Python 3.10.12, Pandas 2.2.2.

先写一个简单版本，加载整个CSV：

import pandas as pd

df = pd.read_csv('sales.csv')
df = df.dropna(subset=['product_id', 'sales'])  # 移除空值
df = df[df['sales'] >= 0]  # 移除负销量
summary = df.groupby('product_id')['sales'].sum().reset_index()
summary.to_csv('summary.csv', index=False)

跑100MB测试文件没问题，但10GB文件直接爆内存，进程崩了。

import pandas as pd

chunk_size = 100000
summary = pd.DataFrame()

for chunk in pd.read_csv('sales.csv', chunksize=chunk_size):
    chunk = chunk.dropna(subset=['product_id', 'sales'])
    chunk = chunk[chunk['sales'] >= 0]
    chunk_summary = chunk.groupby('product_id')['sales'].sum().reset_index()
    summary = pd.concat([summary, chunk_summary]).groupby('product_id')['sales'].sum().reset_index()

summary.to_csv('summary.csv', index=False)

分块后内存降到500MB，但处理时间还是6分钟，略超目标。

重复计算效率低，改用字典累加：

import pandas as pd
from collections import defaultdict

chunk_size = 100000
sales_totals = defaultdict(float)

for chunk in pd.read_csv('sales.csv', chunksize=chunk_size):
    chunk = chunk.dropna(subset=['product_id', 'sales'])
    chunk = chunk[chunk['sales'] >= 0]
    for _, row in chunk.iterrows():
        sales_totals[row['product_id']] += row['sales']

summary = pd.DataFrame(list(sales_totals.items()), columns=['product_id', 'sales'])
summary.to_csv('summary.csv', index=False)

用Python和Pandas优化数据清洗脚本的实践

TDP会员

编程语言

大数据

后端

Python处理10GB销售数据CSV实战：通过Pandas分块读取和字典优化，3.5分钟完成数据清洗与汇总，内存仅300MB。分享分块处理技巧、字典替代groupby方法，解决大文件内存溢出问题，实现高效数据分析。

数据结构

Python

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

用Python和Pandas优化数据清洗脚本的实践-腾讯云开发者社区-腾讯云

用Python和Pandas优化数据清洗脚本的实践

用Python和Pandas优化数据清洗脚本的实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐