最近在搞一个数据处理项目，主要是用 Python 清洗和分析一个几十万行的 CSV 文件，里面存了用户行为数据，比如点击时间、页面 ID 之类的东西。开始的时候，脚本跑得跟乌龟似的，一个文件处理下来得十几分钟，CPU 占用还贼高，内存也快爆了。优化这脚本的过程让我学到不少东西，记录下来分享一下。

这个 CSV 文件大概有 50 万行，每行有 10 列，包含时间戳、用户 ID、页面路径等。需求是过滤掉无效数据（比如时间戳为空的行），然后按用户 ID 聚合，统计每个用户的页面访问次数，最后输出到新文件。最初的脚本用 

 读文件、处理数据，代码简单但效率感人。跑一次得等 15 分钟，内存占用直接飙到 8GB，笔记本风扇跟要起飞似的。

优化思路：从“暴力”到“优雅”

 好用是好用，但数据量一大就吃不消。我查了点资料，决定从几个方向优化：减少内存占用、加速 I/O、优化循环逻辑。

 参数，可以分块读取 CSV，避免一次性把整个文件塞进内存。我改成每次读 10,000 行，内存占用立马降到 1GB 左右。具体操作是：

import pandas as pd

input_file = 'user_data.csv'
output_file = 'processed_data.csv'
chunk_size = 10000

# 分块读取并处理
for chunk in pd.read_csv(input_file, chunksize=chunk_size):
    # 过滤无效数据
    chunk = chunk[chunk['timestamp'].notnull()]
    # 按用户 ID 聚合
    result = chunk.groupby('user_id')['page_id'].count().reset_index()
    # 追加写到输出文件
    result.to_csv(output_file, mode='a', index=False, header=not os.path.exists(output_file))

这么改后，内存占用稳定多了，处理时间也从 15 分钟降到 10 分钟。

 虽然方便，但对大文件还是有点慢。我试着用 Python 原生的 

 来做聚合，速度更快。改后的核心代码是：

import csv
from collections import Counter

user_counts = Counter()
with open(input_file, 'r') as f:
    reader = csv.DictReader(f)
    for row in reader:
        if row['timestamp']:  # 过滤空时间戳
            user_counts[row['user_id']] += 1

# 写结果
with open(output_file, 'w') as f:
    writer = csv.writer(f)
    writer.writerow(['user_id', 'page_count'])
    for user_id, count in user_counts.items():
        writer.writerow([user_id, count])

这版代码跑完只要 4 分钟，内存占用不到 500MB，效果杠杠的。

数据量再大点，我发现单线程读写还是瓶颈。于是用 

 库，把文件分成几块并行处理。简单分片逻辑如下：

from multiprocessing import Pool

def process_chunk(chunk):
    user_counts = Counter()
    for row in chunk:
        if row['timestamp']:
            user_counts[row['user_id']] += 1
    return user_counts

# 分片处理逻辑（省略具体分片代码）

用 4 个进程跑，时间进一步缩短到 2 分钟，CPU 利用率也更均衡。

这次优化让我意识到，工具选型和代码设计得根据数据规模来。

 适合快速原型，但大数据量得考虑原生 Python 或其他轻量方案。多进程虽然提速明显，但调试起来比单线程麻烦，得多测合并逻辑。总的来说，优化不仅是改代码，还得懂数据特性和硬件限制。这过程虽然折腾，但看到脚本从 15 分钟优化到 2 分钟，成就感满满！

优化 Python 脚本的性能实践

TDP会员

编程语言

大数据

算法

Python大数据处理优化技巧：通过分块读取、原生csv模块替代pandas、多进程并行处理，将50万行CSV数据处理时间从15分钟优化至2分钟，内存占用从8GB降至500MB。分享高效处理用户行为数据的实用方法。

Python

AI驱动 智领未来

bigdata-class

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

优化 Python 脚本的性能实践

优化 Python 脚本的性能实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐