人工智能之数据分析 Pandas：第五章 文件处理

人工智能之数据分析 Pandas

第五章 文件处理

前言

Pandas 提供了强大而灵活的文件 I/O 功能，能够轻松读写多种格式的数据文件。本文将对 CSV、Excel、JSON 三种最常用的格式进行详细、具体、实战导向的介绍，包括：

• 文件读取（read_*）
• 文件写入（to_*）
• 常见参数详解
• 编码、缺失值、数据类型处理
• 性能与错误排查技巧

📁 一、CSV 文件处理（最常用）

CSV（Comma-Separated Values）是数据分析中最通用的文本格式。

1. 读取 CSV：pd.read_csv()

基本用法：

import pandas as pd

df = pd.read_csv('data.csv')

常用参数详解：

实战示例：

# 读取含中文的 CSV（常见于 Windows 导出）
df = pd.read_csv('员工表.csv', encoding='gbk')

# 自定义缺失值 + 指定类型
df = pd.read_csv(
    'data.csv',
    na_values=['-', 'N/A'],
    dtype={'user_id': 'str', 'score': 'float32'},
    parse_dates=['login_time']
)

💡 提示：若遇 UnicodeDecodeError，尝试 encoding='latin1' 或 chardet 库检测编码。

2. 写入 CSV：df.to_csv()

基本用法：

df.to_csv('output.csv', index=False)  # 通常不保存行索引

关键参数：

示例：

df.to_csv('result.csv', 
          index=False,
          encoding='utf-8-sig',   # 避免 Excel 打开中文乱码
          na_rep='N/A',
          date_format='%Y/%m/%d')

📊 二、Excel 文件处理

Excel（.xlsx, .xls）适合小规模结构化数据交互，但不适合大数据（性能差、体积大）。

⚠️ 需安装额外依赖：pip install openpyxl # .xlsx 支持（推荐） pip install xlrd # .xls 支持（旧版）

1. 读取 Excel：pd.read_excel()

基本用法：

df = pd.read_excel('report.xlsx')  # 默认读第一个 sheet

常用参数：

示例：

# 读取多个 sheet
sheets = pd.read_excel('data.xlsx', sheet_name=['用户', '订单'])

# 读取特定区域
df = pd.read_excel('file.xlsx', sheet_name='Data', usecols='B:D', skiprows=2, nrows=100)

✅ 技巧：若 Excel 中有合并单元格，Pandas 会将其上方/左侧值填充，可能需后处理。

2. 写入 Excel：df.to_excel()

基本用法：

df.to_excel('output.xlsx', index=False)

多工作表写入（使用 ExcelWriter）：

with pd.ExcelWriter('report.xlsx', engine='openpyxl') as writer:
    df1.to_excel(writer, sheet_name='用户', index=False)
    df2.to_excel(writer, sheet_name='订单', index=False)
    df_summary.to_excel(writer, sheet_name='汇总', index=False)

关键参数：

示例：追加到现有 Excel 模板

with pd.ExcelWriter('template.xlsx', mode='a', if_sheet_exists='replace') as writer:
    df.to_excel(writer, sheet_name='Data', startrow=2, header=False, index=False)

⚠️ 注意：mode='a' 表示追加，if_sheet_exists='replace' 覆盖同名 sheet（需 pandas ≥ 1.4.0）

🌐 三、JSON 文件处理

JSON（JavaScript Object Notation）常用于 API 数据交换和 Web 应用。

1. 读取 JSON：pd.read_json()

支持两种主要结构：

• 记录列表（Records）：[{"col1": a, "col2": b}, ...] → 推荐
• 列字典（Columns）：{"col1": [a, ...], "col2": [b, ...]}

基本用法：

df = pd.read_json('data.json')

常用参数：

示例：

# 读取每行一个 JSON（日志常见）
df = pd.read_json('logs.jsonl', lines=True)

# 指定 orient（若自动推断失败）
df = pd.read_json('data.json', orient='records')

🔍 如何判断 orient？若 JSON 是 对象数组 → 'records' 若 JSON 是 列名映射到值数组 → 'columns'

2. 写入 JSON：df.to_json()

基本用法：

df.to_json('output.json', orient='records', indent=2)

关键参数：

示例：

# 输出带缩进、支持中文的 JSON
df.to_json('result.json', 
           orient='records',
           indent=2,
           force_ascii=False,
           date_format='iso')

🛠️ 四、通用技巧与避坑指南

1. 编码问题（尤其中文）

• CSV/JSON：优先用 utf-8
• Windows Excel 导出 CSV：常用 gbk 或 gb2312
• 写入 CSV 给 Excel 用：用 utf-8-sig（带 BOM）

2. 大文件处理

• CSV：用 chunksize 分块for chunk in pd.read_csv('huge.csv', chunksize=10000): process(chunk)
• Excel：避免使用，改用 CSV 或数据库
• JSON：用 lines=True 流式读取

3. 数据类型保持

• 读取时用 dtype 明确指定（避免自动转 object）
• 整数含缺失 → 用 'Int64'（可空整型）pd.read_csv(..., dtype={'user_id': 'Int64'})

4. 时间解析优化

• 使用 parse_dates 而非后续 pd.to_datetime
• 指定 date_parser（pandas ≥ 2.0 已弃用，改用 date_format）

✅ 五、总结对比表

💡 最佳实践建议：日常分析用 CSV 交付业务用 Excel 接收 API 数据用 JSON 超大数据考虑 Parquet/HDF5（Pandas 也支持）

后续

python过渡项目部分代码已经上传至gitee，后续会逐步更新。

资料关注

公众号：咚咚王

《Python编程：从入门到实践》

《利用Python进行数据分析》

《算法导论中文第三版》

《概率论与数理统计（第四版） (盛骤) 》

《程序员的数学》

《线性代数应该这样学第3版》

《微积分和数学分析引论》

《（西瓜书）周志华-机器学习》

《TensorFlow机器学习实战指南》

《Sklearn与TensorFlow机器学习实用指南》

《模式识别（第四版）》

《深度学习 deep learning》伊恩·古德费洛著 花书

《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》

《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》

《自然语言处理综论 第2版》

《Natural-Language-Processing-with-PyTorch》

《计算机视觉-算法与应用(中文版)》

《Learning OpenCV 4》

《AIGC：智能创作时代》杜雨+&+张孜铭

《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》

《从零构建大语言模型（中文版）》

《实战AI大模型》

《AI 3.0》