Petl：提取、转换和加载数据表。

petl 是个啥？

如果你正在寻找一种简洁方便的方法来处理数据，那么 petl（Python ETL）值得你关注。 它的设计哲学就是简单易用，无论你是需要从 CSV 提取数据，还是想将 JSON 数据转换为表格形式，或者是对数据进行排序、过滤及聚合操作，petl都能够轻轻松松帮你搞定。 当然，市面上不乏能力强大的数据处理库，比如著名的 Pandas。 但 petl 在保持了功能的同时，更注重内存效率，非常适合那些受限于内存的环境中使用。 它的工作方式不像 Pandas 那样需要将所有数据加载到内存中，而是采用流式传输的方式，逐块处理数据。 这使得它在处理大文件时，显得更加灵活和高效。 项目地址：https://github.com/petl-developers/petl 星标：1.2K 派生：188 petl 架构

安装

在使用 petl 前，我们需要先通过 pip 来安装它。打开你的终端（或命令提示符）并运行以下命令：

pip install petl

安装过程简洁且顺畅，不需几分钟即可完成。但请确保你处于一个网络畅通的环境中。

主要特性

数据读写

使用 petl，你可以轻松地完成各种数据格式之间的读取和写入操作。 支持的数据格式包括 CSV、JSON、XML、Excel 等，无论你的数据处于何种状态，petl都能来帮你一把。

import petl as etl

# 读取 CSV 文件 
table = etl.fromcsv('example.csv')
print(etl.look(table))

# 将数据转换为 JSON 格式并写入文件 
etl.tojson(table, 'example.json')

数据转换与过滤

petl 提供了多种方式来转换和过滤数据，无论是行还是列，都能用简单的操作来处理。 这让复杂的数据整理工作变得异常简单。

# 假设我们想过滤掉年龄小于 18 岁的记录 
youngsters = etl.select(table, lambda rec: rec.age < 18)
print(etl.look(youngsters))

高级用法

petl 除了上述基础功能之外，还提供了许多高级操作，例如数据连接、聚合以及复杂条件下的筛选等。

数据聚合

# 假设我们要按照工作类型来统计平均收入 
income_by_job = etl.aggregate(table, 'job', sum, 'income')
print(etl.look(income_by_job))

更详细的高级应用，可以参考项目文档：petl 详细文档[1]

实践

让我们来一个真实的场景模拟。想象你是一名数据分析师，现在需要处理一份包含用户信息的大数据文件。 这份文件有上百万条记录，且存于一个 CSV 文件中。 你的任务是提取所有验证过的用户，并计算他们的平均年龄。这听起来可能很复杂，但有了 petl，我们可以轻松实现这一功能。

总结

数据处理是一个复杂且需求多变的领域，petl凭借其高效的内存使用、支持多种数据格式以及简洁的 API，成为了数据处理领域一颗冉冉升起的新星。 它可能不像 Pandas 那样功能齐全，但在某些场景下，它的确是一个更佳的选择。