parquet 文件解析

parquet 文件解析,希望可以给大家打来帮助

首先parquet 分为数据区域和索引区域, 如图,至于 索引区域为何放到文件末尾大家可以思考下

数据区域由1个或者n个RowGroup组成, 每个RowGroup 按列存储, 每列按照Page大小存放

索引区域由PageIndex,FileMetadata两级索引, FileMetadata可以理解为文件级别的索引, PageIndex 可以理解为Page 级别的索引,即更细粒度一些; FileMetada 即为RowGroup粗粒度的索引,由ColumnChunk组织,即每列的索引; PageIndex 分为ColumIndex和OffsetIndex ,都是Page级别的, 如下图所示;

Parquet file