社区首页 >专栏 >Pandas DataFrame 数据存储格式比较

Pandas DataFrame 数据存储格式比较

数据STUDIO

发布于 2023-09-28 04:40:28

27300

代码可运行

文章被收录于专栏：数据STUDIO数据STUDIO

运行总次数：0

代码可运行

Pandas 支持多种存储格式，在本文中

创建测试Dataframe

首先创建一个包含不同类型数据的测试Pandas Dataframe。

 import pandas as pd
 import random
 import string
 import numpy as np
 
 # Config DF
 df_length= 10**6
 start_date= '2023-01-01'
 all_string= list(string.ascii_letters + string.digits)
 string_length= 10**1
 min_number= 0
 max_number= 10**3
 
 # Create Columns
 date_col= pd.date_range(start= start_date, periods= df_length, freq= 'H')
 str_col= [''.join(np.random.choice(all_string, string_length)) for i in range(df_length)]
 float_col= np.random.rand(df_length)
 int_col= np.random.randint(min_number,max_number, size = df_length)
 
 # Create DataFrame
 df= pd.DataFrame({'date_col' : date_col,
                  'str_col' : str_col,
                  'float_col' : float_col,
                  'int_col' : int_col})
 df.info()
 df.head()

以不同的格式存储

推荐阅读：详解 16 个 Pandas 读与写函数

接下来创建测试函数，以不同的格式进行读写。

 import time
 import os
 
 def check_read_write_size(df, file_name, compression= None) :
    format= file_name.split('.')[-1]
    # Write
    begin= time.time()
    if file_name.endswith('.csv') : df.to_csv(file_name, index= False, compression= compression)
    elif file_name.endswith('.parquet') : df.to_parquet(file_name, compression= compression)
    elif file_name.endswith('.pickle') : df.to_pickle(file_name, compression= compression)
    elif file_name.endswith('.orc') : df.to_orc(file_name)
    elif file_name.endswith('.feather') : df.to_feather(file_name)
    elif file_name.endswith('.h5') : df.to_hdf(file_name, key= 'df')
    write_time= time.time() - begin
    # Read
    begin= time.time()
    if file_name.endswith('.csv') : pd.read_csv(file_name, compression= compression)
    elif file_name.endswith('.parquet') : pd.read_parquet(file_name)
    elif file_name.endswith('.pickle') : pd.read_pickle(file_name, compression= compression)
    elif file_name.endswith('.orc') : pd.read_orc(file_name)
    elif file_name.endswith('.h5') : pd.read_hdf(file_name)
    read_time= time.time() - begin
    # File Size
    file_size_mb = os.path.getsize(file_name) / (1024 * 1024)
    return [format, compression, read_time, write_time, file_size_mb]

然后运行该函数并将结果存储在另一个Pandas Dataframe中。

 test_case= [
            ['df.csv','infer'],
            ['df.csv','gzip'],
            ['df.pickle','infer'],
            ['df.pickle','gzip'],
            ['df.parquet','snappy'],
            ['df.parquet','gzip'],
            ['df.orc','default'],
            ['df.feather','default'],
            ['df.h5','default'],
            ]
 
 result= []
 for i in test_case :
    result.append(check_read_write_size(df, i[0], compression= i[1]))
 
 result_df= pd.DataFrame(result, columns= ['format','compression','read_time','write_time','file_size'])
 result_df