首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >尽量使用写文本方式存储数据(pandas 和 file write效率对比)

尽量使用写文本方式存储数据(pandas 和 file write效率对比)

作者头像
Michael阿明
发布2022-01-07 11:26:00
发布2022-01-07 11:26:00
5300
举报
  • 对比:使用 pandas 存储数据 VS 使用写文本 方式存储数据
代码语言:javascript
复制
import pandas as pd
import time
def pandasWrite():
    t0 = time.time()
    colname = [str(i) for i in range(550)]
    df = pd.DataFrame(columns=colname)
    for i in range(100):
        df.loc[len(df)] = dict(zip(colname, range(550)))
    t1 = time.time()
    df.to_csv("temp.csv")
    print("pandas 存储数据用时:", t1-t0)
    # print(df)

def fileWrite():
    t0 = time.time()
    colname = [str(i) for i in range(550)]
    with open("temp1.txt", 'w', encoding='utf-8') as f:
        f.write('\t'.join(x for x in colname))
        for i in range(100):
            f.write('\t'.join(str(x) for x in range(550))+'\n')
    t1 = time.time()
    print("写文本 存储数据用时:", t1-t0)

pandasWrite()
fileWrite()

输出:

代码语言:javascript
复制
pandas 存储数据用时: 4.545027494430542
写文本 存储数据用时: 0.03499293327331543

写文本方式,了 接近 130 倍

工作当中踩过的坑,浪费了大半天时间,大家注意!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/12/17 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档