Pandas:垃圾收集删除的列以释放内存
提问于 2015-07-18 13:28:21
我正在处理一个大约有20,000,000行和4列的大型数据集。不幸的是，我的机器上的可用内存(~16 on )不够。
示例(时间是从午夜开始的秒数)：
Date Time Price Vol
0 20010102 34222 51.750 227900
1 20010102 34234 51.750 5600
2 20010102 34236 51.875 14400然后，我将数据集转换为适当的时间序列对象：
Date Time Price Vol
2001-01-02 09:30:22 20010102 34222 51.750 227900
2001-01-02 09:30:34 20010102 34234 51.750 5600
2001-01-02 09:30:36 20010102 34236 51.875 14400
2001-01-02 09:31:03 20010102 34263 51.750 2200为了释放内存，我想删除多余的Date和Time列。我使用.drop()方法执行此操作，但内存未被释放。之后我也试着给gc.collect()打电话，但也没什么帮助。
这是我调用来处理所描述的操作的代码。del部件释放内存，但不释放drop部件。
# Store date and time components
m, s = divmod(data.Time.values, 60)
h, m = divmod(m, 60)
s, m, h = pd.Series(np.char.mod('%02d', s)), pd.Series(np.char.mod('%02d', m)), pd.Series(np.char.mod('%02d', h))
# Set time series index
data = data.set_index(pd.to_datetime(data.Date.reset_index(drop=True).apply(str) + h + m + s, format='%Y%m%d%H%M%S'))
# Remove redundant information
del s, m, h
data.drop('Date', axis=1, inplace=True)
data.drop('Time', axis=1, inplace=True)如何从pandas数据帧中释放内存？
回答 1
Stack Overflow用户
发布于 2019-09-26 09:55:33
del data['Date']
del data['Time']这将释放内存。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/31491655
复制相关文章
腾讯云开发者
