我有一个带有列名的2D DataFrame,其中元素包含非空值和空值。我想将2D DataFrame‘夷为平地’为1D系列,在这里我只保留非空数据作为序列单元格中的一个列表与相应的标题。ie:以下内容:| asset | name | id || a | john | 001|
|a | NaN | 0
我知道有一些关于这个主题的问题,但我似乎不能有效地进行。我的机器上运行着包含8GB of memory的大型输入数据集(2-3 GB)。我使用的是安装了pandas 0.24.0的spyder版本。本质上,我将输入文件chunk成较小的片段,通过一些代码运行它,然后导出较小的输出。然后我删除分块的信息以释放内存。但在整个操作过程中,内存仍然会不断积累,最终会花费类似的时间。我不确定