我正在寻找一个更好的存储,写入和读取气象数据(约30 GB的原始文本格式)。
目前我正在使用NetCDF文件格式来存储天气记录。第一项任务是每天更新大约3000个气象站的天气记录。维度顺序(time, var, name)提供了最好的写入性能,因为新的数据将添加到NetCDF文件的末尾。第二项任务是读取气象站的所有每日天气记录,以进行预案
在将数据库转换为CSV文件之前,我正在尝试跟踪这个从twitter流到数据库的。我可以实现流API特性来很好地捕获数据,但是当试图将数据保存到csv文件中时,我遇到了问题。一开始,我遇到了一个类似于的问题,在那里我收到了以下错误。AttributeError: module 'dataset' has no attribute 'freeze'
该解决方案在运行脚本时删除错误,