我有大约140,000,000条记录的数据集,我已经将其存储在数据库中。我需要使用python计算这些数据的基本统计数据,如平均值、最大值、最小值、标准差。
但是当我使用类似于"Select * from Mytable order by ID limit %d offset %d“% (chunksize,offset)这样的块时,执行耗时超过一个小时,并且仍然在执行。引用自
由于需要更多时间,现在我决定只读取几条记录,并将使用pandas.describe()获得的统计信息保存到csv中。同样,对于整个数据,我将拥有只包含统计信息的多个csvs。
有没有一种方法可以合并这些csvs
我正在从Python查询Postgres数据库(nfldb对于任何熟悉的人),并希望将我的查询条件之一作为一个变量来简化我的数据收集。我用的代码
import nfldb
db = nfldb.connect()
q = nfldb.Query(db)
for i in range (1,15):
q.game(season_year=2015, season_type='Regular', week=i)
q.player(full_name='Julian Edelman')
print p.player.full_name, p.r