根据https://stackoverflow.com/a/46206376/11578009，我正在尝试附加HDFStore文件 import pandas as pd
hdfStore = pd.HDFStore('dataframe.h5')
#df=
#a b c d f
#0 125 -6.450 ... 0 2020-04-#16T02:30:00
#2 124
浏览 12提问于2020-04-16得票数 0
1回答
我正在将100个csv文件转换为数据帧，并将它们存储在HDFStore中。
这样做的优缺点是什么？
A-将csv文件存储为100个不同的HDFStore文件？
B-将所有csv文件作为单独的项目存储在单个HDFStore中？
除了性能问题，我问这个问题是因为我有稳定性问题，而且我的HDFStore文件经常被损坏。因此，对我来说，单个HDFStore存在风险。然而，我想知道拥有一家商店是否有好处。
浏览 13提问于2014-09-01得票数 0
有些类似于此的问题，但它们都没有处理我的数据在HDFStore中的情况。
我需要将时间戳/键/值项的列表转换为dataframes，并将其存储为多个在时间戳上索引的dataframes，然后将其保存在HDFStore中。
示例代码：
from pandas import HDFStore
from pandas import DataFrame
store = HDFStore('xxx', driver="H5FD_CORE")
for i, k, v in ((0, 'x', 5), (1, 'y', 6)):
if
浏览 2提问于2016-08-30得票数 0
我有以下熊猫资料：
import pandas as pd
df = pd.read_csv(filename.csv)
现在，我可以使用HDFStore将df对象写入文件(例如向Python字典中添加键值对)：
store = HDFStore('store.h5')
store['df'] = df
当我查看内容时，这个对象是一个frame。
store
输出
<class 'pandas.io.pytables.HDFStore'>
File path: store.h5
/df frame
浏览 0提问于2016-07-19得票数 4
回答已采纳
1回答
以下代码片段：
HDFStore = pandas.io.pytables.HDFStore
lock = threading.RLock()
with lock:
store = HDFStore('my_datafile.hdf','r')
data_frame = store['my_series']
store.close()
return data_frame['my_column']
是响应web请求执行的，因此它可能同时在多个线程上执行。
浏览 4提问于2014-02-05得票数 1
回答已采纳
我正在努力使用pandas中的hdfstore来处理正在进行的迭代过程中的数据帧。在每次迭代中，我都会追加到hdfstore中的一个表中。下面是一个玩具示例：
import pandas as pd
from pandas import HDFStore
import numpy as np
from random import choice
from string import ascii_letters
alphanum=np.array(list(ascii_letters)+range(0,9))
def hdfstore_append(storefile,key,df,format=
浏览 18提问于2016-03-06得票数 4
如何从pandas HDFStore中检索特定列？我经常处理非常大的数据集，这些数据集太大，无法在内存中操作。我想迭代地读入csv文件，将每个块附加到HDFStore对象中，然后处理数据的子集。我读入了一个简单的csv文件，并使用以下代码将其加载到HDFStore中：
tmp = pd.HDFStore('test.h5')
chunker = pd.read_csv('cars.csv', iterator=True, chunksize=10, names=['make','model','drop'])
tm
浏览 1提问于2012-12-18得票数 18
回答已采纳
1回答
我有大量的数据帧通过Pandas导出到一系列HDFStore文件。我需要能够迅速拉进最近的记录，为每一个这些数据按需。
设置：
<class 'pandas.io.pytables.HDFStore'>
File path: /data/storage_X100.hdf
/X1 frame_table (typ->appendable,nrows->2652,ncols->1,indexers->[index])
/XX frame_table (typ->ap
浏览 0提问于2014-10-15得票数 1
回答已采纳
我是Python的新手，我正在尝试用HDFStore在pandas中创建一个表，如下所示
store = HDFStore('store.h5')
我得到了一个例外：
Exception Traceback (most recent call last)
C:\Python27\<ipython-input-11-de3060b689e6> in <module>()
----> 1 store = HDFStore('store.h5')
C:\Python27\l
浏览 2提问于2013-03-18得票数 3
1回答
我使用pandas HDFSTore对象打开一个hdf5文件并存储DataFrame对象。但在此之前，我想知道该文件是否为空。有没有办法找出我的
In[12]:
import pandas
store = pandas.io.pytables.HDFStore('store.h5')
Out[12]:
<class 'pandas.io.pytables.HDFStore'>
File path: store.h5
Empty
有没有办法在store.h5中浏览层次结构树来检查对象是否为空。我想获取store.h5中的对象列表
浏览 1提问于2012-05-03得票数 1
回答已采纳
使用pandas HDFStore存储空DataFrames会消耗大量磁盘空间。下面是一个例子：
import pandas as pd
for i in range(1000):
with pd.HDFStore('/tmp/test_empty.hdf') as s:
key = 'E{:03d}'.format(i)
s[key] = pd.DataFrame()
for i in range(1000):
with pd.HDFStore('/tmp/test_nan.hdf') as
浏览 1提问于2015-11-12得票数 1
2回答
当我初始化HDFStore
import numpy as np
import pandas as pd
hdf = pd.HDFStore('polar.h5')
我在flavor.py中看到了一个错误：
NameError，未定义名称“_conv_python_to_python”
我用的是蟒蛇，熊猫也是做数据处理的。
浏览 1提问于2018-08-15得票数 0
回答已采纳
据我所知，HDFStore.select是用于从大型数据集中进行选择的工具。然而，当试图使用chunksize和iterator=True循环块时，一旦底层数据集足够大，迭代器本身就会变成一个非常大的对象，我不明白为什么迭代器对象很大，它包含什么样的信息，必须变得如此大。
我有一个非常大的HDFStore结构(70亿行，磁盘上有420 GB )，我想用块来迭代：
iterator = HDFStore.select('df', iterator=True, chunksize=chunksize)
for i, chunk in enumerate(iterator):
浏览 2提问于2017-06-27得票数 3
回答已采纳
我有两个数据文件，df1存储在一个pd.HDFStore对象中，另一个要附加到数据文件中。
store = pd.HDFStore('dataframe_store.h5')
df1 = pd.DataFrame(np.empty((100, 5)))
df2 = pd.DataFrame(np.empty((100, 5)))
store['df1'] = df1
实际上，我希望最终结果等于.
store['df1'] = df1.append(df2)
我想将df2附加到存储的df1中，更确切地说是用一个新的dataframe覆盖HDFS
浏览 5提问于2017-07-08得票数 4
回答已采纳
问题：
1如何选择行(伪代码)：列‘Name’=‘Name_A’(Name_A只是一个例子)&列“时间”、(2021-11-2100:00:00,2021-11-22-00:00:00)。
我将大约40亿行数据存储到一个hdf5文件中。
现在，我想选择一些数据。
我的代码如下：
import pandas as pd
ss = pd.HDFStore("xh_data_L9.hdf5") #<class 'pandas.io.pytables.HDFStore'>
print(type(ss))
print(ss.keys())
s_1
浏览 6提问于2022-07-20得票数 0
3回答
我试图获取存储在HDF5 中的熊猫最后一行的索引，而不必将整个数据集或索引拖到内存中。我在找这样的东西：
from pandas import HDFStore
store = HDFStore('file.h5')
last_index = store.select('dataset', where='index == -1').index
但在我的例子中，最后一个索引将不是-1，而是Timestamp
浏览 5提问于2015-05-28得票数 4
回答已采纳
我正在将大量的http日志(80GB+)导入到Pandas HDFStore中进行统计处理。即使在单个导入文件中，我也需要在加载内容时对其进行批处理。到目前为止，我的策略是将解析后的行读入DataFrame，然后将DataFrame存储到HDFStore中。我的目标是使索引键对于DataStore中的单个键是唯一的，但是每个DataFrame都会重新启动它自己的索引值。我预计HDFStore.append()会有某种机制告诉它忽略DataFrame索引值，只需不断添加我的HDFStore键的现有索引值，但似乎找不到它。如何导入DataFrames并忽略其中包含的索引值，同时使HDFStore增
浏览 0提问于2013-06-08得票数 14
1回答
假设有人给了我一个随机的HDF5文档。我想编写一个函数来检查使用的组/“键”是什么。
以熊猫HDFStore()为例。对于许多检索HDF5数据的方法，需要知道密钥，例如pandas.HDFStore.get()
如果不是事先知道的话，检查钥匙的身份的最有效的方法是什么？
浏览 4提问于2016-10-23得票数 3
回答已采纳
我想通过convert_dtypes转换df的类型，但是如果我想通过HDFStore存储它，我得到如下: AttributeError：'IntegerArray‘对象没有属性'size’
df = pd.DataFrame()
df["test"] = [0,1,2,3]
df["test1"] = [0,1,2,3.5]
df = dfdf.convert_dtypes()
store=pd.HDFStore(r"C:\Users\User\Desktop\test.h5")
store["test"] = d
浏览 1提问于2020-03-06得票数 2
1回答
在执行某些查询时，Pandas中的HDFStore模块似乎存在错误，但我找不到解决方法。也就是说，pd.HDFStore.select似乎在内部将原本有效的字符串重新格式化为错误的语法。例如，由于某种原因，字符串"03"将where语句作为"0 3"输入，这将返回syntax错误。
示例数据：
p1 = np.random.randint(0,100,(100,2))
p2 = np.random.choice(np.array(range(1990,2010)),100).reshape((100,1))
df = pd.DataFrame(np.concat
浏览 12提问于2018-02-21得票数 0
回答已采纳
1回答
好的，我正在实验熊猫加载一个包含40 million+行和150+列的30 in csv文件到HDFStore。大多数列是字符串，后面跟着数字和日期。
我以前从未真正使用过numpy、熊猫或pytables，但在R中玩过数据帧。
我目前只是将大约20000行的样例文件存储到HDFStore中。当我尝试从HDFStore读取表时，表被加载到内存中，内存使用量增加了~100 by
f=HDFStore('myfile.h5')
g=f['df']
然后删除包含DataFrame的变量：
del g
此时，内存使用量减少了大约5MB。
如果我再次使用g=f['
浏览 4提问于2013-08-13得票数 6
1回答
一段时间以来，我一直试图将熊猫的数据保存到一个HDF5文件中。我尝试了各种不同的术语。df.to_hdf等，但没有用。我是在python虚拟环境中运行这个的，请参阅。即使没有使用VE，它也有同样的错误。下面的脚本出现了以下错误：
''' This script reads in a pickles dictionary converts it to panda
dataframe and then saves it to an hdf file. The arguments are the
file names of the pickle files.
'&
浏览 3提问于2015-07-24得票数 0
回答已采纳
1回答
我已经通过pandas和pandas.HDFStore()将大约800 GB的巨大数据帧存储到HDF5中。
import pandas as pd
store = pd.HDFStore('store.h5')
df = pd.Dataframe() # imagine the data being munged into a dataframe
store['df'] = df
我想用Impala来询问这个问题。有没有一种简单的方法可以将这些数据解析到Parquet中？或者Impala允许您直接使用HDF5？对于HDF5上的数据，还有其他选择吗？
浏览 15提问于2017-01-06得票数 0
我有一只熊猫HDFStore，我正试着从中挑选。我想在一个大的np.array中有一个id的两个时间戳之间选择数据。下面的代码可以工作，但是只有在查询列表中的成员时才占用太多的内存。如果使用datetimeindex和范围，内存占用将减少95%。
#start_ts, end_ts are timestamps
#instruments is an array of python objects
not_memory_efficient = adj_data.select("US", [Term("date",">=", start_ts
浏览 5提问于2013-12-15得票数 2
回答已采纳
给定一个具有整数索引和浮点数列的简单DataFrame，代码如下：
store = pd.HDFStore('test.hdf5')
print store.select('df', where='index >= 50000')['A'].mean()
至少比此代码慢10倍：
store = pd.HDFStore('test.hdf5')
print store.get('df')['A'][50000:].mean()
表或固定格式没有太大的区别，select()调用虽然
浏览 0提问于2015-01-04得票数 1
回答已采纳
问题：如何创建允许在熊猫HDFStore对象中对多个列进行迭代的生成器？
我正在尝试为一个熊猫HDFStore对象创建一个包装类。我正在尝试实现的特性之一是能够按给定的块大小迭代HDFStore中的列组。许多机器学习算法可以操作on-line，而不需要同时使用所有的数据。
我的第一次尝试是创建一个生成器函数，并将开始和停止参数传递给HDFStore的select方法：
def iterate(self, key, chunksize=50000):
node = self.store.get_node(key)
nrows = node.table.nrows
curr
浏览 2提问于2013-03-17得票数 1
回答已采纳
1回答
清楚我做错了什么吗？
我正在实验熊猫HDFStore.select的启动和停止选项，这并没有什么不同。
我使用的命令如下：
import pandas as pd
hdf = pd.HDFStore(path % 'results')
len(hdf.select('results',start=15,stop=20))
希望得到的长度为4或5或无论如何，它是计数，但它给了我整个该死的数据。
这是一个截图：
浏览 1提问于2014-11-17得票数 1
2回答
是否可以使用Pytable(或Pandas)来检测hdf文件的表是否包含特定的列？要加载hdf文件，我使用：
from pandas.io.pytables import HDFStore
# this doesn't read the full file which is good
hdf_store = HDFStore('data.h5', mode='r')
# returns a "Group" object, not sure if this could be used...
hdf_store.get_node('t
浏览 4提问于2016-07-12得票数 2
回答已采纳
1回答
在Pandas中，我似乎无法存储混合类型的数据：
store = HDFStore('play.h5')
df = DataFrame([{'a': 1, 'b': 'hello'}, {'a': 5, 'b': 'world'}])
store.put('df', df, table=True, compression='zlib')
这给出了一个Exception: Cannot currently store mixed-type DataFra
浏览 5提问于2012-03-10得票数 3
在一个超过60列的HDFStore中，我有大约700万行。数据太多了，我放不进内存。我希望根据列"A“的值将数据聚合到组中。pandas 的文档假设我已经将所有数据放在一个DataFrame中，但是我不能将整个存储读取到内存中的DataFrame中。在HDFStore中对数据进行分组的正确方法是什么
浏览 2提问于2013-04-04得票数 21
回答已采纳
假设我有一个包含组层次结构的HDF5文件(myHDF.h5)，如下所示：
/root/groupA
/groupB
现在，我想向groupA中添加一个DataFrame (myFrame) (以及其他一些对象，比如字典)。我该怎么做？如果我用pandas.io.HDFStore打开我的HDF.h5：
store = pandas.io.HDFStore('myHDF.h5')
然后尝试：
store['groupA']['myFrame'] = myFrame
我得到了：
AttributeError: Attribute 'p
浏览 0提问于2012-07-27得票数 2
1回答
我使用熊猫加入几个巨大的csv文件使用HDFStore。我正在将所有其他表合并到一个基表，base。现在，我在HDFStore中为每个合并的输出创建一个新表，我称之为temp。然后我删除旧的基表。最后，我将temp复制到base，并在我需要加入的下一个表上再次启动这个过程。
如果我可以简单地将temp重命名为base，这将更加有效。这个是可能的吗？
浏览 0提问于2014-04-01得票数 6
回答已采纳
我正在使用Pandas，并创建了一个HDFStore对象。我计算了500列数据，并将其写入一个表格式的HDFStore对象。然后我关闭文件，从内存中删除数据，执行下500列(用一个递增的整数标记)，打开存储，并尝试附加新列。然而，它并不像这样。它给了我一个错误
invalid combinate of [non_index_axes] on appending data [[(1, [500, 501, 502, ...])]] vs current table [[(1, [0, 1, 2, ...])]]
我假设它只允许追加更多的行，而不是列。那么如何添加更多的列呢？
浏览 20提问于2013-04-11得票数 9
1回答
我有一个自定义频率索引的dataframe，像这样，
holidays = CustomBusinessDay(holidays=[ pnd.Timestamp(d) for d in pnd.Series.from_csv(f).values])
timestamps = pnd.date_range(s, e, normalize=False, freq = holidays)
df = pnd.DataFrame(columns= ['a','b'], index= timestamps)
当我试图将这个数据存储到hdfstore时，我会看到一个错误：“不
浏览 1提问于2014-07-31得票数 1
回答已采纳
1回答
如何像csv文件一样读取h5文件
、、、、
我有这样一个算法，用于csv文件对象。
#diplay_id, ad_id, clicked(1 or 0)
colls = {'display_id':np.int32,
'ad_id':np.int32,
'clicked':bool}
trainData = pd.read_csv("trainData.csv")
for did, ad, c in trainData.itertuples():
print did + ad + c #example
但是，现在我有了一个
浏览 7提问于2016-11-11得票数 0
回答已采纳
1回答
如果是使用简单索引的DataFrame，则可以从HDFStore检索索引如下：
df = pd.DataFrame(np.random.randn(2, 3), index=list('yz'), columns=list('abc'))
df
>>> a b c
>>> y -0.181063 1.919440 1.550992
>>> z -0.701797 1.917156 0.645707
with pd.HDFStore(
浏览 0提问于2019-06-01得票数 0
回答已采纳
当将熊猫DataFrame写入hdf时，如果键设置为“table”，则生成的hdf包含一个空键“/”。我尝试过的其他字符串值不会这样做，奇怪的是，行为将取决于键的名称。这一切为什么要发生？
>>> import pandas as pd
>>> df = pd.DataFrame({'a': [1, 2], 'b': [3, 4]})
>>> df.to_hdf('hdf1', key='a_key_that_is_not_table')
>>> df.to_
浏览 9提问于2021-12-23得票数 1
回答已采纳
我将我的数据存储在hdf5文件中。奇怪的是，我选择了一个条件相同的表，但HDFStore给出了不同的答案。
谁能告诉我为什么？
In [2]: import pandas as pd
In [3]: store=pd.HDFStore("./data/m2016.h5","r")
In [4]: store
Out[4]:
<class 'pandas.io.pytables.HDFStore'>
File path: ./data/m2016.h5
/m2016 frame_table (typ->a
浏览 0提问于2016-03-22得票数 0
你能将数据存储为熊猫HDFStore并使用pytable打开它们/执行i/o吗？这个问题出现的原因是因为我目前将数据存储为
pd.HDFStore('Filename',mode='a')
store.append(data)
然而，据我所知，熊猫不太支持更新记录。我有一个实用程序，我必须每天更新5%的数据。pd.io.pytables会起作用吗？如果是这样的话，我就没有找到这方面的文件了？Pytables有很多文档，但是我不确定是否能够打开文件/更新而不使用pytable打开，当我最初没有使用pytable来保存文件时？
浏览 4提问于2017-01-11得票数 4
回答已采纳
1回答
我正在尝试使用.h5读取pandas.HDFStore文件
使用此代码：
import pandas as pd
store = pd.HDFStore('store.h5')
它起作用了，在尝试这一行代码时会出现问题。
df1 = store['df1']
它返回这个错误：
"UnicodeDecodeError：'ascii‘编解码器不能解码位置为2108的字节0xc3 :序数不在范围(128)“
我在这个中尝试了这个解决方案，但是它也不起作用。
所以请帮我解决这个错误。
浏览 4提问于2016-12-20得票数 0
作为一个测试，我尝试使用pandas.HDFStore读取一个小的25毫克csv文件：
store = pd.HDFStore('file.h5',mode='w')
for chunk in read_csv('file.csv',chunksize=50000):
store.append('df',chunk)
store.close()
它使我的电脑颠簸，当它最终完成时，file.h5是6.7G。我不知道是什么导致文件大小膨胀的:当我事后查看商店时，里面唯一的东西就是小数据。如果我在没有分块的情况下阅读csv，然
浏览 0提问于2014-03-20得票数 1
回答已采纳
1回答
我在HDFStore有熊猫的数据，索引作为划时代的时间存储。我想根据特定的索引读取数据和查询。
例如，如果我在datetime64ns中有索引而不是epoc，我可以获得如下结果：
starttime = datetime.datetime(2008,12,22,00,19,55,150000)
start = pd.Timestamp(stoptime) + pd.Timedelta(1)
stoptime = datetime.datetime(2008,12,22,00,55,55,180000)
stop = pd.Timestamp(starttime) + pd.Timedel
浏览 4提问于2016-12-29得票数 1
回答已采纳
1回答
我需要从HDF5数据库中对特定时间内的时间序列数据进行大量连续查询(数据以秒计，并不总是“连续的”，我只知道开始和结束时间)。因此，我想知道是否有比我的当前代码更快的解决方案，它是受启发的。
import pandas as pd
from pandas import HDFStore
store = HDFStore(pathToStore)
dates = pd.date_range(start=start_date,end=end_date, freq='S')
index = store.select_column('XAU','index&#
浏览 4提问于2017-01-09得票数 2
回答已采纳
当我将pandas.DataFrame输出为HDFStore中的表时：
import pandas as pd
df=pd.DataFrame({'A': [1, 2], 'B': [3, 4]}, index=range(2))
with pd.HDFStore("test.hdf5") as store:
store.put("test", df, format="table")
在ViTables中阅读时，我得到了以下布局：
我可以用pandas.read_hdf()正确地读取它，但是我发现数
浏览 0提问于2018-06-07得票数 2
回答已采纳
1回答
我正在使用烈火项目中的odo来合并多个熊猫hdfstore表，按照这个问题中的建议：
这些商店有相同的栏和不重叠的标志，从设计和几百万行。单独的文件可能会被放入内存中，但是合并后的文件可能不会。
有什么方法可以保留创建hdfstore的设置吗？我松散了数据列和压缩设置。
我试过没有运气的odo(part, whole, datacolumns=['col1','col2'])。
另外，如能就其他方法提出任何建议，将不胜感激。当然，我可以手动完成这个操作，但是为了不耗尽内存，我必须管理chunksizing。
浏览 0提问于2015-05-26得票数 2
回答已采纳
1回答
我使用下面使用NaN /pandas的代码将包含大量HDFStore值的大型数据集存储在HDFStore中
with get_store(work_path+'/stores/store.h5') as store:
for chunk in reader:
for column in column_list:
store.append('%s' % column, chunk[column],
data_columns=column
浏览 1提问于2014-09-19得票数 1
回答已采纳
1回答
我对此感到非常困惑，我有两个脚本运行在同一个笔记本服务器上。我在同一个文件夹中有一个HDFStore，但是对于一个脚本，它看起来是空的，而另一个则没有。
import os
os.getcwd()
返回NB 1：‘e：\DoingDataScience\标识\脚本’
返回NB 2：‘e：\DoingDataScience\标识\脚本’
store = pd.HDFStore('data_test.h5')
store.items
返回NB 1：
<bound method HDFStore.items of <class 'pandas.io.pytabl
浏览 1提问于2016-06-05得票数 0
回答已采纳
1回答
我想在一个HDFStore中存储多个对象，但是我想通过分组来组织它。与…有关的东西：
import pandas as pd
my_store = pd.HDFStore('my_local_store.h5')
my_store._handle.createGroup('/', 'data_source_1') # this works, but I'm not sure what it does
my_store['/data_source_1']['part-1'] = pd.DataFrame({&
浏览 3提问于2016-06-28得票数 5
回答已采纳
在熊猫中，Dataframe/Series有一个.isnull()方法。where=筛选方法的HDFStore筛选器的语法是否有类似之处？
浏览 2提问于2017-02-19得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
