有没有一种快速方法可以在包含pytables的大型hdf5表中查询不同的列值？
在包含pytables的大型hdf5表中查询不同的列值，可以使用tables库提供的API来实现。
首先，tables是一个Python库，用于处理和分析HDF5文件。HDF5是一种用于存储和组织大规模科学数据集的文件格式。而pytables是在Python中使用HDF5文件格式的扩展库。
要在包含pytables的大型hdf5表中查询不同的列值，可以按照以下步骤进行操作：
- 导入
tables库：import tables。 - 打开HDF5文件：
h5file = tables.open_file('your_file.h5', mode='r')，其中your_file.h5是你要查询的HDF5文件的路径。 - 获取表格对象：
table = h5file.root.table_name，其中table_name是你要查询的表格的名称。 - 获取列对象：
column = table.col(column_name)，其中column_name是你要查询的列的名称。 - 使用
numpy库中的unique函数获取不同的列值：unique_values = numpy.unique(column)。这将返回一个包含不同列值的数组。
至此，你已经成功查询到了包含pytables的大型hdf5表中不同的列值。
以下是pytables的相关信息：
- 概念：
pytables是一个Python库，用于处理和分析HDF5文件格式的数据。它提供了高效的存储和检索大规模科学数据集的方法。 - 分类：
pytables属于数据存储和分析领域的库。 - 优势：
pytables具有高效的数据存储和读取性能，特别适用于处理大规模数据集。它提供了灵活的数据查询和分析功能，并且支持各种数据类型和复杂的数据结构。 - 应用场景：
pytables广泛应用于科学计算、天文学、气象学、生物学、地理信息系统等领域的数据存储和分析任务。 - 腾讯云产品推荐：腾讯云提供了云数据库TBase，它是一种分布式关系型数据库服务，支持海量数据存储和高并发访问。你可以使用TBase来存储和查询大型数据集，并根据具体需求选择适合的存储引擎和计算资源。
腾讯云云数据库TBase产品介绍链接地址：https://cloud.tencent.com/product/tbase
相关·内容
我得到了一个巨大的hdf5文件，它包含一个表，26列，大约30亿行(它不可能放入内存)。我做了很多谷歌搜索，但找不到一种快速的方法来查询一列或一组列的不同值。有没有比遍历所有行和构建列表更快的方法？
浏览 12提问于2019-06-03得票数 1
回答已采纳
1回答
我有几个(多达几百个) hdf5文件，其中包含并行模拟的结果:每个计算节点创建一个独立的hdf5文件，以避免任何同步问题。
有没有任何方法来创建hdf5文件中所有数据的“映像”，比如，这个“映像”看起来像是拥有所有数据，但实际上，它将提供来自其他文件的数据？
我要找的是：
"data-node0.h5"
spike/PopulationA -> pandas data frame columns=[0,3,6,9]
"data-node1.h5"
spike/PopulationA -> pandas data f
浏览 4提问于2017-10-21得票数 2
Python与SQLite (sqlite3，atpy)和HDF5 (h5py，pyTables)的接口似乎有很多选择--我想知道是否有人有将它们与numpy数组或数据表(结构化/记录数组)一起使用的经验，以及其中哪一个与每种数据格式(SQLite和HDF5)的“科学”模块(numpy，scipy)无缝集成。
浏览 0提问于2011-10-25得票数 12
回答已采纳
5回答
我有来自csv的数据，csv有几千列和一万行左右的行。在每一列中，数据的类型是相同的，但是不同的列有不同类型的数据*。以前，我一直在挑选numpy中的数据，并将其存储在磁盘上，但速度相当慢，特别是因为通常我希望加载某些列的子集，而不是全部。
我希望使用pytable将数据放入hdf5中，我的第一种方法是将数据放在一个表中，每个hdf5列中有一个hdf5列。不幸的是，由于512 (软)列的限制，这是行不通的。
存储这些数据的合理方法是什么？
*我的意思是，由文本转换后的数据类型。
浏览 4提问于2013-11-18得票数 11
回答已采纳
我有一组N字节的二进制数据块，其中每个块恰好对应于PyTables表的一行。
现在，我正在将每个块解析为字段，将它们写入表行中的各个字段，并将它们附加到表中。
但这看起来有点愚蠢，因为PyTables将把我的结构化数据转换回平面二进制形式，以便包含在HDF5文件中。
如果我需要优化执行此操作所需的CPU时间(我的数据以大的突发形式出现)，有没有一种更有效的方法直接将数据加载到PyTables中？
浏览 2提问于2013-10-12得票数 0
1回答
如何将HDF5数组组合到表中？
、、、、
我有一个只包含15个数组的HDF5文件。通常我会使用SQL查询这些信息，但是数据库关闭了，我有一个HDF5文件和PyTables来代替它。在PyTables上，我能找到的唯一一个输出“行”而不是列中特定元素的查询是在表上完成的，而不是数组。 目前，我一直在自己的h5文件中从头开始创建表，分别填充每一行，并偶尔刷新一次。这需要很长时间，因为有2900万行。下面是我用来创建表的代码： #Defining Table Structure
table_description = {
'Column1':tables.FloatCol(),
'C
浏览 26提问于2020-07-08得票数 0
自从1.8.8以来，HDF5提供了来更快地处理具有许多或较大属性的HDF5节点。默认情况下，启动密集存储的限制(H5Pset_attr_phase_change)设置为8个属性。
有没有办法用Python将其更改为0(即始终使用密集存储)，或者更好的方法是直接通过
编辑：如果不能通过PyTables进行更改，但必须在外部进行，那么这些外部更改仍然影响PyTables是很重要的。因此，通过HDF5添加的所有PyTables属性都应该被密集地存储。
浏览 1提问于2015-03-17得票数 1
1回答
尝试安装Pytables，并且我已经安装了几乎所有的依赖项:然而，当我尝试安装pytables时：
* Found numpy 1.7.0b1 package installed.
* Found numexpr 2.0.1 package installed.
* Found Cython 0.16 package installed.
* Found HDF5 headers at ``/home/xug/pytables/hdf5/include``, library at ``/home/xug/pytables/hdf5/lib``.
.. ERROR:: Unsupported H
浏览 2提问于2012-08-28得票数 3
我有一个树数据结构，我想保存到磁盘。因此，具有内部树结构的HDF5似乎是最理想的选择。然而，到目前为止，数据开销是巨大的，是100倍！
一个测试树包含大约100个节点，其中叶子通常不包含超过2或3个数据项(如双数据项)。如果我把整棵树都摘下来，然后腌制一下，它大概有21 is大。但是，如果我使用PyTables并将树结构一一对应地映射到HDF5文件，则文件将获得2.4MB (!)磁盘空间。头顶有那么大吗？
问题是，开销似乎不是常数，而是与树数据的大小成线性比例(以及随着每个叶数据的增加而增加节点，即扩大叶表的行)。
我是不是错过了一些关于PyTables的东西，比如启用压缩(我认为PyTabl
浏览 4提问于2014-02-28得票数 2
回答已采纳
是否可以在不打开或创建hdf5文件的情况下创建PyTables表？我的意思是，也是我需要的，是在不同的进程中创建一个表(实际上是非常多的表)，处理这些表，并在最后将这些表存储到hdf5文件中(并确保一次只有一个进程执行存储)。
原则上，我可以对普通的Python数据(数组、字符串等)进行所有计算，最后执行存储。然而，我从一开始就喜欢在PyTables上工作的原因是理智的检查。我希望始终确保我使用的数据适合预定义的表，并且不会违反形状约束等(因为PyTables会检查这些问题，所以我不需要自己实现所有这些问题)。
非常感谢和亲切的问候，罗伯特
浏览 0提问于2013-05-18得票数 1
回答已采纳
1回答
我想使用存储在亚马逊网络服务S3中的HDF5文件。我最初的想法是构建一个Lambda函数，它可以拉取该文件，将数据附加到表中，然后使用python将文件上传回S3。
但是，PyTables (和h5py)需要libhdf5-dev。有没有一种方法可以让HDF5驱动进入执行环境？或者这是否意味着HDF5在AWS Lambda空间中根本不可用？
浏览 15提问于2016-09-23得票数 4
回答已采纳
1回答
我正在处理一个需要保存和加载多个文件的项目：
标量/矩阵/阵列
表(即带有列和行注释的矩阵)
现在，我想将所有数据存储在一个文件(或透明数据存储)中，但我不知道如何正确地存储表。
如何保存表的轴标签，以保持数据编程语言无关？
熊猫或PyTables可以访问HDF5文件，但它们不允许存储普通的NumPy数组。
而且，我也不确定是否容易将这样的特殊表加载到R中。
xarray使用基于NetCDF的HDF5格式，但如何将多个表+数组存储在一个NetCDF文件中？
与R的互操作性如何？
最简单的选择:只需将轴放入一个名为ds name_axisn的单独数据集中即可。
浏览 2提问于2018-05-22得票数 4
回答已采纳
1回答
如何使用PyTables将数值多维数组放入HDF5文件中？
据我所知，我不能将数组字段放入pytables表中。
我还需要存储有关此数组的一些信息，以便能够对其进行数学计算。
有什么建议吗？
浏览 0提问于2012-01-13得票数 18
回答已采纳
如何将hdf5表数据库读取为：
domains = h5.root.'a name with blanks'
如果这是不可能的，但也许有特殊的标志？
浏览 8提问于2022-08-25得票数 0
回答已采纳
我同时使用pandas和pytables (3.1.1)。问题是我已经打开了一个包含pytables的HDF5文件，当我尝试使用pandas创建一个新的HDF5Store时
hdf5store = HDFStore(...)
我得到以下错误：
File "/home/travis/virtualenv/python2.7_with_system_site_packages/local/lib/python2.7/site-packages/pandas/io/pytables.py", line 281, in __init__
self.open(mode=mod
浏览 2提问于2014-05-21得票数 4
我需要在PyTables Linux上运行一个更老的版本，即2.3.1和Anaconda环境。但我不能安装它。
conda install -n myenv pytables=2.3.1
找不到合适的版本。
conda install -n myenv pytables=2
成功安装PyTables 2.4.0。但我需要2.3.1。
另外，激活环境并通过pip进行安装也不起作用。
pip install tables==2.3.1
失败，但有以下错误：
。。错误：：找不到本地HDF5安装。
您可能需要显式地说明本地HDF5头和
通过设置HDF5_DIR环境可以找到库
变量或使用--hdf5命
浏览 6提问于2015-03-05得票数 0
回答已采纳
1回答
我最近升级了python安装上的表，一些奇怪的事情似乎发生在HDF5库中。
我得到了一堆数据，这些数据最初被保存为一个.mat文件，它使用HDF5格式。我一直在使用pyTables将其读到python中，到目前为止，它一直运行得很好。
我将pyTables升级到3.0版，这似乎也升级了我的HDF5安装(或者类似的东西)。现在，每当我试图将.mat文件读入内存时，都会得到以下错误：
Warning! ***HDF5 library version mismatched error***
The HDF5 header files used to compile this application
浏览 3提问于2013-11-16得票数 0
我最近使用Python2.7.2在Windows上安装了HDF5 1.8.9和PyTables 2.4.0，并从PyPI (如果可用的话)或 (如果没有)安装了以下二进制文件
Numpy 1.6.1超级包
数字1.4.2
Cython 0.17.3
0.10.0rc1超级包
matplotlib 1.1.1
导入表时，模块导入，但会产生以下错误
"The procedure Entry point InitOnceExecuteOnce could not be located in the dynamic link library KERNEL32.dll
浏览 1提问于2013-01-03得票数 1
回答已采纳
我使用PyTables来存储一个工作良好的数据数组；与它一起，我需要存储一个包含JSON数据的中等大(50K-100 K) Unicode字符串，并且我想压缩它。
我如何在PyTables中做到这一点？我已经很久没有使用HDF5了，我不记得有什么正确的方法来存储字符数组，这样就可以压缩它们了。(我似乎在PyTables网站上找不到类似的例子。)
浏览 4提问于2014-01-14得票数 6
回答已采纳
我用的是HDFStore和熊猫/比目鱼。
删除表或对象后，hdf5文件大小不受影响。当添加额外的对象来存储时，这个空间似乎会在以后被重用，但是如果浪费了大量的空间，它可能会成为一个问题。
我没有在熊猫和可用于恢复hdf5内存的pytables中找到任何命令。
您知道改进hdf5文件中的数据管理的机制吗？
浏览 3提问于2014-01-13得票数 5
回答已采纳
1回答
我使用pandas HDFSTore对象打开一个hdf5文件并存储DataFrame对象。但在此之前，我想知道该文件是否为空。有没有办法找出我的
In[12]:
import pandas
store = pandas.io.pytables.HDFStore('store.h5')
Out[12]:
<class 'pandas.io.pytables.HDFStore'>
File path: store.h5
Empty
有没有办法在store.h5中浏览层次结构树来检查对象是否为空。我想获取store.h5中的对象列表
浏览 1提问于2012-05-03得票数 1
回答已采纳
除了2.7之外，我还在安装Python2.7。当再次安装PyTables 2.7时，我得到了这个错误-
发现numpy 1.5.1软件包已安装。。。错误：：找不到本地HDF5安装。您可能需要通过设置HDF5环境变量或使用--hdf5命令行选项.来显式地声明您的本地--hdf5头和库的位置。
我不清楚HDF的安装。我再次下载-并将其复制到/usr/local/hdf5 5目录中。并尝试按照PyTable安装中的建议设置环境变量。有没有其他人有这个问题能帮上忙？
浏览 13提问于2011-02-11得票数 7
回答已采纳
TL;DR:我有一个带有PyTable Col的float32，在它中写入numpy-float32 32-数组时会出错。(如何)可以将numpy-数组(float32)存储在PyTables表的列中？
我对PyTables很陌生--在 (Tensorflow中使用HDF5的库)的推荐下，我使用它将所有HDF5数据(目前在多个文件中分批分发，每个包含三个数据集)存储在单个HDF5文件中的一个表中。数据集是
'data' : (n_elements, 1024, 1024, 4)@float32
'label' : (n_elements, 1024, 1024
浏览 0提问于2018-03-12得票数 0
回答已采纳
1回答
HDF5文件和PyTables创建的文件有什么区别吗？
PyTables有两个函数.isHDFfile()和.isPyTablesFile()，这表明这两种格式之间存在差异。
我在谷歌上浏览了一下，发现PyTables是建立在HDF之上的，但除此之外我找不到更多的东西。
我对互操作性、速度和开销特别感兴趣。
谢谢。
浏览 3提问于2011-11-04得票数 14
回答已采纳
2回答
我正在开发一个蒙特卡洛模拟软件包，它涉及多个物理和模拟器。我需要做在线分析，跟踪派生数据对原始数据的依赖关系，并执行诸如“给我temperature>400和position near (x0，y0)的波形”之类的查询。所以内存中的数据模型相当复杂。
该应用程序是用Python编写的，每个模拟结果都被建模为一个Python对象。每小时产生大约100个结果(对象)。大多数对象都有繁重的数据(几MB的二进制数字数组)，以及一些轻型数据(温度、位置等)。总数据生成速率为每小时几GB。
我需要一些数据持久化解决方案，以及一个易于使用的查询API。我已经决定将大量数据(数字数组)存储在HDF5存储
浏览 1提问于2012-01-25得票数 8
2回答
如何将超大数组保存为多个小文件？
、、、、
在linux 64位环境中，我有非常大的float64阵列(单个阵列将是500 to到1TB)。我想用统一的方式访问numpy中的这些数组: ax:y。所以我不想一个文件一个文件地访问这些数组。有没有什么工具可以让我在多个不同的文件上创建memmap？hdf5或pytables可以将单个CArray存储到多个小文件中吗？也许是类似于fileInput的东西？或者，我是否可以对文件系统执行一些操作来模拟单个文件？
在matlab中，我一直使用H5P.set_external来做这件事。然后我可以创建一个原始数据集，并将其作为一个大的原始文件进行访问。但是我不知道我是否可以用python在这些数据
浏览 8提问于2016-09-16得票数 1
我有一个很大的矩阵，目前存储在一个特定的表中。
每个矩阵行都有一个与不同表相关的特定ID。(这就是我使用RDBMS的原因)。
目前，我使用"JSONB“类型的列作为矩阵的行的字段(每个矩阵行包含10000列)。
所以看起来是这样的-
ID，不同表ID，矩阵行(JSONB)
现在，我想查询这个表以使用矩阵。例如，当查询应该在python中以矩阵形式检索矩阵时，对500行矩阵的批处理进行迭代。
我该怎么做呢？
有没有更好的方法来存储这个矩阵，这样我以后就可以操作它了？
我应该使用HDF5而不是SQL吗？
浏览 0提问于2019-12-28得票数 1
当我使用pandas将csv文件转换为hdf5文件时，结果文件非常大。例如，170Mb的测试csv文件(23列，130万行)将生成2 2Gb的hdf5文件。然而，如果绕过pandas，直接写入hdf5文件(使用pytables)，那么它只有20Mb。在以下代码中(用于在pandas中执行转换)，数据帧中对象列的值被显式转换为字符串对象(以防止酸洗)：
# Open the csv file as pandas data frame
data = pd.read_csv(csvfilepath, sep=delimiter, low_memory=False)
# Write the resu
浏览 0提问于2014-04-28得票数 0
2回答
我有一个可能包含HDF5格式(PyTables)数据的my_file.h5文件。我尝试使用pandas来读取此文件：
import pandas as pd
store = pd.HDFStore('my_file.h5')
然后我尝试使用store对象：
print store
结果，我得到了：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/lib/pymodules/python2.7/pandas/i
浏览 3提问于2013-04-23得票数 2
1回答
我有一个数据文件，我想以附录格式保存到一个hdf5文件中。dataframe如下所示：
column1
0 [0, 1, 2, 3, 4]
复制问题的代码是：
import pandas as pd
test = pd.DataFrame({"column1":[list(range(0,5))]})
test.to_hdf('test','testgroup',format="table")
不幸的是，它返回了以下错误：
------------------------------------------------
浏览 7提问于2022-11-18得票数 1
回答已采纳
1回答
[root@e06e8f90e201 optimus]# pip install tables
Collecting tables
Downloading tables-3.2.3.1.tar.gz (7.1MB)
100% |################################| 7.1MB 120kB/s
Complete output from command python setup.py egg_info:
/usr/bin/ld: cannot find -lhdf5
collect2: error: ld returned 1 e
浏览 2提问于2016-08-08得票数 0
1回答
我正在尝试使用bcolz，看看它是否与我需要做的事情兼容。我有一个由大约1100万行和大约120列组成的数据集。此数据当前以HDF5文件中的PyTables“表”格式存储。在HDF5文件中，数据被分成几个“组”(独立的节点)，每个组包含不同的列。
我想要做的是将所有这些数据转换为磁盘上的bcolz ctable，而不是一次性将其全部读取到内存中。我可以通过这样对第一个组执行此操作(basic是其中一个组的名称)：
bcolz.ctable.fromhdf5('census.h5', '/basic/table', rootdir='census'
浏览 0提问于2015-10-17得票数 0
我正在构建一个hdf5文件，其中包含不同的测量数据集。对于实验和每次测量，我都有一些我想加入的元数据。 我的元数据包含有关我的样本、设置、测试过程等的信息，因此我希望将其组织为嵌套字典。由于HDF5文件格式不能将字典存储在属性中(而且我发现将元数据放入数据集中的替代方法是不干净的)，所以我决定使用pyTables而不是h5py，因为它有自己的语法来将字典作为字符串存储在hdf5属性中/从hdf5属性中解析出来。 我构建了一个具有以下结构的文件 'G1'
'M1'
'M2' 我能够存储每个度量的元数据，执行以下操作： store
浏览 38提问于2021-10-16得票数 0
1回答
是否可以从HDF5 (通过pyTables或者最好是熊猫)读取行的随机子集？我有一个包含数百万行的非常大的数据集，但只需要几千个样本进行分析。那么从压缩的HDF文件中读取呢？
浏览 2提问于2014-01-10得票数 8
回答已采纳
我有从这个文件读取的unicode数据：
Mdt,Doccompra,OrgC,Cen,NumP,Criadopor,Dtcriacao,Fornecedor,P,Fun
400,8751215432,2581,,1,MIGRAÇÃO,01.10.2004,75852214,,TD
400,5464282154,9874,,1,MIGRAÇÃO,01.10.2004,78995411,,FO
我有两个问题：
当我试图查询这个unicode数据时，我会得到一个UnicodeDecodeError：
回溯(最近一次调用)：文件""，第1行，在runfile('C:/Us
浏览 1提问于2015-03-12得票数 1
我必须将大型图像的子样本存储为大小为20、20、5的.npy数组。为了在训练分类模型时均匀采样，我正在寻找一种有效的方法来存储近1000万个子样本，这样就可以做到这一点。
如果我将它们存储为完整的图像，那么在培训期间进行采样并不能代表分布。我有存储空间，但我会用尽inode来存储这么多“小”文件。h5py /写入hdf5文件是对我的问题的自然回答，但是这个过程非常缓慢。运行一个程序一天半是不够的时间来编写所有的子样本。我是h5py的新手，我想知道太多的写作是否是造成这种情况的原因。
如果是这样的话，我不知道如何适当地分块，以避免不均匀抽样的问题。每个图像具有不同数量的子样本(例如，一个图像可以
浏览 2提问于2021-03-16得票数 2
1回答
我使用Pandas创建了一个大型的带索引的HDF5表。我想重命名表中12列中的2列。我不希望重新构建/重新索引表。
可以在不复制所有数据(140 be )的情况下做到这一点吗？我希望文件中只有几个元数据，可以用正确的命令很容易地交换出来。
这是因为我有几个“非自然”列名，其中有空格，直到尝试运行select语句时，我才意识到这是一个问题。
浏览 25提问于2016-08-02得票数 1
回答已采纳
我正在使用一个大的pytables.Table文件中的read_where方法读取来自一个hdf5 (版本3.1.1)的一大块数据。生成的numpy数组大约有420 MB，但是在read_where调用期间，我的python进程的内存消耗增加了1.6GB，并且调用完成后内存不会释放。即使删除数组、关闭文件和删除hdf5文件句柄也不会释放内存。
我怎么能再次释放这个记忆呢？
浏览 6提问于2014-06-11得票数 0
回答已采纳
我正在使用PyTables python包构建一个HDF5文件。该文件将每天更新最新的节拍数据。我想创建两个组- Quotes和Trades，并为不同的期货到期创建表。我想检查组Quotes是否存在，如果不存在，则创建它。在PyTables中做这件事的最好方法是什么？
下面是我现在所在位置的代码片段：
hdf_repos_filters = tables.Filters(complevel=1, complib='zlib')
for instrument in instruments:
if options.verbose:
hdf_file = os.pat
浏览 38提问于2016-05-09得票数 3
回答已采纳
我通常使用h5py在Python语言中做HDF5工作，如果我想创建一个稍后要扩展的数据集，或者，我会这样做：
f = h5py.File('foo.h5', 'w')
d = f.create_dataset('whatever', (5, 5), maxshape=(None, 5), dtype='i8', chunks=True)
...
d.resize((23, 5))
...
maxshape(None, ...)将第一个维度设置为"infinity"，因此它是可扩展的。
现在我有一个项目，我需要坚持使
浏览 0提问于2017-07-04得票数 1
3回答
我意识到一个SO用户以前问过这个，但它是在2009年问的，我希望有更多关于HDF5的知识可用，或者更新的版本已经解决了这个特定的问题。在这里重申关于我自己问题的问题；
我有一个巨大的文件，其中包含来自大型几何图形的节点和元素，并且已经从其中检索到了我需要的所有有用信息。因此，在Python中，我试图保留原始文件，但删除不需要的信息，并为其他来源填充更多信息。例如，我有一个不需要的节点数据集。但是，我需要保留相邻的数据集，并包含来自外部文件的有关其索引的信息。有没有办法删除这些特定的数据集？
或者，在HDF5文件中保留“占位符”的旧想法仍然适用，这样就没有人知道如何/麻烦地删除信息？我不太担心空
浏览 1提问于2012-06-26得票数 17
回答已采纳
1回答
我想将一个键控的500GB-800GB表转储到HDF5中，然后检索与特定键匹配的行。
对于一个HDF5文件，所有数据访问之类的项都使用一个整数“行”号，因此我似乎必须在HDF5之外实现一个‘键到行号映射’。
这个能行吗？我是否需要访问“内存中的整个HDF5”？
有人能告诉我HDF5在这种情况下的表现有多差吗？如果有不错的索引，这只是一个巨大的字典，对吗？
我应该用别的东西吗？
浏览 1提问于2016-07-10得票数 0
回答已采纳
我有大量的序列--可能有数十万个--每个序列包含100到10,000个项目，每个项目由大约5个浮动组成。
我需要一个数据存储，它可以快速地在批处理中为PyTorch培训服务。我还需要能够快速地将新的序列写入商店。这就像一个经验回放缓冲区，以加强学习，但我想存储每一个运行。
这些序列应该有一些附加的可查询格式的结构化元数据，这样我就可以选择序列的子集。
最好的解决方案看起来像HDF5 --不管是通过h5py还是通过PyTables --只是我不知道如何使它有效地处理可变序列长度。填充是不合适的，因为长度变化很大，将每个序列作为自己的HDF5数据集存储似乎是一个糟糕的想法，因为HDF5似乎没有对大
浏览 0提问于2020-05-05得票数 2
我在pytables中有一个包含300+列的数据集，我希望能够轻松地选择不同的子集。这似乎没有一个非常优雅的解决方案，或者是我遗漏了什么？
我还希望有一种方法可以创建另一个表，该表只是对原始表中的select列进行别名，这样我就可以拥有主表和子集teables。有没有办法做到这一点？
浏览 2提问于2011-05-18得票数 2
回答已采纳
我试图解决的问题如下--我有一个长时间运行的Python (可能需要很多小时才能完成)进程，它会产生多达80000个HDF5文件。由于瓶颈之一是这些文件的不断打开和关闭，所以我决定编写一个概念代码，它使用单个HDF5文件作为包含多个表的输出。这当然有帮助，但我想知道是否有一种快速(呃)方法将指定的表(如果可能的话进行重命名)导出到单独的文件中？
浏览 0提问于2020-03-20得票数 0
回答已采纳
1回答
在当前的项目中，我们有一个带有分析模块的webapp。用户选择一些筛选器，并根据这些筛选器显示表格或图形。我们希望模块具有响应性，因此当用户选择过滤器时，它可以在几秒钟内获得数据。
用户筛选器正在查询一个大约1,000,000,000行和20列的大表(在几年内，它应该以行为单位增长2倍/年)。20列中有18列是可过滤的。大多数情况下会有SELECT + WHERE查询。
我们不确定，我们应该使用数据仓库还是传统的数据库。目前的研究建议我们应该在Clickhouse，DynamoDB，Snowflake，BigQuery或Redshift之间进行讨论。有没有人有类似的用例，你会推荐哪种数据库解决
浏览 21提问于2021-02-22得票数 0
我正在尝试从Gaia目录中获取一些数据，然后将这个不稳定的表转换为一个熊猫DataFrame，然后我想将它存储在一个hdf5文件中。我不能直接将astropy表(查询的结果)存储到hdf5文件中，因为我需要对它进行一些处理。
问题是，当我想将DataFrame存储到hdf文件中时，我会得到以下错误：
Traceback (most recent call last):
File "C:/Users/Administrateur.UTILISA-D5U7HV7/Documents/MEGA/ipsa/cours/aero4/stage/working_directory/python
浏览 2提问于2020-06-11得票数 0
回答已采纳
使用pandas版本0.19.1 (在我的系统上安装了py27-tables-3.2.2_1和hdf5-1.10.0 )，我尝试使用以下命令将pandas数据帧保存为.h5：
import pandas as pd
df = pd.DataFrame(dict(A=range(5), B=range(5)))
df.to_hdf('savefile.h5', 'table', mode='w')
但是，会出现以下错误：
Traceback (most recent call last):
File "<stdin>"
浏览 2提问于2016-12-12得票数 0
1回答
有没有一种方法可以在磁盘上获取大量数据(只有几个100 GB)，并以熊猫数据的形式在磁盘上与其交互？
以下是我迄今所做的工作：
描述使用pytable的数据，下面的示例是：
通过将部分数据(几GB)加载到HDF5文件中来运行测试
使用pd.DataFrame.from_records()将数据转换为数据
最后一步将所有数据加载到内存中。
在第一步中，我一直在寻找将数据描述为熊猫数据的方法，但是还没有找到一套很好的指令来完成这个任务。我想做什么是可行的吗？
浏览 1提问于2015-06-13得票数 1
我有个奇怪的问题。我通过自制软件将我的hdf版本从1.8.11更新到了1.8.12。当然，pytables很疯狂，因为它是基于1.8.11构建的，所以我通过pip重新安装了它。但是现在pytables抱怨头文件是1.8.11，而库是1.8.12。我卸载了所有内容(hdf5 1.8.11、1.8.12和pytables)并从头开始，即brew install hdf5、pip install --user tables。但我仍然收到相同的错误：
Warning! ***HDF5 library version mismatched error***
The HDF5 header files u
浏览 0提问于2013-11-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
