在忽略某些组和数据集的情况下访问HDF5文件结构
，HDF5（Hierarchical Data Format 5）是一种用于存储和管理大规模科学数据集的文件格式。它具有以下特点：
概念：
HDF5文件结构是一种层次化的结构，类似于文件系统的目录结构。它由组（Group）和数据集（Dataset）组成。组类似于文件夹，可以包含其他组和数据集，而数据集则类似于文件，存储实际的数据。
分类：
HDF5文件结构可以根据组织方式进行分类，包括文件头（File Header）、根组（Root Group）、用户自定义组（User-defined Group）和数据集（Dataset）等。
优势：
- 灵活性：HDF5文件结构可以容纳各种类型的数据，包括多维数组、表格数据、图像、音频和视频等。它支持不同的数据类型和压缩算法，可以根据需求进行灵活配置。
- 高效性：HDF5文件结构使用了数据压缩和数据分块技术，可以在存储和传输大规模数据时提高效率。同时，它还支持并行访问和并行写入，适用于高性能计算和大规模数据处理。
- 跨平台性：HDF5文件结构是一种开放的标准，可以在不同的操作系统和编程语言中使用。它提供了丰富的API和工具库，方便开发人员进行数据读写和处理。
应用场景：
HDF5文件结构广泛应用于科学计算、数据分析和可视化等领域。例如，在气象学中，可以使用HDF5文件结构存储和共享气象观测数据；在生物医学中，可以使用HDF5文件结构存储基因组数据和影像数据；在地球科学中，可以使用HDF5文件结构存储地震数据和地理空间数据。
推荐的腾讯云相关产品：
腾讯云提供了一系列与HDF5文件结构相关的产品和服务，包括对象存储（COS）、云服务器（CVM）、云数据库（CDB）等。这些产品可以与HDF5文件结构相结合，提供高可靠性、高性能和高扩展性的存储和计算能力。
产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库（CDB）：https://cloud.tencent.com/product/cdb
请注意，以上答案仅供参考，具体的产品和服务选择应根据实际需求和情况进行评估和决策。
相关·内容
2回答
在HDF5中，我们得到了一些包含数据集、表格数据的文件，其中每一列都有名称，并且可能具有不同的数据类型(例如，string类型的"author“，无符号整数类型的”计数“，等等)。我唯一能找到的用于阅读HDF5的纯Java(即非JNI)库是NetCDF。
看来，我可以使用HDF5 Variable从NetCDF数据集中读取一列数据。但是，没有办法从数据集中读取整个数据表吗？HDF5数据集到NetCDF仅仅是具有单维数组值的变量集合，而不是表吗？
编辑:让我进一步解释。如果我打开HDF5 2.9中的一个文件，导航到"HDF5复合数据集“的一个项，并选择”HDF5复合数据集“，就会
浏览 3提问于2013-04-18得票数 1
回答已采纳
2回答
我正在开发一个用于数据分析的混合SQL (使用mySQL)和HDF5数据库解决方案。我的一些数据非常适合关系，SQL作为一种查询语言非常方便和有效，但是我有大量的数字数据(具有数千或元素/行/列的数组和矩阵)。因此，我将这些数据保存在一个HDF5文件中，并根据每个观察值之间的一些共性来排列组层次结构，这样，如果我将用于派生该层次结构的字段添加到SQL Select查询中，并在关系数据库中添加一个包含该特定观察值在数据集中的位置的索引，我就可以快速获得在HDF5文件中定位数值数据所需的所有信息。
我用Python，Numpy和h5py写了所有这些。然而，在某种程度上，我想让整个事情变得更加用户友
浏览 4提问于2013-07-19得票数 1
我正在使用c/CUDA和python进行一些cfd模拟，目前工作流程如下：
开始用纯c/ cuda编写的模拟。
将输出写入二进制文件
使用python (即numpy.fromfile )重新打开文件，并进行一些分析。
由于我有大量的数据和一些元数据，所以我认为最好切换到hdf5文件格式。所以我的想法是，
使用pytable为我的模拟创建一些初始条件数据。
使用标准hdf5库重新打开并写入c++中的数据集。
使用pytable重新打开文件以进行分析。
我真的很想对数据做一些实时分析，比如从c-编程写入hdf5，并使用pytable直接从python读取。
浏览 2提问于2014-07-15得票数 2
回答已采纳
9回答
我正在开发一个，用于向文件夹中添加元数据。提供的(Python) API允许您浏览和访问元数据，就像它只是另一个文件夹一样。因为它只是另一个文件夹。
\folder\.meta\folder\somedata.json
然后我遇到了及其派生的。
在“HDF5”( )一书中，我读到了它的优点，与在文件夹中使用文件相比，我在寻找使用它的好处，但我遇到的大多数内容都谈到了分层文件格式在通过API添加数据时的简单性方面的好处：
>>> import h5py
>>> f = h5py.File("weather.hdf5")
>>>
浏览 18提问于2014-03-02得票数 69
1回答
我有几个(多达几百个) hdf5文件，其中包含并行模拟的结果:每个计算节点创建一个独立的hdf5文件，以避免任何同步问题。
有没有任何方法来创建hdf5文件中所有数据的“映像”，比如，这个“映像”看起来像是拥有所有数据，但实际上，它将提供来自其他文件的数据？
我要找的是：
"data-node0.h5"
spike/PopulationA -> pandas data frame columns=[0,3,6,9]
"data-node1.h5"
spike/PopulationA -> pandas data f
浏览 4提问于2017-10-21得票数 2
我已经选择了特定的hdf5数据集，并希望将它们复制到一个新的hdf5文件中。我可以找到一些关于在两个文件之间进行复制的教程，但是如果您刚刚创建了一个新文件，并且希望将数据集复制到文件中，那么怎么办？我原以为下面的方法是可行的，但实际上并非如此。有什么简单的方法可以做到吗？
>>> dic_oldDataset['old_dataset']
<HDF5 dataset "old_dataset": shape (333217,), type "|V14">
>>> new_file = h5py.F
浏览 0提问于2018-11-24得票数 3
回答已采纳
我试图找到一个最小的示例，用于使用HDF5接口中的C++驱动程序并行打开和关闭HDF5文件，该驱动程序为每个MPI进程级别创建一个HDF5组，并保存该文件。并不完全是我所称的最小值，但我尝试使用该示例的一部分，和。
到目前为止，这就是我想出来的：
编辑：我在MPI级别上添加了一个循环，尝试在集体模式下创建HDF5组，结果是一样的。
#include <iostream>
#include <mpi.h>
#include <sstream>
#include <iostream>
#include <memory>
using std
浏览 0提问于2018-09-18得票数 1
我需要HDF5文件中的get Group list，Dataset list，Attribute list，但我不知道list get功能。
获取列表的函数是什么？
我的库是HDFGROUP - hdf5-1.8.14。
浏览 3提问于2015-08-14得票数 1
2回答
我想以编程方式更改HDF5文件中与数据集关联的数据。我似乎找不到一种方法，既不能按名称删除数据集(允许我用修改后的数据重新添加它)，也不能按名称更新数据集。我使用的是HDF5 1.6.x的C应用程序接口，但是指向任何HDF5应用程序接口的指针都会很有用。
浏览 3提问于2009-01-15得票数 4
回答已采纳
1回答
简短的问题:在HDF5中有允许不同用户权限/访问限制的方法吗？
我们目前正在考虑建立一个Hyrax服务器，为不同的用户提供HF5文件。但是，应该只允许某些用户获取包含在一个HDF5文件中的数据的不同子集。
我知道HDF5不是为这个任务设计的，但是有人知道它是否有效，或者是否有任何解决办法？
浏览 3提问于2013-11-27得票数 0
回答已采纳
1回答
我决定使用HDF5的层次结构来存储数据，而不是依赖于文件系统。不幸的是，我遇到了性能问题。
我的数据格式如下:我有大约70个顶级组，对应于日期，每个组包含大约8000个数据集。我希望看到每天的数据集数量的列表：
for date in hdf5.keys():
print(len(hdf5[date]))
我发现这需要2+第二次迭代，这有点令人沮丧。
另外，我有两个不同的hdf5文件，上面的布局，较大的一个在这方面要慢得多。
我做错了什么？
浏览 0提问于2016-03-12得票数 2
从HDF5文件中删除数据需要重新打包主文件。由于我们使用大型子数据库文件(测量数据)，单独的HDF5数据文件从外部链接到主文件中。由于链接文件占用的空间很小，因此您可能会争论是否需要重新打包。 由于HDF5数据库可能会损坏，那么从主HDF5 db文件中正确删除外部链接数据库(h5py.ExternalLink)的过程是什么？
浏览 30提问于2020-07-07得票数 0
回答已采纳
打开.hdf5文件时，可以以不同的方式研究文件的级别、键和名称。我想知道是否有一种方法或函数可以显示.hdf5中所有要探索的可用路径。最终展示了整棵树。
浏览 9提问于2020-04-10得票数 5
回答已采纳
这可能是一个非常愚蠢的问题，至少是一个非常简单的问题。如果不值得详细回答的话，请告诉我正确的方向。
我的理解是，HDF5可以很好地存储分层数据。我使用文件系统来存储我的数据--根目录、子目录、数据文件(txt)和元数据文本文件。目录名通常也是描述性的。因此，将这些数据捆绑到一个hdf5文件(或多个文件)中，使用目录作为组，使用数据文件作为数据集，这似乎很自然。
我的问题是，这样做是否有好处？我希望能够使用组和/或属性(如从数据库中选择)来选择和组合数据集。而且，有工具可以做到这一点吗？
浏览 0提问于2015-01-08得票数 0
我刚刚看到，HDF5允许您在不将整个文件读入内存的情况下访问查找数据。
在没有Java的Parquet文件中，这种寻找行为是可能的吗(非吡火花解决方案)？我使用Parquet是因为强大的dtype支持。
import h5py
f = h5py.File('my_file.hdf5', 'w')
dset = f.create_dataset('coords', data=my_ndarray)
f.close()
f = h5py.File('my_file.hdf5', 'r')
dset = f['
浏览 8提问于2021-02-16得票数 4
我遇到了一个h5py教程，其中访问hdf5文件的一个特定索引如下：
f = h5py.File('random.hdf5', 'r')
data = f['default'][()]
f.close()
print(data[10])
以这种方式，即使在文件关闭时，数据仍然是可访问的。添加[()]似乎不再使data成为一个简单的指针，而是数据对象本身。[()]的含义是什么？
浏览 2提问于2020-06-25得票数 0
回答已采纳
1回答
我正在比较两个不同的hdf5文件，以确保它们匹配。我希望在hdf5文件中创建一个包含组中所有数据集的列表，这样我就可以在所有数据集中运行一个循环，而不是手动输入它们。我似乎找不出办法来做这件事。目前，我使用以下代码获取数据集：
tdata21 = ft['/PACKET_0/0xeda9_data_0004']
集合的名称位于"PACKET_0“组中。一旦我排列了所有的数据集，我就会比较这个循环中数据集中的数据：
for i in range(len(data1)):
print "%d\t%g\t%g" % (i, data1[i],tdata1
浏览 1提问于2017-01-06得票数 0
回答已采纳
我正在尝试使用Torch-hdf5将一些张量保存到hdf5！
我想非常仔细地遵循这个文档：
但是，在写入hdf5部分，它的示例是：
require 'hdf5'
local myFile = hdf5.open('/path/to/write.h5', 'w')
myFile:write('/path/to/data', torch.rand(5, 5))
myFile:close()
我知道"/path/ to /write.h5“指的是最终的文件，但是什么是"/path/to/data”呢？它只是一条随机的独立
浏览 25提问于2016-08-30得票数 4
1回答
我有一个想要转换成HDF5格式的数据集。它是来自的数据集。目录结构类似于：
NOAA
├── code
├── ghcnd_all
├── ghcnd_all.tar.gz
├── ghcnd-stations.txt
├── ghcnd-version.txt
├── readme.txt
└── status.txt
我和熊猫一起做数据分析。我对此感兴趣的主要原因是为了节省空间，数据集大约是25 to。
如何将此数据集转换为单个.hdf5文件？
浏览 3提问于2015-09-02得票数 4
回答已采纳
我试图将CT扫描数据导入ImageJ/斐济(在ImageJ/斐济有HDF5插件，但是同步CT数据有如此大的数据集)。所以它没能打开)。扫描数据(图像数据集)作为数据集保存到hdf5文件中。，因此我必须从hdf5文件中提取图像数据集，然后将其转换为Tiff文件.
这里的"F:/New_ESRF/SNT_BTO4/SNT_BTO4_S1/SNT_BTO4_S1_1_1pag_db0005_vol.hdf5“文件路径是HdF5文件路径，”SNT_BTO4_S1_1_1pag_db0005_vol.hdf5“被划分为几个数据集，图像数据集在这里：
目前，我使用h5py访问图像数据集。但是，在此
浏览 10提问于2021-12-11得票数 1
3回答
HDF5 :存储NumPy数据
、、、、
当我使用NumPy时，我以本机格式*.npy存储它的数据。它非常快，给了我一些好处，就像这个
I可以将*.npy从C代码中读取为简单的二进制数据(我的意思是*.npy与C结构兼容)
现在我正在与HDF5 (目前的PyTables)打交道。当我在本教程中阅读时，他们使用NumPy序列化程序来存储NumPy数据，这样我就可以像从简单的*.npy文件一样从C中读取这些数据了吗？
HDF5 5的numpy与C结构也是二元兼容的吗？
UPD：
我有matlab客户端从hdf5读取数据，但不想从C++读取hdf5，因为从*.npy读取二进制数据要快得多，所以我确实需要从C++读取hdf5 (二进制兼容性)
浏览 9提问于2010-11-09得票数 2
回答已采纳
1回答
我正在使用HDF5文件对C++类数据进行某种“序列化”。是否有一种方法可以使HDF5文件以相同的顺序访问每个数据集？
我选择HDF5是因为我需要从程序外部访问数据，并且能够恢复我的程序状态。
谢谢!
浏览 2提问于2014-03-16得票数 3
回答已采纳
6回答
组合hdf5文件
、、
我有许多hdf5文件，每个文件都有一个数据集。数据集太大，无法在RAM中保存。我希望将这些文件组合成一个单独包含所有数据集的文件(即而不是将数据集连接到一个数据集中)。
一种方法是创建一个hdf5文件，然后逐个复制数据集。这将是缓慢和复杂的，因为它将需要缓冲副本。
有更简单的方法吗？似乎应该有，因为它实际上只是创建一个容器文件。
我正在使用python/h5py。
浏览 4提问于2013-08-28得票数 31
回答已采纳
1回答
我在试着用HDF5存储时间序列的脑电图数据。这些文件可能非常大，由许多通道组成，我喜欢HDF5文件格式的特性(惰性I/O、动态压缩、mpi等)。
处理EEG数据的一个常见方法是将数据部分标记为“感兴趣”。我正在努力寻找一种在文件中存储这些标记的好方法。我看到支持将同一数据集链接到其他组的软/硬链接，等等--但我看不到任何方法来链接到数据集的各个部分。
例如，假设我有一个名为EEG的数据集，其中包含睡眠数据。假设我运行一个算法，该算法需要一段时间来处理数据，并生成与REM睡眠周期相对应的索引。在HDF5文件中存储这些索引范围的最佳方式是什么？
我现在能想到的最好方法是创建一个包含三列的datas
浏览 1提问于2014-03-31得票数 2
我正在编写一个框架来编写与Octave兼容的HDF5文件。也就是说，我希望我的框架能够读取Octave编写的HDF5文件，并且Octave能够读取我的框架编写的HDF5文件。我正在使用HDF-JAVA来读写HDF5文件。问题是Octave不能读取我用java写的HDF文件。当我尝试读取这样的文件时，我得到一个错误: d=load('check.h5')错误:赋值右侧的值未定义
浏览 1提问于2010-11-02得票数 1
我需要关于机器学习输入的帮助/意见。
我有一个hdf5文件
combined.h5
包含多个数据集，其中每个数据集包含4X125 (4行125列)的矩阵
我一直在搜索如何输入包含矩阵的hdf5文件作为机器学习的输入，但没有找到任何足够好的答案/示例作为参考。下面是我修改后的脚本
import numpy as np
import h5py
from keras.models import Sequential
from keras.layers import Dense
seed = 7
np.random.seed(seed)
dataset = h5py.File('combi
浏览 7提问于2017-02-16得票数 0
回答已采纳
我试图理解HDF5并发的局限性。
HDF5有两个版本:并行HDF5和default。并行版本目前是在Ubuntu中提供的，在Anaconda中是默认的(由--enable-parallel标志判断)。
我知道对同一个文件进行并行写入是不可能的。但是，我不完全理解在默认或并行构建中可以扩展以下操作：
从同一个文件读取的几个进程
从不同文件读取的几个进程
几个进程写入不同的文件。
此外，在默认情况下，anaconda没有--启用--并行标志有什么原因吗？()
浏览 12提问于2016-01-20得票数 22
回答已采纳
3回答
我意识到一个SO用户以前问过这个，但它是在2009年问的，我希望有更多关于HDF5的知识可用，或者更新的版本已经解决了这个特定的问题。在这里重申关于我自己问题的问题；
我有一个巨大的文件，其中包含来自大型几何图形的节点和元素，并且已经从其中检索到了我需要的所有有用信息。因此，在Python中，我试图保留原始文件，但删除不需要的信息，并为其他来源填充更多信息。例如，我有一个不需要的节点数据集。但是，我需要保留相邻的数据集，并包含来自外部文件的有关其索引的信息。有没有办法删除这些特定的数据集？
或者，在HDF5文件中保留“占位符”的旧想法仍然适用，这样就没有人知道如何/麻烦地删除信息？我不太担心空
浏览 1提问于2012-06-26得票数 17
回答已采纳
2回答
我有个很奇怪的问题。我有两个函数:一个读取使用h5py创建的h5py文件，另一个创建新的HDF5文件，连接前一个函数返回的内容。
def read_file(filename):
with h5py.File(filename+".hdf5",'r') as hf:
group1 = hf.get('group1')
group1 = hf.get('group2')
dataset1 = hf.get('dataset1')
浏览 4提问于2016-04-15得票数 5
回答已采纳
我有很多与时间相关的科学数据要写，这意味着数据应该每隔几秒钟写进hdf5文件。我的hdf5文件结构设计如下：
创建多个时间组，如时间1组、时间2组、时间3组等.
在时间组中，创建了许多数据集，如DataSetA、DataSetB、DataSetC等。
将数据写入上面的数据集。
使用的API：HDF5 5-Fortran
运行这个程序，一切都好，但是速度慢，如何提高hdf5写动作的效率？非常感谢。
浏览 4提问于2013-08-13得票数 3
回答已采纳
如何将hdf5表数据库读取为：
domains = h5.root.'a name with blanks'
如果这是不可能的，但也许有特殊的标志？
浏览 8提问于2022-08-25得票数 0
回答已采纳
1回答
我经常使用pytable和HDF5数据，我有一个关于节点属性(通过pytable 'node._v_attrs‘属性访问的属性)的问题。
假设我设置了hdf5节点的这样一个属性。我一遍又一遍地这样做，设置一个特定的属性。
(1)始终保持相同的值(因此hdf5file中存储的值总体上不会发生质的变化)
(2)总是有不同的价值
这些操作在速度和内存方面如何？我的意思是，设置属性是否真的意味着删除hdf5文件中的属性，并添加一个与前面相同名称的新属性？如果是这样的话，这是否意味着每次我重置一个现有属性时，hdf5文件的大小都会略有增加，并且会一直缓慢增长，直到我的硬盘满了为止？
如果这是真的
浏览 3提问于2013-09-05得票数 0
回答已采纳
2回答
我使用h5py在组中保存数据(浮点数)。除了数据本身之外，我还需要在hdf5中包含一个额外的文件(一个包含必要信息的.xml文件)。我该怎么做呢？我的方法是错的吗？
f = h5py.File('filename.h5')
f.create_dataset('/data/1',numpy_array_1)
f.create_dataset('/data/2',numpy_array_2)
.
.
我的h5树应该是这样的：
/
/data
/data/1 (numpy_array_1)
/data/2 (numpy_array_2)
.
.
/m
浏览 0提问于2011-12-14得票数 4
回答已采纳
2回答
请问有标准的paraview能读取的hdf5文件的标准范例吗？想在python里自己写paraview能读取的hdf5文件，但不知道格式是怎样的？
浏览 302提问于2023-10-09
我有很大的图像数据集来训练CNN。由于我无法将所有图像加载到我的内存中，因此我计划将它们转储到一个HDF5文件(使用h5py)中，然后批量迭代集合，如中所建议的 Most efficient way to use a large data set for PyTorch? 我试着为每个图片创建一个自己的数据集，位于同一组中，速度非常快。但我想不出要迭代组中的所有数据集，除非按其名称访问该集。作为另一种选择，我尝试通过扩展其形状来迭代地将所有图像放入一个数据集中，根据 How to append data to one specific dataset in a hdf5 file with
浏览 19提问于2019-03-08得票数 0
2回答
我试图合并两个不同的HDF5文件，其中3个密钥组需要从一个文件中提取，另一个密钥组需要从另一个文件中提取。我正在编写一个脚本来访问单个密钥组，但我不确定是否有正确的语法来访问键组中的数据集。
with hp.File('destFile.h5','w') as f_dest:
with hp.File('test.h5','r') as f_src:
for members in list(f1.get('EnvObjects'))[1:]:
f_src.
浏览 12提问于2022-06-07得票数 0
回答已采纳
1回答
我正在将大量小型数据集写入一个HDF5文件，生成的文件大小大约是我从输入数据的简单表格中所期望的10倍。我的数据是按如下层次组织的：
group 0
-> subgroup 0
-> dataset (dimensions: 100 x 4, datatype: float)
-> dataset (dimensions: 100, datatype: float)
-> subgroup 1
-> dataset (dimensions: 100 x 4, datatype: float)
浏览 4提问于2013-01-15得票数 8
回答已采纳
1回答
python模块xarray很大程度上支持加载/映射netCDF文件，甚至懒洋洋地使用dask。
我必须使用的数据源是数千个hdf5文件，有很多组、数据集和属性--所有这些都是用h5py创建的。
问题是：如何加载(或者更好地使用dask，懒散地映射) hdf5数据(数据集、元数据、.)变成xarray数据集结构？
有没有人在这方面有过经验，或者遇到过类似的问题？谢谢!
浏览 0提问于2019-02-11得票数 10
回答已采纳
1回答
我目前正在用虚拟大脑()做一个项目，并模拟了一些脑电数据。为了进一步分析这一点，我想在python中打开这个模拟的时间序列，以便我可以使用MNE软件包来分析它。然而，我只能用h5格式存储来自虚拟大脑的脑电数据，我想不出如何在python中打开这个文件，因为我可以用它来使用MNE来分析它。
我可以在Python中阅读h5文件，并看到它的描述：
文件键<KeysViewHDF5 5 ' data '，' time '>结构<HDF5 5数据集“数据”：f8 (512，2，63，1)，键入"<f8">时间结构<HDF
浏览 3提问于2021-03-30得票数 1
我需要将分层数据结构存储到hdf5中，其中大多数叶节点是非数组类型(字符串或标量)，只有少数是同构数组。这些数据看起来如下所示：
/simulation-20130312_13:33p1435
+- input
| +- gravity = 9.81
| +- timeScale = 1.0
| +- userTitle = 'real'
| +- flowRates = [ 1.1, 2.1 ]
| +- material
| +- density = 1234.2
| +- young = 1.123
浏览 0提问于2013-03-12得票数 2
回答已采纳
如何在包含可变长度字符串列和其他各种标准类型(Int64、Float64、Bool)列的HDF5中写入和追加数据？
基础知识以某种形式存在于Julia中。使用Julia的C接口，编写完全在HDF5中实现的自定义HDF5文件，但是我还没有找到创建、写入和附加到这样一个复合表的方法。
我的目标是有一个文件，其中存储了来自许多仪器的数据，并有明确的注释。随着更多数据的传入，这些数据将定期附加到这些HDF5文件中。为了将文件保持在可管理的大小，需要二进制文件，并且需要在我们组中使用的编程语言之间实现可移植性的通用标准。数据库对于我们的用例来说并不实用。
浏览 2提问于2017-11-09得票数 2
3回答
读取大型HDF5文件
、、、、
我刚开始使用HDF5文件，我正在尝试读取具有(20670, 224, 224, 3)形状的文件。每当我尝试将hdf5中的结果存储到列表或其他数据结构中时，要么花费太长时间而中止执行，要么导致计算机崩溃。我需要能够读取3套hdf5文件，使用他们的数据，操纵它，使用它来训练一个有线电视新闻网模型，并做出预测。
任何有关阅读和使用这些大型HDF5文件的帮助都将不胜感激。
目前，我是这样读取hdf5文件的：
db = h5py.File(os.getcwd() + "/Results/Training_Dataset.hdf5")
training_db = list(db['
浏览 0提问于2020-08-02得票数 0
1回答
我正在处理一个庞大的数据集(数百个GBs)，该数据集有大约4000万个标识符存储为32个字符字符串，并且每个标识符都存储了数百或数千行数字数据。
为了节省空间和提高从磁盘读取数据的效率，最好不要在数据集中一次又一次地重复标识符。例如，一个类似于
verylongstringidentifier1, 1.2
verylongstringidentifier1, 2.3
verylongstringidentifier1, 3.4
.
.
verylongstringidentifier2, 2.1
verylongstringidentifier2, 1.0
.
.
如果不重复字符串标识符，则可
浏览 3提问于2020-12-03得票数 3
回答已采纳
我有大量的numpy数组，特别是113287，其中每个数组都是36 x 2048形状的。就内存而言，这相当于32G。
到目前为止，我已经将这些数组序列化为一个巨大的HDF5文件。现在，问题是从这个hdf5文件中检索单个数组需要非常长的时间( 10分钟以北)。
我怎么才能加快速度？这对我的实现是非常重要的，因为我必须在这个列表中索引几千次，才能输入深度神经网络。
下面是我如何索引到hdf5文件中：
In [1]: import h5py
In [2]: hf = h5py.File('train_ids.hdf5', 'r')
In [5]: list(hf.k
浏览 0提问于2018-10-27得票数 2
回答已采纳
2回答
我做了大量的统计工作，并使用Python作为我的主要语言。我使用的一些数据集可以占用20 of的内存，这使得在numpy、scipy和PyIMSL中使用内存中的函数几乎是不可能的。统计分析语言SAS在这里有一个很大的优势，因为它可以对来自硬盘的数据进行操作，而不是严格地在内存中进行处理。但是，我希望避免使用SAS编写大量代码(出于各种原因)，因此我试图确定使用Python (除了购买更多的硬件和内存)有哪些选项。
我应该澄清的是，像map-还原这样的方法对我的工作没有多大帮助，因为我需要操作完整的数据集(例如，计算分位数或拟合逻辑回归模型)。
最近，我开始使用，并认为这是我所找到的最佳选择，可
浏览 3提问于2011-02-02得票数 46
回答已采纳
1回答
我已经创建了一个巨大的hdf5数据集，格式如下：
group1/raw
group1/preprocessed
group1/postprocessed
group2/raw
group2/preprocessed
group2/postprocessed
....
group10/raw
group10/preprocessed
group10/postprocessed
但是，我意识到为了便于移植，我希望有10个不同的hdf5文件，每个组一个。python中有没有一个函数可以在不遍历所有数据和扫描整个原始hdf5树的情况下实现这一点？
类似于：
import h5py
file_path
浏览 3提问于2021-06-03得票数 0
1回答
MATLAB在打开和查看HDF5文件方面到底有多好？我可以看到有几个h5...命令，但我想知道是否有一种方法可以像.mat文件或HDFView工具那样交互式地“查看”文件？
浏览 3提问于2012-08-03得票数 1
回答已采纳
2回答
SQLite还是纯文本文件？
、、、、
我处理很多在Python、R和Matlab之间交换的文本/数据。
我的选择是纯文本文件，但偶尔也会使用SQLite来存储数据和访问每个程序(虽然还不是Matlab )。我在SQL中不像在R中使用GROUPBY、AVG等操作那么多，所以我不一定需要数据库操作。
对于这类需要在程序之间交换数据以利用每种语言的可用库的应用程序，有没有一个好的经验法则来决定使用哪种数据交换格式/方法(即使是XML、NetCDF或HDF5)？
我知道在Python -> R之间有rpy或rpy2，但我想知道在更一般的意义上这个问题-我使用许多都没有rpy2的计算机，也使用其他一些在不同时间需要访问数据的科学分析软
浏览 0提问于2010-03-06得票数 8
回答已采纳
我有一段朱莉娅代码，它使用"HypothesisTests“包。它基本上使用OneSampleTTest运行一系列t测试，并将它们存储在一个jld文件中。通过朱莉娅，我可以看到一个OneSampleTTest的内容如下。
我想编写一个Python脚本来读取这个文件中的元素，例如，“双面p值”。
import h5py
f = h5py.File("filename.jld", "r")
test = f["p_value_Never_vs_AtoBat60_FP"][()]
print(test)
我使用的是h5py包，但是当我
浏览 3提问于2022-07-05得票数 0
1回答
我想知道hdf5是否适合实时数据记录？
更准确地说:我在做一个项目，在这个项目中，我们希望连续(采样率从30到400 of )混合不同性质(遥测、信号、视频)的相当数量的数据(几个小时)。
数据必须实时写入(或稍有延迟)，以防止我们在潜在崩溃时丢失它们。
我们的第一个原型是基于sqlite3的，但是我们觉得从长期使用中可能会出现一些限制:速度，一个数据库==一个文件，以及从多个线程访问数据库的困难(同时读取和写入时锁定异常)。
因此，我正在考虑使用hdf5作为后端在磁盘上存储数据的可能性(以及使用numpy/pytable作为内部表示)。你认为有可能从这样的python绑定中定期更新hdf5文
浏览 2提问于2012-07-13得票数 9
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
