访问包含异常数据类型的HDF5文件中的数据集
，需要先了解HDF5文件和异常数据类型的概念。
HDF5（Hierarchical Data Format 5）是一种用于存储和管理大量科学数据的文件格式。它的特点是具有层次化的结构，可以存储多种数据类型和复杂的数据集关系。HDF5文件通常包含一个或多个数据集，每个数据集都有唯一的名称和数据类型。
异常数据类型是指存储在HDF5文件中的数据集中包含非常规或不常见的数据类型。这些异常数据类型可能是用户自定义的、不常用的或非标准的数据类型。
在访问包含异常数据类型的HDF5文件中的数据集时，我们可以采取以下步骤：
- 了解异常数据类型：首先需要了解HDF5支持的数据类型以及异常数据类型的特点。HDF5支持的常见数据类型包括整数、浮点数、字符串、复数等，而异常数据类型可能是用户自定义的结构体、枚举类型等。
- 使用合适的工具或库：根据需要访问HDF5文件中的数据集，可以选择合适的工具或库来操作HDF5文件。例如，可以使用h5py（Python库）或hdf5（C/C++库）来读取和写入HDF5文件。
- 解析异常数据类型：如果数据集中包含异常数据类型，需要事先了解这些数据类型的结构和编码方式。根据异常数据类型的定义，解析出相应的字段和值。
- 数据集的访问方式：根据数据集的名称和路径，可以使用合适的函数或方法从HDF5文件中读取数据集的内容。根据数据集的数据类型，可以选择适当的转换方式将数据类型转换为可处理的类型。
- 异常数据类型的处理：对于异常数据类型，可能需要进行特殊处理才能正确地读取和使用其中的数据。这可能涉及到数据类型转换、结构体解析、枚举类型转换等操作。
在腾讯云的产品中，推荐使用TencentDB for HDF5来处理HDF5文件。TencentDB for HDF5是一种基于Hadoop和HBase的高性能分布式数据存储和计算解决方案，提供了全面的HDF5文件管理和数据访问能力。
更多关于TencentDB for HDF5的信息，您可以访问腾讯云官方网站：https://cloud.tencent.com/product/HDF5
相关·内容
好吧，这里似乎有几个类似的问题在堆栈溢出中被问到，但是没有一个问题看起来答案正确或正确，也没有描述过确切的例子。
我在将数组或列表保存到hdf5时遇到了问题.
我有几个文件包含(n，35)维的列表，其中n在每个文件中可能不同。它们中的每一个都可以用下面的代码保存在hdf5中。
hdf = hf.create_dataset(fname, data=d)
然而，如果我想要合并他们在3d中的错误发生如下所示。
对象dtype dtype('O')没有本机HDF5等效
我不知道为什么它会变成dtype对象，因为我所做的只是
all_data = list()
for fnam
浏览 2提问于2018-11-18得票数 10
我未能有效地将一个大的浮点值数据集保存到HDF5文件中。
数据采集工作如下:固定阵列的“射线数据”(坐标，方向，波长，强度等)。创建并发送到外部射线跟踪程序(其值约为2500 )。作为回报，我得到了相同的数组，但数据发生了变化。现在，我希望将新的坐标保存在HDF5中，以便作为一个简单的表进行进一步处理。这些步骤多次重复(约80 000次)。
我以HDF5group 为例，但不幸的是，解决方案相当缓慢。
在我将数据直接写入一个hdf5文件之前，我使用了一个简单的csv文件，它需要大约80秒的时间重复100次，而在hdf5文件中追加则需要160秒。
“伪”代码如下所示：
//n is a larg
浏览 0提问于2013-11-15得票数 4
1回答
简短的问题:在HDF5中有允许不同用户权限/访问限制的方法吗？
我们目前正在考虑建立一个Hyrax服务器，为不同的用户提供HF5文件。但是，应该只允许某些用户获取包含在一个HDF5文件中的数据的不同子集。
我知道HDF5不是为这个任务设计的，但是有人知道它是否有效，或者是否有任何解决办法？
浏览 3提问于2013-11-27得票数 0
回答已采纳
1回答
如以下图像(HDF5格式)所述，我已将数据集保存在此表单中。因此，我有不同的组，即4，2，40等，对于每组，我有2个数据集Annotation和Features。我已经使用代码成功地保存了它们，但是我无法加载它们。
奇怪的是，只有当我试图读取Annotation时才会出现错误。当我尝试阅读Features时，阅读效果很好。
我使用以下代码：
dataSet = np.array([])
annotation = np.array([])
hdf5Object = readHDF5File('abc.hdf5','r')
w = 2
myGroup = hdf5O
浏览 4提问于2016-01-04得票数 1
回答已采纳
2回答
我想以编程方式更改HDF5文件中与数据集关联的数据。我似乎找不到一种方法，既不能按名称删除数据集(允许我用修改后的数据重新添加它)，也不能按名称更新数据集。我使用的是HDF5 1.6.x的C应用程序接口，但是指向任何HDF5应用程序接口的指针都会很有用。
浏览 3提问于2009-01-15得票数 4
回答已采纳
3回答
读取大型HDF5文件
、、、、
我刚开始使用HDF5文件，我正在尝试读取具有(20670, 224, 224, 3)形状的文件。每当我尝试将hdf5中的结果存储到列表或其他数据结构中时，要么花费太长时间而中止执行，要么导致计算机崩溃。我需要能够读取3套hdf5文件，使用他们的数据，操纵它，使用它来训练一个有线电视新闻网模型，并做出预测。
任何有关阅读和使用这些大型HDF5文件的帮助都将不胜感激。
目前，我是这样读取hdf5文件的：
db = h5py.File(os.getcwd() + "/Results/Training_Dataset.hdf5")
training_db = list(db['
浏览 0提问于2020-08-02得票数 0
6回答
组合hdf5文件
、、
我有许多hdf5文件，每个文件都有一个数据集。数据集太大，无法在RAM中保存。我希望将这些文件组合成一个单独包含所有数据集的文件(即而不是将数据集连接到一个数据集中)。
一种方法是创建一个hdf5文件，然后逐个复制数据集。这将是缓慢和复杂的，因为它将需要缓冲副本。
有更简单的方法吗？似乎应该有，因为它实际上只是创建一个容器文件。
我正在使用python/h5py。
浏览 4提问于2013-08-28得票数 31
回答已采纳
2回答
我有一个hdf5文件，其中包含我希望使用h5py包读取到python(2)中的字符串。条目在h5dump中显示为：
DATASET "Name" {
DATATYPE H5T_STRING {
STRSIZE 5;
STRPAD H5T_STR_NULLTERM;
CSET H5T_CSET_UTF8;
CTYPE H5T_C_S1;
}
DATASPACE SCALAR
DATA {
(0): "L_1_3"
}
}
我可以访问该文件并提取数据，如下所示
import h5
浏览 1提问于2020-04-29得票数 0
如何在包含可变长度字符串列和其他各种标准类型(Int64、Float64、Bool)列的HDF5中写入和追加数据？
基础知识以某种形式存在于Julia中。使用Julia的C接口，编写完全在HDF5中实现的自定义HDF5文件，但是我还没有找到创建、写入和附加到这样一个复合表的方法。
我的目标是有一个文件，其中存储了来自许多仪器的数据，并有明确的注释。随着更多数据的传入，这些数据将定期附加到这些HDF5文件中。为了将文件保持在可管理的大小，需要二进制文件，并且需要在我们组中使用的编程语言之间实现可移植性的通用标准。数据库对于我们的用例来说并不实用。
浏览 2提问于2017-11-09得票数 2
我在用Python语言读取hdf5 Matlab7.3文件时遇到了问题。我使用的是h5py 2.0.1。
我可以读取文件中存储的所有矩阵，但不能读取字符串列表。h5py将字符串显示为形状为(1,894)、类型为|04的数据集。此数据集包含对象引用，我尝试使用h5file[obj_ref]语法取消对它们的引用。
这会产生类似于dataset "FFb": shape (4, 1) type "<u2"的东西。我将其解释为长度为4的字符数组。它似乎是字符串的ASCII表示。
有没有一种简单的方法可以把字符串弄出来？
有没有提供matlab to python
浏览 1提问于2012-08-20得票数 8
回答已采纳
1回答
我有几个(多达几百个) hdf5文件，其中包含并行模拟的结果:每个计算节点创建一个独立的hdf5文件，以避免任何同步问题。
有没有任何方法来创建hdf5文件中所有数据的“映像”，比如，这个“映像”看起来像是拥有所有数据，但实际上，它将提供来自其他文件的数据？
我要找的是：
"data-node0.h5"
spike/PopulationA -> pandas data frame columns=[0,3,6,9]
"data-node1.h5"
spike/PopulationA -> pandas data f
浏览 4提问于2017-10-21得票数 2
1回答
我在试着用HDF5存储时间序列的脑电图数据。这些文件可能非常大，由许多通道组成，我喜欢HDF5文件格式的特性(惰性I/O、动态压缩、mpi等)。
处理EEG数据的一个常见方法是将数据部分标记为“感兴趣”。我正在努力寻找一种在文件中存储这些标记的好方法。我看到支持将同一数据集链接到其他组的软/硬链接，等等--但我看不到任何方法来链接到数据集的各个部分。
例如，假设我有一个名为EEG的数据集，其中包含睡眠数据。假设我运行一个算法，该算法需要一段时间来处理数据，并生成与REM睡眠周期相对应的索引。在HDF5文件中存储这些索引范围的最佳方式是什么？
我现在能想到的最好方法是创建一个包含三列的datas
浏览 1提问于2014-03-31得票数 2
我的工作性质要求我为我正在分析的数据制作大量的PDF图像。在一天结束的时候，我只使用了大约10%的图像作为概念的“证明”，但我仍然想保存所有的图像，以防人们想要仔细检查我的作品。 我正在考虑将PDF文件存储在hdf5文件中，但据我所知这是不可能的(我与hdf5文件的唯一接口是通过python中的h5py模块)。 你们有什么推荐吗？
浏览 29提问于2020-06-22得票数 0
回答已采纳
9回答
我正在开发一个，用于向文件夹中添加元数据。提供的(Python) API允许您浏览和访问元数据，就像它只是另一个文件夹一样。因为它只是另一个文件夹。
\folder\.meta\folder\somedata.json
然后我遇到了及其派生的。
在“HDF5”( )一书中，我读到了它的优点，与在文件夹中使用文件相比，我在寻找使用它的好处，但我遇到的大多数内容都谈到了分层文件格式在通过API添加数据时的简单性方面的好处：
>>> import h5py
>>> f = h5py.File("weather.hdf5")
>>>
浏览 18提问于2014-03-02得票数 69
6回答
我使用以下代码将hdf5文件作为numpy数组读取：
hf = h5py.File('path/to/file', 'r')
n1 = hf.get('dataset_name')
n2 = np.array(n1)
当我打印n2时，我会得到这样的结果：
Out[15]:
array([[<HDF5 object reference>, <HDF5 object reference>,
<HDF5 object reference>, <HDF5 object reference>.
浏览 1提问于2017-10-13得票数 22
1回答
关于.h5文件，我有一个问题，我不知道它包含了什么。实际上，我想用Python检查文件中的内容，但是每次我用熊猫打开它时：
df = pd.read_hdf('file.h5')
它返回一个错误：
ValueError: No dataset in HDF5 file.
知道如何成功地打开和检查它吗？谢谢。
浏览 0提问于2019-12-28得票数 2
回答已采纳
3回答
我意识到一个SO用户以前问过这个，但它是在2009年问的，我希望有更多关于HDF5的知识可用，或者更新的版本已经解决了这个特定的问题。在这里重申关于我自己问题的问题；
我有一个巨大的文件，其中包含来自大型几何图形的节点和元素，并且已经从其中检索到了我需要的所有有用信息。因此，在Python中，我试图保留原始文件，但删除不需要的信息，并为其他来源填充更多信息。例如，我有一个不需要的节点数据集。但是，我需要保留相邻的数据集，并包含来自外部文件的有关其索引的信息。有没有办法删除这些特定的数据集？
或者，在HDF5文件中保留“占位符”的旧想法仍然适用，这样就没有人知道如何/麻烦地删除信息？我不太担心空
浏览 1提问于2012-06-26得票数 17
回答已采纳
在HDF5组手册中的一些HDF5示例中，字节顺序被显式地设置为“小endian”。在其他一些例子中，没有给出明确的定义。我现在的问题是，我需要关心字节顺序吗？我是否可以简单地不指定它，而依赖于缺省值？
来自的片段
DataSpace dataspace( RANK, dimsf );
IntType datatype( PredType::NATIVE_INT );
datatype.setOrder( H5T_ORDER_LE );
DataSet dataset = file.createDataSet( DATASET_NAME, datatype, dataspace );
如果我
浏览 2提问于2018-01-04得票数 1
回答已采纳
2回答
在HDF5中，我们得到了一些包含数据集、表格数据的文件，其中每一列都有名称，并且可能具有不同的数据类型(例如，string类型的"author“，无符号整数类型的”计数“，等等)。我唯一能找到的用于阅读HDF5的纯Java(即非JNI)库是NetCDF。
看来，我可以使用HDF5 Variable从NetCDF数据集中读取一列数据。但是，没有办法从数据集中读取整个数据表吗？HDF5数据集到NetCDF仅仅是具有单维数组值的变量集合，而不是表吗？
编辑:让我进一步解释。如果我打开HDF5 2.9中的一个文件，导航到"HDF5复合数据集“的一个项，并选择”HDF5复合数据集“，就会
浏览 3提问于2013-04-18得票数 1
回答已采纳
1回答
我正在使用Keras fit_generator在一个大型数据集(> 50k图像)上训练CNN。我使用cv2读取图像，做一些预处理(旋转，调整大小)，并写入HDF5文件(遵循教程)。我的问题是，在写入HDF5之前，从HDF5读取的图像看起来与原始的预处理图像不同。保存HDF5文件的代码-
import numpy as np
import cv2
import imutils
import os
import random
import h5py
all_imgs = os.listdir(r"D:\test_images/")
img_rows, img_cols =
浏览 0提问于2018-05-14得票数 1
我已经选择了特定的hdf5数据集，并希望将它们复制到一个新的hdf5文件中。我可以找到一些关于在两个文件之间进行复制的教程，但是如果您刚刚创建了一个新文件，并且希望将数据集复制到文件中，那么怎么办？我原以为下面的方法是可行的，但实际上并非如此。有什么简单的方法可以做到吗？
>>> dic_oldDataset['old_dataset']
<HDF5 dataset "old_dataset": shape (333217,), type "|V14">
>>> new_file = h5py.F
浏览 0提问于2018-11-24得票数 3
回答已采纳
1回答
我决定使用HDF5的层次结构来存储数据，而不是依赖于文件系统。不幸的是，我遇到了性能问题。
我的数据格式如下:我有大约70个顶级组，对应于日期，每个组包含大约8000个数据集。我希望看到每天的数据集数量的列表：
for date in hdf5.keys():
print(len(hdf5[date]))
我发现这需要2+第二次迭代，这有点令人沮丧。
另外，我有两个不同的hdf5文件，上面的布局，较大的一个在这方面要慢得多。
我做错了什么？
浏览 0提问于2016-03-12得票数 2
我需要关于机器学习输入的帮助/意见。
我有一个hdf5文件
combined.h5
包含多个数据集，其中每个数据集包含4X125 (4行125列)的矩阵
我一直在搜索如何输入包含矩阵的hdf5文件作为机器学习的输入，但没有找到任何足够好的答案/示例作为参考。下面是我修改后的脚本
import numpy as np
import h5py
from keras.models import Sequential
from keras.layers import Dense
seed = 7
np.random.seed(seed)
dataset = h5py.File('combi
浏览 7提问于2017-02-16得票数 0
回答已采纳
1回答
我有一个想要转换成HDF5格式的数据集。它是来自的数据集。目录结构类似于：
NOAA
├── code
├── ghcnd_all
├── ghcnd_all.tar.gz
├── ghcnd-stations.txt
├── ghcnd-version.txt
├── readme.txt
└── status.txt
我和熊猫一起做数据分析。我对此感兴趣的主要原因是为了节省空间，数据集大约是25 to。
如何将此数据集转换为单个.hdf5文件？
浏览 3提问于2015-09-02得票数 4
回答已采纳
3回答
HDF5 :存储NumPy数据
、、、、
当我使用NumPy时，我以本机格式*.npy存储它的数据。它非常快，给了我一些好处，就像这个
I可以将*.npy从C代码中读取为简单的二进制数据(我的意思是*.npy与C结构兼容)
现在我正在与HDF5 (目前的PyTables)打交道。当我在本教程中阅读时，他们使用NumPy序列化程序来存储NumPy数据，这样我就可以像从简单的*.npy文件一样从C中读取这些数据了吗？
HDF5 5的numpy与C结构也是二元兼容的吗？
UPD：
我有matlab客户端从hdf5读取数据，但不想从C++读取hdf5，因为从*.npy读取二进制数据要快得多，所以我确实需要从C++读取hdf5 (二进制兼容性)
浏览 9提问于2010-11-09得票数 2
回答已采纳
它会给出内存错误，但永远不会达到内存容量。我在SSH上有60 GB的内存，整个数据集进程消耗了30，我正在尝试用k-fold训练一个自动编码器。在没有k-折叠法的情况下，训练效果良好。原始数据集包含250,000个hdf5格式的数据。对于K-fold，如果我使用的数据少于总数据的100000，它就可以工作。我已经将它转换为float32，但仍然不能工作。我也尝试过echo 1，但它会自动终止python程序。
浏览 48提问于2020-09-17得票数 2
回答已采纳
2回答
我有一个从字典列表中创建的大熊猫数据框架，其中列名是字典键。列包含不同类型的数据，但数据类型在任何给定列中都是一致的。
示例:我的一个列包含28x28 numpy数组，另一个列包含strings...etc。我想将此文件保存为HDF5文件，具有表格式，以便在以后读取数据时(这些文件为1-2GB)进行查询。
这就是我试图保存hdf5文件的方式：
df = pd.DataFrame(list_of_dicts)
df.convert_objects(convert_numeric=True) (**have also tried pd.to_numeric)**
df.to_hdf(path_
浏览 8提问于2016-05-31得票数 1
我正在使用c/CUDA和python进行一些cfd模拟，目前工作流程如下：
开始用纯c/ cuda编写的模拟。
将输出写入二进制文件
使用python (即numpy.fromfile )重新打开文件，并进行一些分析。
由于我有大量的数据和一些元数据，所以我认为最好切换到hdf5文件格式。所以我的想法是，
使用pytable为我的模拟创建一些初始条件数据。
使用标准hdf5库重新打开并写入c++中的数据集。
使用pytable重新打开文件以进行分析。
我真的很想对数据做一些实时分析，比如从c-编程写入hdf5，并使用pytable直接从python读取。
浏览 2提问于2014-07-15得票数 2
回答已采纳
假设有一个大的(10 GB) CSV文件，其中包含混合的文本/数字，那么在保持合理的内存使用的同时，创建具有相同内容的HDF5文件的最快方法是什么？
如果可能的话，我想使用h5py模块。
在下面的玩具示例中，我发现了一种将数据写入HDF5的非常慢和非常快的方法。在10,000行左右的块中写入HDF5是不是最佳实践？或者，有没有更好的方法将大量数据写入这样的文件？
import h5py
n = 10000000
f = h5py.File('foo.h5','w')
dset = f.create_dataset('int',(n,),'
浏览 86提问于2011-03-29得票数 23
回答已采纳
1回答
我正在处理一个需要保存和加载多个文件的项目：
标量/矩阵/阵列
表(即带有列和行注释的矩阵)
现在，我想将所有数据存储在一个文件(或透明数据存储)中，但我不知道如何正确地存储表。
如何保存表的轴标签，以保持数据编程语言无关？
熊猫或PyTables可以访问HDF5文件，但它们不允许存储普通的NumPy数组。
而且，我也不确定是否容易将这样的特殊表加载到R中。
xarray使用基于NetCDF的HDF5格式，但如何将多个表+数组存储在一个NetCDF文件中？
与R的互操作性如何？
最简单的选择:只需将轴放入一个名为ds name_axisn的单独数据集中即可。
浏览 2提问于2018-05-22得票数 4
回答已采纳
我有一个包含分子动力学模拟数据的hdf5格式文件Data File。为了进行快速检查，h5ls工具非常方便。例如： h5ls -d xaa.h5/particles/lipids/positions/time | less 现在我的问题是基于我收到的关于数据格式的评论！根据hdf5规范和群组中的元数据，缺少哪些属性？
浏览 17提问于2021-09-16得票数 0
回答已采纳
我有许多HDF5文件是以分层方式保存的(即包含多个文件的多个文件夹，其中每个文件夹中的文件是相关的--我指的不是单个HDF5文件的层次结构)。我想从每个文件中读取数据(向量)，并将其存储在反映文件之间层次结构的数据结构中。但是，数据的长度因文件而异。在下面的示例中，数据存储在HDF5文件的一个名为" data“的字段中。
如果每个文件的数据都是相同的长度，我只需要使用一个NumPy数组。但是，由于可变长度，我一直在使用嵌套列表，如下所示：
import glob
import h5py
# list of directories
dir_list = ["dir1"
浏览 8提问于2022-11-15得票数 0
1回答
我正在比较两个不同的hdf5文件，以确保它们匹配。我希望在hdf5文件中创建一个包含组中所有数据集的列表，这样我就可以在所有数据集中运行一个循环，而不是手动输入它们。我似乎找不出办法来做这件事。目前，我使用以下代码获取数据集：
tdata21 = ft['/PACKET_0/0xeda9_data_0004']
集合的名称位于"PACKET_0“组中。一旦我排列了所有的数据集，我就会比较这个循环中数据集中的数据：
for i in range(len(data1)):
print "%d\t%g\t%g" % (i, data1[i],tdata1
浏览 1提问于2017-01-06得票数 0
回答已采纳
1回答
我有一个HDF5文件数据集，它包含不同的数据类型(int和float)。
在numpy数组中读取它时，它会将其检测为np.void类型的数组。
import numpy as np
import h5py
f = h5py.File('Sample.h5', 'r')
array = np.array(f['/Group1/Dataset'])
print(array.dtype)
如何将此数据集读入与输入数据类型相同的每个列的数组中？谢谢你的答复
浏览 0提问于2019-03-11得票数 0
2回答
例如，我有一系列事件对象，其中事件是具有不同专门化(例如，HolidayEvent和SickDayEvent)的层次结构的基类。基类有一些字段(例如日期、雇员)，每个专门化都添加了自己的一组字段(例如，HolidayEvent有holidayName，SickDayEvent有numDays)。
有什么方法可以很好地对多态数据元素(如HDF5中的多态数据元素)建模吗？我的意思是，显而易见的选择--创建一个包含所有字段的复合类型和一个类型判别--可能会浪费大量的存储空间，特别是当专门化中有许多不同原子类型的独特字段时，以及当专门化中的字段数量变化很大时，需要联合的大小与一个专门化中最大的字段数一
浏览 3提问于2013-11-05得票数 2
2回答
我使用h5py在组中保存数据(浮点数)。除了数据本身之外，我还需要在hdf5中包含一个额外的文件(一个包含必要信息的.xml文件)。我该怎么做呢？我的方法是错的吗？
f = h5py.File('filename.h5')
f.create_dataset('/data/1',numpy_array_1)
f.create_dataset('/data/2',numpy_array_2)
.
.
我的h5树应该是这样的：
/
/data
/data/1 (numpy_array_1)
/data/2 (numpy_array_2)
.
.
/m
浏览 0提问于2011-12-14得票数 4
回答已采纳
2回答
我正在开发一个用于数据分析的混合SQL (使用mySQL)和HDF5数据库解决方案。我的一些数据非常适合关系，SQL作为一种查询语言非常方便和有效，但是我有大量的数字数据(具有数千或元素/行/列的数组和矩阵)。因此，我将这些数据保存在一个HDF5文件中，并根据每个观察值之间的一些共性来排列组层次结构，这样，如果我将用于派生该层次结构的字段添加到SQL Select查询中，并在关系数据库中添加一个包含该特定观察值在数据集中的位置的索引，我就可以快速获得在HDF5文件中定位数值数据所需的所有信息。
我用Python，Numpy和h5py写了所有这些。然而，在某种程度上，我想让整个事情变得更加用户友
浏览 4提问于2013-07-19得票数 1
我有几个HDF5文件，它们都有一个包含向量的/dataset。我想将所有这些向量组合成一个文件中的一个数据集(即从一个文件重复追加到另一个文件)。合并后的数据集将具有分块存储，并且可以调整大小。
我见过的每一种方法似乎都需要将所有数据读入缓冲区，然后写回缓冲区，有没有一种方法可以更简单地将数据集/数据空间从一个文件传递到另一个文件，以便附加数据？
浏览 16提问于2021-06-18得票数 1
我有一个非常大的矩阵，这是一个视频文件作为一个帧阵列，每个大约350x250分辨率。我有大约8,000-10,000这样的帧在一个单一的视频文件，这是大约1-1.5 is的大小。我认为HDF5对我来说是一种很好的文件格式，因为我必须对该文件执行许多数学运算(跨越整个深度列)。我的问题是我无法将这个3D矩阵存储在HDF5中。有人可以建议我如何以增量方式将这些帧存储为hdf5格式的3D矩阵(将帧逐帧添加到hdf5文件)吗？我使用的是h5py python包。
浏览 8提问于2017-02-05得票数 4
回答已采纳
我的hdf5数组如下所示：
>>> a = np.array([5,8])
>>> f = h5py.File('try.hdf5')
>>> f['try'] = a
>>> f['try']
<HDF5 dataset "try": shape (2,), type "<i4">
我想将f['try']的数据类型更改为float64。该怎么做呢？
a = a.astype('float64'
浏览 9提问于2016-04-07得票数 2
回答已采纳
我有一个hdf5文件，表264x264x1024中填充了uint32编号。我很难理解如何从java中获取hdf5 5-文件的数据。我想将数据从表写入数组。有什么简单的方法吗？
可悲的是，我正在开发的系统仍然是java6。
对不起，如果问题不是很具体，如果你需要更多的信息来帮助我，请问。就像我说的，我还不太了解hdf5。
谢谢
浏览 0提问于2016-10-25得票数 0
回答已采纳
从HDF5文件中删除数据需要重新打包主文件。由于我们使用大型子数据库文件(测量数据)，单独的HDF5数据文件从外部链接到主文件中。由于链接文件占用的空间很小，因此您可能会争论是否需要重新打包。 由于HDF5数据库可能会损坏，那么从主HDF5 db文件中正确删除外部链接数据库(h5py.ExternalLink)的过程是什么？
浏览 30提问于2020-07-07得票数 0
回答已采纳
我有一组N字节的二进制数据块，其中每个块恰好对应于PyTables表的一行。
现在，我正在将每个块解析为字段，将它们写入表行中的各个字段，并将它们附加到表中。
但这看起来有点愚蠢，因为PyTables将把我的结构化数据转换回平面二进制形式，以便包含在HDF5文件中。
如果我需要优化执行此操作所需的CPU时间(我的数据以大的突发形式出现)，有没有一种更有效的方法直接将数据加载到PyTables中？
浏览 2提问于2013-10-12得票数 0
我有很大的图像数据集来训练CNN。由于我无法将所有图像加载到我的内存中，因此我计划将它们转储到一个HDF5文件(使用h5py)中，然后批量迭代集合，如中所建议的 Most efficient way to use a large data set for PyTorch? 我试着为每个图片创建一个自己的数据集，位于同一组中，速度非常快。但我想不出要迭代组中的所有数据集，除非按其名称访问该集。作为另一种选择，我尝试通过扩展其形状来迭代地将所有图像放入一个数据集中，根据 How to append data to one specific dataset in a hdf5 file with
浏览 19提问于2019-03-08得票数 0
我使用HDF5作为提要文件的输入之一，hdf5文件只包含一些权重信息，以便放入到sigmoidcrossentropyloss层，因此它不包含发生任何label.This错误：
I1015 07:08:54.605777 17909 net.cpp:100] Creating Layer weight28 I1015 07:08:54.605797 17909 net.cpp:408] weight28 -> weight28 I1015 07:08:54.605834 17909 hdf5\_data\_layer.cpp:79] Loading list of H
浏览 1提问于2016-10-15得票数 0
1回答
我可以使用HDF5创建一个h5py文件。
import numpy as np
import h5py
outfile = np.zeros((5,2))
for i in range(5):
outfile[i] = i
print(outfile)
print(outfile.dtype)
f = h5py.File('TF.hdf5', 'w')
dset = f.create_dataset('FT', data = outfile, dtype =
浏览 4提问于2017-04-26得票数 2
回答已采纳
我有一个应用程序，需要存储数据到hdf文件。
可以将数据集存储在hdf中吗?hdf实际上是一个C++对象。例如，我想将下面对象a中包含的数据存储到一个hdf文件(hdf4或hdf5)中。我能这么做吗？如果是，如果有人能做到这一点，我将不胜感激。谢谢。
class A(){
public:
A(int i, double j):i(i), j(j){};
~A();
int i;
double j;
int* ai;
vector<int> b;
setValues(int i, double j){};
}
void main(){
浏览 4提问于2011-11-25得票数 4
我正在对一个hdf5文件中包含的大量变量执行数据分析。我编写的代码循环遍历一系列变量，然后执行分析并输出一些图形。如果能够将代码用于变量组合(如A+B或sqrt((A**2)+(B**2))，而不必放入一堆if语句，即在从hdf5文件加载变量时在字符串中执行语句，那就太好了。如果可能的话，我希望避免使用pandas，但如果这是我想做的唯一有效的方法，我并不完全反对它。
我的hdf5文件看起来像这样：
HDF5 "blahblah.hdf5" {
FILE_CONTENTS {
group /
group /all
dataset /all/bla
浏览 0提问于2016-06-03得票数 1
1回答
我想问一个关于压缩性能的问题，这与hdf5文件的块大小有关。
我手头有两个hdf5文件，它们具有以下属性。它们都只包含一个数据集，称为“数据”。
文件A的“数据”：
类型: HDF5标量数据集
不是的。维数:2
尺寸尺寸：5094125 x6
麦克斯。尺寸尺寸:无限x无限
数据类型:64位浮点数
分块：10000 x6
压缩: GZIP级别=7
文件B的“数据”：
类型: HDF5标量数据集
不是的。维数:2
尺寸尺寸：6720 x 1000
麦克斯。尺寸尺寸:无限x无限
数据类型:64位浮点数
分块：6000x1
压缩: GZI
浏览 2提问于2013-05-28得票数 8
回答已采纳
我遇到了一个h5py教程，其中访问hdf5文件的一个特定索引如下：
f = h5py.File('random.hdf5', 'r')
data = f['default'][()]
f.close()
print(data[10])
以这种方式，即使在文件关闭时，数据仍然是可访问的。添加[()]似乎不再使data成为一个简单的指针，而是数据对象本身。[()]的含义是什么？
浏览 2提问于2020-06-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
