开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >HDF5中的数据可以作为字节流实时读取吗？

问HDF5中的数据可以作为字节流实时读取吗？
EN

Stack Overflow用户

提问于 2021-05-12 13:43:16

回答 2查看 641关注 0票数 0

我们可以访问一个千兆字节的HDF5文件，因为它是在许多分钟内编写的。当文件可用时，我们想要提取写入文件的最新数据(子第二时间帧)。

在写入HDF5文件时，是否有任何方法将其读取为字节流？

我看到这个问题(在java流中读取HDF5) w.r.t。Java似乎暗示，在较低级别的HDF5工具中，流可能是可能的，但在特定的java包中却不是这样。

特别要注意的是，H5PY python包有一组低级API，我不太熟悉这些API，不知道它们是否提供了解决方案。

https://api.h5py.org/

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-11-12 08:53:51

通过高延迟、高带宽的网络连接读取数据流的关键是减少对read(n)文件的调用次数，这些调用是连续的。HDF5有一个名为“用户块大小”的特性，它是在创建文件或使用h5repack工具重置文件时设置的。

用户块大小在下面的SO文章中描述。总之，数据存储在用户指定维度的块中。例如，形状为1Mx128的表的块大小为10kx1，它将数据存储在10k块(1列)中。

HDF5中的块大小是多少？

当从python对象读取数据时(这是典型的，如果您有网络访问的文件)，对数据的任何访问都将导致大约6个小的头读取，然后数据读取将是每用户块大小1 read(n)。(不幸的是)对read(n)的调用是连续的，所以很多小的读取在网络上都是缓慢的。因此，将块大小设置为合理的用例将减少read(n)调用的数量。

请注意，这里经常会有一个折衷方案。设置10kx128的块大小将强制读取所有128列，不能只读取具有该块大小的1列。但是，设置10 kx1的块大小意味着对所有128个通道的读取将导致每10k行128个read(n)调用。

如果您的数据没有按您的目的有效打包，您可以使用h5repack重新包装它(这是一个缓慢的一次性过程，不会更改数据，只是包装顺序)。

票数 0

EN

Stack Overflow用户

发布于 2021-11-30 06:58:39

我认为使用HDF5 SWMR (单作者/多读取器)可以满足您的要求。用户指南描述了它是如何工作的，现在在h5py附例中有了支持。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67511338

复制

相关文章

【实测】网络中可以传小于64字节的数据包吗？

硬件开发编程算法 fpga

电磁波在双绞线上传输的速度为0.7倍光速，在1km电缆的传播时延约为5us。传统的网络信道比较差，需要有重传机制保障可靠性。于是，在节点A向节点B发送数据进行通信的时候，要保证以太网的重传，必须保证A收到碰撞信号的时候，数据包没有传完，要实现这一要求，A和B之间的距离很关键，也就是说信号在A和B之间传输的来回时间必须控制在一定范围之内。IEEE定义了这个标准，一个碰撞域内，最远的两台机器之间的round-trip time 要小于512bit 时间。(来回时间小于512位时，所谓位时就是传输一个比特需要的时间）。因此，传统以太网有如下特点：

网络交换FPGA

2020/04/21

3.7K0

【实测】网络中可以传小于64字节的数据包吗？

readAnyDatabase可以读取所有的database吗？

数据库 sql 访问管理官方文档

我们首先使用root权限登录，并在admin的这个数据库下面创建了test账号，给了它readAnydatabase的角色，创建这个账号的语句如下：

AsiaYe

2021/05/10

6010

readAnyDatabase可以读取所有的database吗？

[PHP] php作为websocket的客户端实时读取推送日志文件

首先要使用composer来下载一个第三方扩展就可以实现php的websocket客户端,直接在当前目录生成下composer.json文件就可以了 composer require textalk/websocket

唯一Chat

2020/01/14

3.3K0

[PHP] php作为websocket的客户端实时读取推送日志文件

Java 的字节流文件读取（二）

接着上篇文章，我们继续来学习 Java 中的字节流操作。装饰者缓冲流 BufferedInput/OutputStream 装饰者流其实是基于一种设计模式「装饰者模式」而实现的一种文件 IO 流，而我们的缓冲流只是其中的一种，我们一起来看看。在这之前，我们使用的文件读写流 FileInputStream 和 FileOutputStream 都是一个字节一个字节的从磁盘读取或写入，非常耗时。而我们的缓冲流可以预先从磁盘一次性读出指定容量的字节数到内存中，之后的读取操作将直接从内存中读取，提高效率。下面

Single

2018/05/28

9010

Java 的字节流文件读取（一）

上篇文章我们介绍了抽象化磁盘文件的 File 类型，它仅仅用于抽象化描述一个磁盘文件或目录，却不具备访问和修改一个文件内容的能力。 Java 的 IO 流就是用于读写文件内容的一种设计，它能完成将磁盘文件内容输出到内存或者是将内存数据输出到磁盘文件的数据传输工作。 Java IO 流的设计并不是完美的，设计了大量的类，增加了我们对于 IO 流的理解，但无外乎为两大类，一类是针对二进制文件的字节流，另一类是针对文本文件的字符流。而本篇我们就先来学习有关字节流的相关类型的原理以及使用场景等细节，主要涉及的具体流

Single

2018/05/28

1.6K0

在pandas中利用hdf5高效存储数据

html5 python 数据结构

HDF5（Hierarchical Data Formal）是用于存储大规模数值数据的较为理想的存储格式。

bugsuse

2020/10/09

5.5K0

在pandas中利用hdf5高效存储数据

EDI系统可以作为中间件使用吗？

中间件是在操作系统提供的功能之外为应用程序提供通用服务和能力的软件。数据管理、应用服务、消息传递、认证和API管理都是由中间件普遍处理的。

知行软件EDI

2021/09/26

1.1K0

EDI系统可以作为中间件使用吗？

Java字节流读取写出文件

操作非文本文件图片视频等等 public class Test13 { public static void main(String[] args) { FileInputStream inputStream = null; FileOutputStream outputStream = null; //输入流 try { //参数传入文件位置 inputStream = new Fi

暴躁的程序猿

2022/03/23

5550

再谈数据中台是什么以及MLSQL为什么可以作为数据中台

sql api 大数据 http html

昨天还是前天，正好看到朋友圈里大家都在发AI前线推的一篇文章。数据中台已成下一风口，它会颠覆数据工程师的工作吗？, 个人认为风口谈不上，但是确实是技术发展到一定程度的产物。这里的技术不仅仅是大数据，也是后端，前端技术前进的共同产物。N年前我们是想都不会想这件事情的，因为技术上很难达到。

用户2936994

2019/03/20

1.1K0

再谈数据中台是什么以及MLSQL为什么可以作为数据中台

在pandas中利用hdf5高效存储数据

html5 python 数据结构

HDF5（Hierarchical Data Formal）是用于存储大规模数值数据的较为理想的存储格式。

朱卫军 AI Python

2022/04/03

2.9K0

在pandas中利用hdf5高效存储数据

MONGODB 可以在应用系统中作为核心数据库？

mongodb 云数据库 MongoDB 数据库 sql 架构设计

知道最近也会听到一个声音,MONGODB 不能在核心的系统使用, 哎, 2021年了,现在有些系统都没有传统数据库的身影,而代替的是通过ES,REDIS ,Aerospike 这样的数据库来成功上位到这个系统的核心数据库, 那么MONGODB 为什么不可以成为项目的核心数据库？

AustinDatabases

2021/06/10

1.4K0

MONGODB 可以在应用系统中作为核心数据库？

本体技术视点 | 可以把工作邮箱作为公钥吗？

编程算法数据库 sql

在正式介绍 Celo 的基于地址加密方法前，让我们回想一下从用户角度来看 BTC 或者 ONT 等如何进行转账。假设 Alice 向本体新用户 Bob 转移1 ONT。Bob 首先需要下载本体的官方钱包 ONTO 或者 OWallet，创建一个地址，保存和这个地址对应的私钥。

本体Ontology

2020/05/06

7650

本体技术视点 | 可以把工作邮箱作为公钥吗？

大数据存储_hdf5 简介

python java 文件存储

HDF5 (Hierarchical Data Format) 是由美国伊利诺伊大学厄巴纳-香槟分校，是一种跨平台传输的文件格式，存储图像和数据

火星娃统计

2021/02/05

6.5K0

Druid 加载 Kafka 流数据配置可以读取和处理的流中数据格式

kafka 数据结构 json 文件存储

Kafka 索引服务（indexing service）支持 inputFormat 和 parser 来指定特定的数据格式。

HoneyMoose

2021/08/10

8850

Druid 加载 Kafka 流数据配置可以读取和处理的流中数据格式

Spark-Streaming实时数据读取(kafka)

kafka spark 腾讯云测试服务

上一篇文章我们使用Spark对MySQL进行读写，实际上Spark在工作中更多的是充当实时流计算框架引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactId> <version>3.0.0-preview</version> <!-- <scope>provid

每天学Java

2020/06/01

1.2K0

python读取excel中的数据

https 网络安全

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。

全栈程序员站长

2022/11/10

1.8K0

python 读取excel中的数据

bash bash 指令

http://download.csdn.net/detail/qianminming/2026756#comment

py3study

2020/01/14

2.2K0

Java实现大量文件中读取关键字

package searchWorld; // 实现从大量文件中超过一百次的关键字 import java.io.File; import java.io.IOException; import java.util.Scanner; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.BlockingQueue; import java.util.concurrent.ConcurrentHashMap;

用户2436820

2018/10/10

1.4K0

大数据是啥，可以吃的吗？

大数据数据处理

关于大数据是什么，从一开始仅仅只想做数据，到开始意识到自己做的是对整个集团有核心意义的数据产品，再到走到外面，把数据能力对外输出，所有过程中，不断的有客户问到这个问题，有懵懂的、有善意的、也有挑衅的、不屑的。就像大数据本身一样，混乱又带有迷幻色彩。

数澜科技

2019/10/15

7990

点击加载更多

相似问题

Rxjs throttleTime -实时更新节流吗？

10

如何从套接字读取字节流

10

从字节流中读取utf-8字符

12

Firebase实时数据库可以作为WebHook端点吗？

115

Java套接字从套接字实时读取

40

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例