bookkeeper - 腾讯云开发者社区

文章/答案/技术大牛

发布

BookKeeper 简介

BookKeeper 是什么？ BookKeeper 是一种可扩展的、具有容错能力和低延迟的存储服务，主要用来优化实时工作负载。...BookKeeper 概念和术语 BookKeeper 提供复制的、持久的日志流存储，形成具有明确定义顺序序列的记录流。...与 BookKeeper 交互在与 Bookie 交互时，BookKeeper 应用程序有两个主要角色。...如果您对 BookKeeper 或 DistributedLog 感兴趣，你可能希望通过以下方式参与 BookKeeper 社区： BookKeeper Slack channel：http://apachebookkeeper.slack.com.../ BookKeeper 邮件列表：http://bookkeeper.apache.org/community/mailing-lists/ 有关 Apache BookKeeper 项目的更多信息，

2.3K1 0

BookKeeper实现分析

journal 是一个 write-ahead log（WAL），它帮助 BookKeeper 在发生故障时避免数据丢失。这与关系型数据库实现数据持久化的机制相同。...读写隔离 BookKeeper 中的写入都是顺序写入 journal 文件，该文件可以存储在专用磁盘上，可以获得更大的吞吐量。...Bookie Fencing BookKeeper 有一个极其重要的功能，叫做 fencing。...fencing 功能让 BookKeeper 保证只有一个写入者（Pulsar broker）可以写入一个 ledger。...recovery 不是 BookKeeper 复制协议的一部分，而是在 BookKeeper 外部运行，作为一种异步修复机制使用。有两种类型的recovery：手动或自动。

6761 0

您找到你想要的搜索结果了吗？

是的

没有找到

Apache BookKeeper之MetaData管理

针对连续write的优化; 针对Scan操作的优化; 目前来看合适的MetaData Storage有zookeeper, etcd, 如果ledger数量超级大，还可以使用HBase; Apache BookKeeper...当前默认使用Zookeeper实现; MetaData操作的实现 MetadataBookieDriver 在Apache BookKeeper中对MetaData的所有操作都被封装到一个抽象接口MetadataBookieDriver...driverClass.getName(); } } 利用java的反射机制根据driverClass即可产生出对应的MetadataBookieDriver对象; 默认包含org.apache.bookkeeper.meta.zk.ZKMetadataBookieDriver...3181的节点, cookie内容形如: 4 ---- 当前cookie的layout版本号 bookieHost: "10.209.240.36:3181" journalDir: "/data/bookkeeper.../journal" ledgerDirs: "1\t/data/bookkeeper/ledger" instanceId: "eb314bf8-885e-4c60-803d-32fd7858d790"

1.8K3 0

Apache BookKeeper中数据目录分析

Apache BookKeeper中数据目录分析需要落盘的数据 Journals 这个journals文件里存储的相当于BookKeeper的事务log或者说是写前log, 在任何针对ledger的更新发生前...LastLogMark 从上面的的讲述可知，写入的EntryLog和Index都是先缓存在内存中，再根据一定的条件周期性的flush到磁盘，这就造成了从内存到持久化到磁盘的时间间隔，如果在这间隔内BookKeeper...journal文件内容来恢复，这个LastLogMark就记录了从journal中什么位置开始恢复; 它其实是存在内存中，当IndexCache被flush到磁盘后其值会被更新，其也会周期性持久化到磁盘文件，供BookKeeper...data-flow1.png 文件目录使用情况监控用于写入文件的目录有三种状态：可写; 可写，但剩余空间低于所配置的警告阈值; 不可写，已经写满; 当被GC清理了一部分数据后，其状态又可变为可写; BookKeeper

1.6K2 0

白话 Pulsar Bookkeeper 的存储模型

讲到 Pulsar 的存储模型，本质上就是 Bookkeeper 的存储模型。 Pulsar 所有的消息读写都是通过 Bookkeeper 实现的。...Bookkeeper 是一个可扩展、可容错、低延迟的日志存储数据库，基于 Append Only 模型。...（数据只能追加不能修改） image.png 这里我利用 Pulsar 和 Bookkeeper 的 Admin API 列出了 Broker 和 BK 中 Ledger 分别占用的磁盘空间。...Bookkeeper 有提提供一个Admin API 可以返回当前 BK 所使用了哪些日志文件的接口:https://bookkeeper.apache.org/docs/admin/http#endpoint-apiv1bookielist_disk_filefile_typetype...所以我们使用 Helm 部署 Bookkeeper 的时候需要分别指定 journal 和 ledgers 的目录 volumes: # use a persistent volume or emptyDir

4491 0

bookkeeper具体做什么_reading for knowledge翻译

BookKeeper是满足CP特性的分布式系统，并且同时提供了较高的可用性，下文会有论述。 BookKeeper是企业级的存储系统，提供强持久性、一致性和低延迟的保证。最初起源于Yahoo！...BookKeeper 一个企业级、实时的存储平台需要满足一下要求：读写低延迟（< 5ms）数据存储要持久、一致并且支持容错对写入数据提供流式传播或者tail传播的功能高效的存储，可以提供对实时数据以及历史数据的访问...Bookies作为ensemble的一部分起作用一个bookie是一个独立的BookKeeper存储服务。出于性能的考虑，Bookie储存ledger的片段，而不是真个ledgers。...与BookKeeper交互 BookKeeper客户端主要有两个角色：创建和删除ledgers，向ledgers写入或者从ledgers中读取entry。...BookKeeper 框架图注意： BK的典型安装会包含：Metadata store，bookie cluster，多个cilent Bookie自己向metadata store注册自己 Bookie

6413 0

5张图带你了解Pulsar的存储引擎BookKeeper

Apache BookKeeper是一款企业级存储系统，最初由雅虎研究院研发，在2011年作为Apache ZooKeeper的子项目进行孵化，在2015年1月成为 Apache顶级项目。...起初，BookKeeper是一个预写日志(WAL)系统，经过几年的发展，BookKeeper的功能更加完善，比如为Hadoop分布式文件系统(HDFS)的NameNode提供高可用和多副本，为消息系统比如...BookKeeper记录NameNode的edit log(edit log存放文件系统的操作日志)，NameNode的所有修改都会记录到BookKeeper。...BookKeeper会设置一个读超时时间，如果读取超时了，会给另外一个bookie节点(speculative read)发送读请求。...Consumer消费消息后，还会修改Cusor中保存的offset，并且也会记录到BookKeeper。这样保证了Cursor的一致性。

6723 0

Apache BookKeeper 一致性协议解析

Pulsar 存储层依托于 BookKeeper 组件，所以本文简单探讨一下 BookKeeper(下文简称 BK) 的一致性协议是如何实现的。...BookKeeper 基本能力协议作者设计 BK 初衷是提供分布式日志段（Ledger）而不是无界日志（如 Raft、Kafka）。...代码片段如下: public interface BookKeeper extends AutoCloseable { CreateBuilder newCreateLedgerOp(); //

4000 0

干货 | 携程基于BookKeeper的延迟消息架构落地实践

在对其进行相关调研后，发现恰好Pulsar也是消息业务与存储分离的架构，而存储层则是另一个Apache开源基金会的BookKeeper。...二、BookKeeper BookKeeper作为一款可伸缩、高容错、低延迟的分布式强一致存储服务已被部分公司应用于生产环境部署使用，最佳实践案例包括替代HDFS的namenode、Pulsar的消息存储与消费进度持久化以及对象存储...BookKeeper基于Zone感知的ensemble替换策略便是应对此种场景的解决方案。...我们先看看BookKeeper使用上的一些约束： 1）BookKeeper不支持共享写入的，也即业务层多个节点如果都写数据，则各自写的必然是不同的ledger； 2）虽然BookKeeper允许多读，但多个应用节点各自读取的话...://bookkeeper.apache.org/ 为什么选择BookKeeper： https://medium.com/streamnative/why-apache-bookkeeper-part

1.1K3 0

Pulsar存储计算分离架构设计之存储层BookKeeper（上）

上一篇文章我们说了Broker无状态，这一篇我们来聊聊"存储计算分离"中的存储——BookKeeper。...二、BookKeeper 基本概念 Apache BookKeeper 官网是这么介绍的： A scalable, fault-tolerant, and low-latency storage service...Ledger 是对一个 log 文件的抽象，Client 在向 BookKeeper 写数据时也是往 Ledger 中写的。...LedgerHandle.addEntry: 这是 BookKeeper 客户端 API 的底层方法，直接与单个 BookKeeper ledger 交互。它处理的是单一 ledger 的写入操作。...server端源码分析 bookkeeper server端启动可以看 org.apache.bookkeeper.proto.BookieNettyServer类： BookieRequestHandler

1931 0

Pulsar存储计算分离架构设计之存储层BookKeeper（下）

我们接着上一篇Pulsar存储计算分离架构设计之存储层BookKeeper（上）继续讲：六、Bookie的数据读取流程我们继续跟着上一篇的server端的源码分析上来，直接看 org.apache.bookkeeper.proto.BookieRequestProcessor...processReadRequestV3 方法的核心逻辑见下：上面代码跟进来，在 org.apache.bookkeeper.bookie.Bookie#readEntry：这段代码的读取流程通过多层委托实现...整个消息获取流程如下图所示： 7.2 Bookie的数据读取流程核心时序图 7.3 组件模块分析 BufferedChannel 这几个Channel类在BookKeeper中构成了一个层次化的缓冲I/...：专门优化用于读操作的缓冲通道使用场景： BufferedLogChannel（日志缓冲通道） Bookie写入entry日志文件管理journal日志文件处理日志文件的生命周期含义：专门用于BookKeeper...最常用的存储格式使用场景：BookKeeper默认的生产环境存储实现 SlowInterleavedLedgerStorage（慢速交错账本存储）含义：模拟慢速存储的交错账本存储实现，用于测试使用场景

1271 0

放弃 Ceph，Salesforce 使用 Apache BookKeeper 在云中实现最强存储

在查看了开源代码后，我们有两个备选方案：Ceph 和 Apache BookKeeper。...首先，我们来看一下 BookKeeper 和 Ceph 在 CAP 和其他方面的表现。...我们决定选择 Apache BookKeeper。BookKeeper 支持仅追加 / 不可变数据存储，采用高可复制的分布式日志，满足我们对系统 CAP 的要求。...3Apache BookKeeper——近乎完美，但还有改善空间 Apache BookKeeper 几乎实现了我们对存储系统的全部要求，但仍需做一些工作。...他是 Apache BookKeeper 的 committer，积极参与 Apache BookKeeper 的开发。欢迎在 Twitter 上关注 Anup（@ghatageanup ）。

6931 0

翟佳：高可用、强一致、低延迟——BookKeeper的存储实现

今天的介绍会围绕下面四点展开：BookKeeper的简介BookKeeper的特性BookKeeper存储介质的演进BookKeeper的社区资源--01 BookKeeper的简介1....BookKeeper的诞生BookKeeper也是Apache的一个项目，同样是由雅虎捐献诞生，原本是为了应对雅虎开源HDFS里元数据存储的需求。...BookKeeper使用案例BookKeeper也有局限性，是append only的一个抽象变成了分布式服务，相对而言比较底层。...所以用户多是一些比较大的互联网公司或其他有大数据量的需求的用户，这些用户会在BookKeeper之上做一些二次开发，例如Pulsar在BookKeeper之上做了一层broker服务，对BookKeeper...BookKeeper与Raft的对比在底层原理上，Raft与BookKeeper有很多类似的地方，Raft每个数据写入的组织形式是term，跟BookKeeper的segment类似，每个term也会选择一组节点存储数据

1.8K4 2

在 kubernetes 环境下如何优雅扩缩容 Pulsar

Bookkeeper 在介绍 bookkeeper 扩容前先简单介绍些 Bookkeeper 的一些基本概念。...那什么情况下需要扩容 Bookkeeper 了，当然如果单个 Bookkeeper 的负载较高也是可以扩容的。但我们当时扩容 Bookkeeper 的场景是想利用 Pulsar 的资源隔离功能。...Bookkeeper 节点中的。...元数据删除后 bookkeeper 才是真正下线成功，此时 broker 才会感知到 Bookkeeper 下线。...最后当 bookkeeper 成功下线后，我们需要删除 PVC，不然如果今后需要扩容的时候是无法启动 bookkeeper 的，因为在启动过程中会判断挂载的磁盘是否有数据。

6351 0

5000字阐述云原生消息中间件Apache Pulsar的核心特性和设计概览

Bookie Apache Pulsar 使用 Apache BookKeeper 作为存储层。Apache BookKeeper 针对实时工作负载进行优化，是一项可扩展、可容错、低延迟的存储服务。...客户端发布的消息存储在 BookKeeper 的服务器实例中，即 bookie。 Ledger 是 BookKeeper 中的基本存储单元。...，是用于存储bookie相关的元数据，比如bookie上有哪些ledger，bookkeeper目前使用的是zk存储，所在在部署bookkeeper前，要先有zk集群 Journal 其实就是bookkeeper...实例中（又称 bookies）；Broker 依赖 ZooKeeper 集群处理特定的任务；一个BookKeeper：包含一个或多个 bookie 的 BookKeeper 集群负责消息的持久化存储...Apache BookKeeper 在这里我们赵中介绍一下Apache BookKeeper。

1.2K3 0

reading recovery_the common reader

BookKeeper AutoRecovery 背景版本：BookKeeper版本为4.12.0（Pulsar 2.7.0的内置版本） Recovery主要针对的场景是：当集群中有部分bookie.../bin/bookkeeper shell recover bookiehostname:3181 恢复指定ledger的数据； bin/bookkeeper shell recover \ 192.168.1.10...关闭AutoRecovery $ bin/bookkeeper shell autorecovery -disable 开启AutoRecovery $ bin/bookkeeper shell autorecovery.../bin/bookkeeper shell listbookies -rw JMX enabled by default 16:18:19.118 [main] INFO org.apache.bookkeeper.tools.cli.commands.bookies.ListBookiesCommand.../bin/bookkeeper shell listledgers # 以下节选部分输出 ...

1.2K3 0

在裸机上部署Pulsar集群顶

集群 BookKeeper处理Pulsar中的所有持久数据存储。...您需要部署BookKeeper Bookies集群才能使用Pulsar。您可以选择运行** 3台机器组成的BookKeeper集群**。...您可以使用conf/bookkeeper.conf配置文件来配置BookKeeper bookies 。...您可以在这里找到可用的BookKeeper配置参数的完整清单. 但是，查询BookKeeper文档以获得更深入的指导可能是更好的选择。...如果要启用该特性，需要在conf/bookkeeper.conf文件中执行以下设置来在BookKeeper上启用表服务。。

2K2 0

【12图】你管这破玩意叫Pulsar

Pulsar用 Apache BookKeeper作为持久化存储，Broker持有BookKeeper client，把未确认的消息发送到BookKeeper进行保存。...BookKeeper是一个分布式的WAL(Write Ahead Log)系统，pulsar使用BookKeeper有下面几个便利：可以为Topic创建多个ledgers Ledger是一个只追加的数据结构...，并且只有一个writer，这个writer负责多个BookKeeper存储节点(就是Bookies)的写入。...2 BookKeeper简介从上一节的讲解看出，Apache Bookkeeper是一个易扩展、高可用、运维简单的分布式存储系统。这节再看一下Bookkeeper的其他三个特性。...bookie写完消息后会给broker一个回复，broker收到指定数量的确认消息后就会认为写BookKeeper成功。

9935 1

消息传输的设计方式（上）

一文，原文地址在这里，大有感触，作者分享了自己过去几年时间里在工作中使用Apache Pulsar、DistributedLog，以及BookKeeper的实际经验。...郭斯杰7年前作为雅虎北京的推送消息团队成员开始使用BookKeeper，大约5年前，也就是2012年，郭斯杰转战到了位于旧金山的Twitter公司，开始致力于利用BookKeeper解决分布式数据库的一致性问题...预备知识郭斯杰最早开始接触的是BookKeeper，从后面的文章介绍中我们可以知道，BookKeeper是很多组件的基础，可以帮助进行分布式环境的信息协同管理，正是由于拥有BookKeeper的实际工作经验...郭斯杰7年前作为雅虎北京的推送消息团队成员开始使用BookKeeper，大约5年前，也就是2012年，郭斯杰转战到了位于旧金山的Twitter公司，开始致力于利用BookKeeper解决分布式数据库的一致性问题...预备知识郭斯杰最早开始接触的是BookKeeper，从后面的文章介绍中我们可以知道，BookKeeper是很多组件的基础，可以帮助进行分布式环境的信息协同管理，正是由于拥有BookKeeper的实际工作经验

1.2K8 0

Pulsar存储计算分离架构设计之Broker无状态

2.4 易于扩展和维护由于存储和计算职责的分离，Pulsar可以独立地扩展Broker集群和BookKeeper集群。...当系统需要处理更多的消息时，可以简单地增加Broker节点来提高处理能力；当需要存储更多的消息时，可以增加BookKeeper节点来扩展存储空间。...2.5 高性能与可靠性 BookKeeper集群通过复制和分片技术确保消息数据的高可靠性和持久性。同时，Broker通过缓存机制减少对BookKeeper集群的访问频率，提高消息处理的性能。...实际上，这些问题只是被转移到了BookKeeper存储集群上。 3.2 存储集群的复杂性 BookKeeper作为存储集群，依然需要解决数据一致性、节点故障转移、选举、数据复制等一系列复杂问题。...例如，在Pulsar中，当客户端从Broker消费一条消息时，Broker需要向BookKeeper集群请求数据，然后再返回给客户端。

1661 0

点击加载更多

BookKeeper 简介

BookKeeper实现分析

Apache BookKeeper之MetaData管理

Apache BookKeeper中数据目录分析

白话 Pulsar Bookkeeper 的存储模型

bookkeeper具体做什么_reading for knowledge翻译

5张图带你了解Pulsar的存储引擎BookKeeper

Apache BookKeeper 一致性协议解析

干货 | 携程基于BookKeeper的延迟消息架构落地实践

Pulsar存储计算分离架构设计之存储层BookKeeper（上）

Pulsar存储计算分离架构设计之存储层BookKeeper（下）

放弃 Ceph，Salesforce 使用 Apache BookKeeper 在云中实现最强存储

翟佳：高可用、强一致、低延迟——BookKeeper的存储实现

在 kubernetes 环境下如何优雅扩缩容 Pulsar

5000字阐述云原生消息中间件Apache Pulsar的核心特性和设计概览

reading recovery_the common reader

在裸机上部署Pulsar集群顶

【12图】你管这破玩意叫Pulsar

消息传输的设计方式（上）

Pulsar存储计算分离架构设计之Broker无状态

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐