手动恢复有两种方式，一是恢复指定bookie节点的数据；二是恢复指定ledger的数据。
Apache BookKeeper 是企业级存储系统，旨在提供强大的持久性保证、一致性和低延迟。最初是由雅虎研究院（Yahoo! Research）开发，作为 Hadoop 分布式文件系统（HDFS）NameNode 的高可用（HA）解决方案，以解决严重的单点故障问题。
在 Salesforce，我们需要可以同时处理两种流的存储系统：一种流用来预写日志，另一种流用来处理数据。但对这两种流，我们的要求相互矛盾：预写日志流的写入延迟低，而读取吞吐量高；数据流的写入吞吐量高，但随机读取延迟低。作为云计算的领军企业，我们的存储系统必须具备云感知能力（可用性和持久性要求越来越高）。为了在商用硬件上运行并方便扩容，我们无法更改部署模型设计。
导读：多数读者们了解BookKeeper是通过Pulsar，实际上BookKeeper在数据库和存储场景都有着非常广泛的应用。BookKeeper是Pulsar的底层存储，Pulsar有着广泛数据入口，Pulsar跟Kafka及各类MQ（RabbitMQ、ACTIVEMQ）的较大区别是Pulsar是统一的云原生消息流平台，不但是分布式系统，而且做了存算分离，可以让用户在云的环境下，体验到云原生的优势，例如随意扩缩容、数据灵活迁移复制等。希望通过本文，让大家对Pulsar底层的BookKeeper有更深入的了解。
BookKeeper是一个提供日志条目流存储持久化的服务框架。特别适合日志流存储，一个比较经典的应用是作为消息队列Pulsar的持久框架。
Apache Pulsar 是 Apache 软件基金会顶级项目，自称是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
“Apache Pulsar 2.3.0 重磅发布！最新版本包含支持在Kubernetes中执行Pulsar Functions，基于JSON Web Tokens的认证方式，C++和Python客户端对Schema的支持，Python Functions对于状态函数的支持，以及一系列新增的IO Connectors（Debezium，Canal，MongoDB， Elastic Search，以及HBase）”
在这个图中，连接客户端需要能够使用单个URL与Pulsar集群通信。在本例中，pulsar-cluster.acme.com对所有消息处理brokers进行了抽象。Pulsar消息brokers在BookKeeper的bookies的机器上运行;brokers和bookies也要依赖ZooKeeper。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，数据持久化依赖 Apache BookKeeper 实现，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文将从以下几个方面为大家介绍 Apache Pulsar的设计原理和特性。 1、Apache Pulsar 架构 2、架构设计的优势 3、Pulsar 特性 4、总结 Apache Pulsar 架构 存储计算分离 Apache Pulsar 是 Pub/Sub 模型的消息系统，并且从设计上做了存储和
5台，8c16g，400G SSD/台，选择高性能机型c5.2xlarge。每天各自部署一个zk, broker, bookie。
根据对线上流量、存储以及系统资源的占用，发现我们的 Pulsar 集群有许多的冗余，所以考虑进行缩容从而减少资源浪费，最终也能省一些费用。
文章摘要 本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle》。Apache Pulsar 中抽象了 Topic 来承载用户发送的消息，一条消息发送到 Topic 中之后会经过 Broker 的计算存储到 Bookie 中。本文将详细阐述消息是如何发送到 Broker 并经过 Broker 的计算以及元数据处理最终存储到 Bookie 中，然后会进一步阐述 Bookie 如何利用垃圾回收机
最近这个 Apache Pulsar 消息中间件非常的火，号称云原生时代最能打的消息中件，今天，就一起来看看它到底有多牛逼？
这两年pulsar发展比较快，有好多大公司引入了pulsar，相关的资料和课程也多了，今天一起来了解一下pulsar这款中间件。
Apache BookKeeper是一款企业级存储系统，最初由雅虎研究院研发，在2011年作为Apache ZooKeeper的子项目进行孵化，在2015年1月成为 Apache顶级项目。
Apache Pulsar越来越多的公司使用，与Apache Kafka、Apache RocketMQ并列成为消息领域三家马车，有必要对其研究一番。下面以笔者曾在生产环境使用的配置梳理，内容提要：
绿色的 X 是 Exchange，红色是 Queue ，这两者都在 Server 端（称作 Broker），这部分由 RabbitMQ 实现
从顶层来看， 一个Pulsar实例由一个或多个Pulsar集群组成。实例中的群集之间可以相互复制数据。 一个Pulsar集群由下面三部分组成：
当 APP 有推送需求的时候, 会向个推发送一条推送命令，接到推送需求后，我们会把APP要求推送消息的用户放入下发队列中，进行消息下发；当同时有多个APP进行消息下发时，难免会出现资源竞争的情况, 因此就产生了优先级队列的需求，在下发资源固定的情况下, 高优先级的用户需要有更多的下发资源。
导语 我们在之前的《深入解析Apache Pulsar系列之一 —— 客户端消息确认》中介绍过Apache Pulsar客户端的多种消息确认模式。这篇文章中，我们将介绍Broker侧对于消息确认的管理。 作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC，《深入解析Apache Pulsar》作者。目前专注于中间件领域，在消息队列和微服务方向具有丰富的经验。负责TDMQ的设计与开发工作，目前致力于打造稳定、高效和可扩展的基础组件与服务。 客户端通过消息确认机制通知Bro
Apache Pulsar是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯数据平台部MQ团队对Pulsar做了深入调研以及大量的性能和稳定性方面优化，目前已经在TDbank落地上线。本文是Pulsar技术系列中的一篇，主要简单梳理了Pulsar消息存储与BookKeeper存储文件的清理机制。其中，BookKeeper可以理解为一个NoSQL的存储系统，默认使用RockDB存储索引数据。
在用户视角下，MQ 可以理解为 Pub-Sub 模型，在 Broker 抽象一个 Topic，消息经由生产者发送到 Topic 中然后进入消费者进行消费。
export JAVA_HOME=/usr/lib/jvm/jre-11-openjdk/
最近开始集中精力搞java的开源项目，在这时记录一下使用mvn创建java工程的比较简单的流程，以备不时之需，适用于我等java小白~~~ 文中相关代码已上传： https://github.com/DavidLiuXh/ExampleBank 使用mvn创建java工程 安装mvn 我们之前参考官网就好: Installing Apache Maven 创建java工程 命令行执行 mvn archetype:generate -DgroupId=com.mytest -DartifactId=tes
导语：介于TDMQ还没有公网的访问功能，不可能买台CVM安装windows吧，VPN又只能支持协议类型： IKE/IPsec，意思是企业用户才能用，对于个人就只能再想办法了，但办法总比问题多。本地开发测试环境使用pulsar的单机版，生产使用TDMQ，这样怎么样，一起来看看怎么配置。
导语：介于TDMQ还没有公网的访问功能，不可能买台CVM安装windows吧，VPN又只能支持协议类型：IKE/IPsec，意思是企业用户才能用，对于个人就只能再想办法了，但办法总比问题多。本地开发测试环境使用pulsar的单机版，生产使用TDMQ，这样怎么样，一起来看看怎么配置。
pulsar 是 Apache 的顶级项目， 定位为下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，被看作是云原生时代实时消息流传输、存储和计算最佳解决方案。Pulsar 是一个 pub-sub (发布-订阅)模型的消息队列系统。
Apache Pulsar 越来越受欢迎，尤其在成为 Apache 软件基金会的顶级项目后。
导语 本文梳理笔者 MQ 知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括 RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件。本篇是系列文章第二篇。 RocketMQ 基础概念 Tag Tag（标签）可以看作子主题，它是消息的第二级类型，用于为用户提供额外的灵活性。使用标签，同一业务模块不同目的的消息就可以用相同 Topic 而不同的 Tag 来标识。比如交易消息又可以分为：交易创建消息、交易完成消息等
作者简介 本文作者magiccao、littleorca，来自携程消息队列团队。目前主要从事消息中间件的开发与弹性架构演进工作，同时对网络/性能优化、应用监控与云原生等领域保持关注。 一、背景 QMQ延迟消息是以服务形式独立存在的一套不局限于消息厂商实现的解决方案，其架构如下图所示。 QMQ延迟消息服务架构 延迟消息从生产者投递至延迟服务后，堆积在服务器本地磁盘中。当延迟消息调度时间过期后，延迟服务转发至实时Broker供消费方消费。延迟服务采用主从架构，其中，Zone表示一个可用区（一般可以理解成一个
Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多，主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。 Pulsar之所以能够称为下一代消息队列，主要是因为以下特性:
因为两者都是处理日志，数据模型也类似，所以这篇文章主要从技术角度讨论 Apache Kafka 与 DistributedLog 的不同点。我们会尽量做到客观，但由于我们不是 Apache Kafka 的专家，因此我们可能会对 Apache Kafka 存在误解。如果发现有错，也请大家直接指出。
最近我们的 Pulsar 存储有很长一段时间数据一直得不到回收，但消息确实已经是 ACK 了，理论上应该是会被回收的，随着时间流逝不但没回收还一直再涨，最后在没找到原因的情况下就只有一直不停的扩容。
Pulsar 是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。Pulsar 最初由 Yahoo 开发，目前由 Apache 软件基金会管理。
上一期内容我们讲到：5G时代到来，无处不在的物联网、自动驾驶汽车等在边缘产生的数据源源不断，就像开着的水管，数据源一直流出，由此诞生了新的数据类型即“流数据”。然而，无论Hadoop还是Lambda，都无法胜任新数据环境下的要求，因为计算是原生的流计算，而存储却不是原生的流存储。（上一期文章）
Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。
TDMQ是一个发布-订阅模型的消息系统，由 Broker、Apache BookKeeper、Producer、Consumer 等组件组成。
在上一篇文章 Pulsar3.0 升级指北讲了关于升级 Pulsar 集群的关键步骤与灾难恢复，本次主要分享一些 Pulsar3.0 的新功能与可能带来的一些问题。
导读 RocketMQ 用户可以无缝迁移到 Apache Pulsar 了。自此，Apache Pulsar 补齐了兼容主流消息队列协议的能力。 我们很高兴地宣布腾讯云中间件开源 RoP！RoP 将 RocketMQ 协议处理插件引入 Pulsar broker，这样 Pulsar 就能支持原生 RocketMQ 协议了。 作者介绍 冉小龙 腾讯高级工程师，Apache Pulsar Committer，Apache BookKeeper Contributor 什么是RoP 什么是高可用性
下载Pulsar Chart 首先，您需要下载Pulsar Chart，它是一个包含了Pulsar集群的Kubernetes资源定义文件的压缩包。您可以从Pulsar官网下载最新版本的Pulsar Chart。
本文最初发布于 Confluent 官方博客，经授权由 InfoQ 中文站翻译并分享。
openebs-1：kubernetes使用openebs作为provisioner(卷机制)
「WeOpen Talk」是腾源会全新上线的“对话开源”内容专栏，每周为读者呈现一期与尖峰开源人物的精彩对话内容。在「WeOpen Talk」栏目中，我们将深刻诠释开源先锋者们的开源精神、开源理念及其眼中的开源世界，深度挖掘开源领军者们在实践、参与开源过程中的有效方法论、最佳经验。 PART 1 导语 从一个内敛的技术工程师，到「网红级」开源原生企业的联合创始人；从一位技术人，转型为定企业战略、跑商业化模型、拉「市场」看增长的创业家……他，展现了技术人对开源的热爱，开源人对创业的挑战，创业人对
导语 | 在信息流场景，内容的请求处理、原子模块调度、结果的分发等至关重要，将会直接影响到内容的外显、推荐、排序等。基于消息100%成功的要求，我对Pulsar进行了调研，并采用Pulsar实现消息的可靠处理。本文主要参考Pulsar的官方文档和技术文章，对Pulsar的特性、机制、原理等进行整理总结。 一、Pulsar概述 Apache Pulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多
作者 | 陈航 BIGO 于 2014 年成立，是一家高速发展的科技公司。基于强大的音视频处理技术、全球音视频实时传输技术、人工智能技术、CDN 技术，BIGO 推出了一系列音视频类社交及内容产品，包括 Bigo Live（直播）和 Likee（短视频）等，在全球已拥有近 1 亿用户，产品及服务已覆盖超过 150 个国家和地区。 1挑战 最初，BIGO 的消息流平台主要采用开源 Kafka 作为数据支撑。随着数据规模日益增长，产品不断迭代，BIGO 消息流平台承载的数据规模出现了成倍增长，下游的在线模型训练
随着互联网的高速发展，用户规模与业务并发量开始急剧增加，海量的请求需要接收和存储，业务需要中间件来实现削峰填谷；业务也在不断发展，企业内部的系统数量也在不断地增长，不同语言开发出来的系统需要统一的事件驱动；大数据、AI已经成为很多业务中不可或缺的技术，它们都需要统一的数据源。越来越多的场景离不开消息队列，稍具规模的业务，消息队列都是“标配”。
云原生大潮风起云涌，企业不再停留在理念层面，目前已在多方面落地。消息队列作为关键技术基础设施之一，也在云原生时代面临着挑战和机会。本文从传统消息队列上云所面临的三大挑战说起，并以 Apache Pulsar 为技术案例，深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。 PART ONE 背景介绍 如今，云原生的概念已经渗透到了软件开发的方方面面。云原生不再只是未来的设想，而是一个现在进行时。开发人员在开发设计之初就需要考虑未来如何在云原生环境上部署、运行服务，即如何“上云”。
最近这个 Apache Pulsar 消息中间件非常的火，号称下一代消息中件，今天，就一起来看看它到底有多牛逼？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
