概述 KEDA 的触发器支持 Apache Pulsar，即根据 Pulsar 消息队列中的未消费的消息数量进行水平伸缩，用法参考 KEDA Scalers: Apache Pulsar。...腾讯云上也有商业版的 Pulsar 产品，即 TDMQ for Pulsar，本文举例介绍配置基于 TDMQ for Pulsar 消息队列中未消费的消息数量进行水平伸缩，当然如果你自建了开源的 Apache...操作步骤 下面使用 pulsar-demo 来模拟 Pulsar 生产者和消费者，再结合 KEDA 配置实现 Pulsar 消费者基于 Pulsar 消息数量的水平伸缩，在实际使用中，可根据自己的情况进行相应替换...获取 Pulsar API 调用地址 在 Pulsar 集群管理页面 找到需要使用的 Pulsar 集群，点击【接入地址】可获取 Pulsar 的 URL，通常使用 VPC 内网接入地址（解析出来是 169...获取 Pulsar JWT Token 确保在 Pulsar 角色管理 创建好需要的角色，并在 Pulsar 命名空间 中【配置权限】，确保所需角色有相应的生产消息或消费消息的权限。
导读：Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制...作者介绍 冉小龙 腾讯云微服务产品中心研发工程师 Apache Pulsar Committer Apache BookKeeper Contributor ---- 背景 Apache Pulsar...系列第一篇文章为读者们详细解释了 Pulsar 的消息保留和过期策略，本文是系列第二篇，主要从 Pulsar 设计的原理以及在 BookKeeper 中如何存储做一个梳理。...那么包含 m4 在内的所有的消息状态都会被标记为可删除的状态。在 Pulsar 中，使用 MarkDeletePosition 来标记这个位置。之后的所有消息，代表这个订阅还没有消费的消息。...Retention 机制 在 Apache Pulsar 中，使用了 BookKeeper 来作为存储层，允许用户将消息持久化，为了确保消息不会无限期的持久化下去，Pulsar 引入了 Retention
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEO replication）、快速扩容、灵活容错等特性。...在很多场景下，用户需要通过 MQ 实现消息的重新推送能力，比如超时重推、处理异常时重推等，本文介绍 Apache Pulsar 提供的几种消息重推方案。...在 MQ 实际的使用中，用户消费数据时，可能会遇到消息处理异常或者需要推迟处理的场景，这里就涉及到消息的重推逻辑，Pulsar 自己提供了消息重推的能力。...总的来说，Apache Pulsar 提供了多种消息重推的方式，用户可以结合自己的场景，灵活使用，满足自己的业务需求。...往期 推荐 《Apache Pulsar 技术系列 - GEO replication 中订阅状态的同步原理》 《CKafka 跨洋数据同步性能优化》 《微服务优雅上下线的实践方法》 《腾讯云消息队列产品
导语 我们在之前的《深入解析Apache Pulsar系列之一 —— 客户端消息确认》中介绍过Apache Pulsar客户端的多种消息确认模式。...这篇文章中，我们将介绍Broker侧对于消息确认的管理。 作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC，《深入解析Apache Pulsar》作者。...记录了这些消息空洞之后，是如何用来避免消息重复消费的呢？ 当Broker从Ledger中读取到消息后，会进入一个清洗阶段，如：过滤掉延迟消息等等。...消息队列 Pulsar 版是一款基于 Apache Pulsar 自研的消息中间件，具备极好的云原生和 Serverless 特性，兼容 Pulsar 的各个组件与概念，具备计算存储分离，灵活扩缩容的底层优势...评论区留言并分享文章至朋友圈 我们将在精选留言中随机抽送 作者的新书 往期 推荐 《腾讯云消息队列 TDMQ Pulsar 版商业化首发｜持续提供高性能、强一致的消息服务》 《Serverless可观测性的价值
本文从传统消息队列上云所面临的三大挑战说起，并以 Apache Pulsar 为技术案例，深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。...为了更好地为广大用户服务，提供金融级可靠消息服务，腾讯云开启了消息队列上云之路，目前 Apache Pulsar 在腾讯云上已经大规模使用。...对于强一致的异地多活，现有的消息队列很少有提供开箱即用的完整方案。 PART THREE 遇见Apache Pulsar 如果使用传统的消息队列上云，要解决上述问题需要费一番功夫。...下面和大家分享下 Apache Pulsar 在腾讯云上的实践经验，探究 Pulsar 如何快速适配云原生环境。...我们会继续积极和社区合作，一起完善 Apache Pulsar 生态。 云原生是正在发生的重要技术事实，云原生落地之路也刚刚开始，期待通过丰富的场景和实践，持续推动云原生前进。
在尝试使用 Apache Pulsar 后，平安证券决定在生产环境中进行实践。...本文介绍了平安证券选择 Apache Pulsar 的原因，使用 Apache Pulsar 的场景，Apache Pulsar 实践应用中遇到的问题，以及使用 Apache Pulsar 的未来规划。...5 Apache Pulsar 在平安证券的业务场景 平安证券使用 Apache Pulsar 构建统一消息平台，期望整合客户、交易、行情、资金四大数据流，应用于行情分发、实时风控等。...本文主要介绍如何将 Apache Pulsar 应用于三个业务场景：请求路由、数据广播和消息通知，新架构的优势和不足，以及其对开发、运维团队的影响。...我们目前使用的 Apache Pulsar 2.7.2 还不支持读写分离，计划把 Apache Pulsar 升级到 2.8，就可以轻松实现读写分离，满足消息广播场景的需求。 3.
本文整理自 ApacheCon Asia 2022 上，来自华为终端的林琳、王小童关于《华为终端云基于 Apache Pulsar 的消息队列演进》的分享，将介绍 Apache Pulsar 在华为终端云中台建设部署实践的过程中面临的挑战与解决方案...基于 Apache Pulsar 的解决方案 消息队列中台化 当前，华为终端云的消息队列广泛应用于服务间的生产系统。常见业务场景包括服务间异步解耦、 海量 Topic、大数据日志流接入与分析等。...我们希望使用一套架构应对大部分业务场景，减少消息平台的开发维护投入。因此我们基于 Apache Pulsar 构建了消息队列中台，实现了一套集群支持多种客户端接入。该中台具备以下特性： 1....Pulsar Broker 可根据平均值、最大阈值等算法动态均衡分区，确保流量在集群内相对均衡。但在实践中，我们发现基于均值的均衡模式也存在一些问题。例如重启节点会持续空闲无流量等。...，极大降低了消息系统的使用成本、提高系统性能。
此 Demo 参考 StreamNative 的 Demo，使用 1.17 Flink SDK，将 Pulsar Topic 作为源和目标资源，统计源 Topic 消息中每个时间窗口各个单词出现的次数，...attachmentid=20260421 核心逻辑见下方代码，首先使用 ParameterTool 工具解析命令行中传入的参数，之后使用 Flink 内置的反序列化器解析消息体为字符串，在数据处理部分使用系统时间窗口统计时间窗内流入的消息...", token) .build(); // 由于此处没有使用消息体中的时间，即没有使用消息的 publish_time // 因此此处使用...，一种是使用 pulsar 内置 schema，另一种是使用 flink 的 schema // 但由于目前 tdmq pulsar 提供的是 2.9 版本的 pulsar，对于 schema...截至现在 Apache Flink 已经发布 1.20 版本，目前推荐使用 Apache Flink 1.15-1.17 对应 Pulsar Connector，不推荐使用 1.15 以下版本，1.18
此 Demo 参考 StreamNative 的 Demo，使用 1.17 Flink SDK，将 Pulsar Topic 作为源和目标资源，统计源 Topic 消息中每个时间窗口各个单词出现的次数，...attachmentid=20260421 核心逻辑见下方代码，首先使用 ParameterTool 工具解析命令行中传入的参数，之后使用 Flink 内置的反序列化器解析消息体为字符串，在数据处理部分使用系统时间窗口统计时间窗内流入的消息...", token) .build(); // 由于此处没有使用消息体中的时间，即没有使用消息的 publish_time // 因此此处使用...，一种是使用 pulsar 内置 schema，另一种是使用 flink 的 schema // 但由于目前 tdmq pulsar 提供的是 2.9 版本的 pulsar，对于 schema...反序列化消息 Schema，此处建议使用 Flink 内置的字符串反序列化器 SimpleStringSchema，或者使用 Pulsar 的字符串反序列化器 StringSchema，将消息转换成字符串后
背景 前两天收到业务反馈有一个 topic 的分区消息堆积了： 根据之前的经验来看，要么是业务消费逻辑出现问题导致消费过慢，当然也有小概率是消息队列的 Bug（我们使用的是 pulsar）。...这里本质上使用的是 pulsar-admin 的 API。...org.apache.pulsar.client.admin.Topics#peekMessages 再通过这条消息的 id （为了演示，这里的 messageId 可能不一样）在我们的 pulsar...相关的消息链路埋点可以参考这里：如何编写一个 Pulsar Broker Interceptor 插件 简单来说就是在以下几个 broker 提供的拦截器接口加上埋点数据即可： messageProduced...可以知道 pulsar 客户端在其中使用的是 pulsar-打头的线程名称，所以这样就列出了我们需要重点关注的线程。
Apache Pulsar 在腾讯云中已经得到大规模的生产实践，在过去一年中承接了诸多行业生态中不同的使用场景。...Apache Pulsar 稳定性优化实践 1 实践 1：消息空洞的影响及规避措施 使用 Shared 订阅模式或单条 Ack 消息模型时，用户经常会遇到 Ack 空洞的情况。...而 Consumer Backlog Eviction 则会自动丢弃最早的消息来保证消息持续处理，可能导致丢消息的情况出现。...为此团队使用了 OHC + LRU 的策略，避免了缓存情况导致的剧烈波动，效果如下图： 总结与展望 本文分享了腾讯云团队在 Apache Pulsar 稳定性上的实践经验，重点介绍了消息空洞的影响及规避措施等最佳实践...》 《Apache Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障》 《微服务架构下路由、多活、灰度、限流的探索与挑战》 《TSF微服务治理实战系列（四）——服务安全》 《高并发场景下如何保证系统稳定性
金融级分布式消息中间件 消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件，具备高一致、高可靠、高并发特性，可为分布式应用系统提供异步解耦和削峰填谷的能力...产品优势 TDMQ Pulsar版在兼容了诸多Pulsar原生优势特性的同时，也增加了一些实际业务场景所需的功能，例如支持重试&死信消息，消息轨迹等。...用户使用消息队列 TDMQ Pulsar 版时，无需担心与开源 Apache Pulsar 社区的兼容性问题。...TDMQ Pulsar 版现已支持 Pulsar 社区版 Go、Java、C++、Python、Node.js 等多语言版本 SDK，使用 Apache Pulsar 开源客户端的客户可以快速接入 TDMQ...消息队列 TDMQ Pulsar 版以其先进的设计理念、高效稳定的服务性能、充分的运维支持、完善的售后服务极大促进了企业的数字化转型，持续为企业提供优质高效的服务。
Apache Pulsar 是 Apache 软件基金会顶级项目，自称是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制...Pulsar 是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。Pulsar 最初由 Yahoo 开发，目前由 Apache 软件基金会管理。...Producer 向 topic 写入消息，consumer 从 topic 消费消息。图 1 展示了三者之间如何协同工作。 ?...Bookie Apache Pulsar 使用 Apache BookKeeper 作为存储层。Apache BookKeeper 针对实时工作负载进行优化，是一项可扩展、可容错、低延迟的存储服务。...复制消息后，C1和C2使用者可以使用它们各自群集中的消息。没有geo-replication，C1和C2使用者将无法使用P3产生者发布的消息。
订单系统创建订单后，发消息给购物车模块，将已下单商品从购物车删除。 从购物车删除已下单商品步骤，并非用户下单支付这个主要流程的必需步骤，所以使用MQ异步清理购物车更合理。 ?...每种实现都有其特定的使用场景，也有各自问题，都不是完美方案。 事务消息适用场景 主要是那些需要异步更新数据，并且对数据实时性要求不高。...我个人觉得这种方案在不支持半消息的队列方案里也是一种选择，不知道您觉得这种实现方案有没有什么问题。 如果有个生产者和消费者都可访问，并且性能还不错的数据库，肯定使用这个数据库实现事务较好。...然而大部分事务消息使用的场景是 没有这样的数据库 或由于设计、安全或者网络原因，生产者消费者不能共享数据库 或数据库的性能达不到要求 如果先创建订单，当前服务由于不可抗拒因素不能正常工作，没给购物车系统发送消息...参考 https://rocketmq.apache.org/docs/transaction-example/
8月，一场盛夏的技术盛宴将要来啦！这就是ApacheCon Asia。作为开源界备受关注的会议之一，今年大会将持续3天，开设14+分论坛，内容覆盖从大数据到搜索再到消息队列等数十个不同类别。...在本届ApacheCon Asia上，来自腾讯的多位工程师（他们同时也是这些开源项目的PMC或Committer）将分享腾讯如何更好地应用开源项目来加速技术架构的迭代创新，使业务始终获得高性能。...演讲六 Apache Pulsar——云原生消息队列在腾讯云的实践 演讲时间：2021-08-08 14:10 #Messaging分会场 演讲摘要： Apache Pulsar 目前在腾讯云上已大规模使用...但消息队列在云原生环境面临了诸多挑战，Pulsar 是一个更好的解决方案。本次演讲将介绍 Pulsar 在云原生环境上的一些实践经验，如：如何快速动态扩缩容，如何提升集群资源的利用率，集群形态等等。...Apache Pulsar Commiter，专注于中间件领域，对消息队列、微服务等方面有丰富的经验。
导读 近期，腾讯联合 StreamNative 开源 Apache 软件基金会顶级项目、分布式消息流平台 Apache Pulsar 生态项目RoP (RocketMQ-on-Pulsar) 新增了三位...他们是来自于我们腾讯云中间件团队的冉小龙（Github ID: @wolfstudy）、韩明泽（GitHub ID: @hanmz）和张勇华（GitHub ID: @ronyhzhang）。...RoP 将 RocketMQ 协议处理插件引入 Pulsar broker，从而实现 Apache Pulsar 对原生 Apache RocketMQ 协议的支持。...---- 冉小龙、韩明泽、张勇华同学作为 RoP 项目 Maintainer ，将持续贡献 RoP 项目。...扫码即可免费体验 免费体验路径：云产品体验->基础->消息队列CKafka 消息队列TDMQ 一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。
消息队列 CKafka 新增了智能巡检、在线升级、磁盘水位自动处理分区自动均衡等高阶能力，持续提升产品体验。...百万级 Topic，Apache Pulsar 在腾讯云的稳定性优化实践 作者：冉小龙 本文分享了腾讯云团队在 Apache Pulsar 稳定性上的实践经验，重点介绍了消息空洞的影响及规避措施等最佳实践...最具行业影响力 TOP 10 评选维度：技术社区、科技媒体、自媒体等渠道的转载数据和综合阅读量等 Apache Pulsar 技术系列 - Pulsar事务实现原理 作者：林琳 Pulsar事务消息的设计初衷是用于保证...如针对电商大促的场景如何进行限流、针对灰度版本如何进行全链路灰度发布等，帮助TSF平台使用者实际解决服务治理相关的流量管控、链路排障、配置管理等一系列问题。...》 《Apache Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障》 《微服务架构下路由、多活、灰度、限流的探索与挑战》 《TSF微服务治理实战系列（四）——服务安全》 《高并发场景下如何保证系统稳定性
以 Apache Pulsar 和 Apache RocketMQ 为代表，都是往这个方向走。从整体的角度来说，这块主要满足的还是消息队列本身的基础职能。...从几个热点项目看技术如何落地 Apache Kafka 2021 年 9 月，Apache Kafka 3.0.0 发布，这是一个重要的版本更新，为 Kafka 彻底去掉 ZooKeeper 铺平了道路...Apache Pulsar 2021 年，Apache Pulsar 有几个里程碑。...另外也在努力更加贴近大数据管道场景，和 Flink 社区探讨如何将 Pulsar 应用在批流融合的场景下，充分发挥 Pulsar 存储计算分离的云原生架构优势，并将完善和丰富对各种消息协议解析。...在此之前任职于 EMC，主要从事实时计算和分布式存储系统的相关开发，在开源项目 Apache BookKeeper、Apache Pulsar 等项目中持续贡献代码，目前是 Pulsar 和 BookKeeper
作者 | 陈建波、全利民 本文整理自 vivo 互联网大数据工程师陈建波与全利民在 Apache Pulsar Meetup 上的演讲《Apache Pulsar 在 vivo 的探索与实践》，介绍...Pulsar 如何解决 vivo 存在的问题，可以首先看一下 Pulsar 的架构设计。Pulsar 采用计算存储层分离架构。...2 Apache Pulsar 集群管理实践 下面我们从流量控制和数据管理方面，分享 vivo 在使用 Pulsar 过程中的集群管理经验。...依赖于 Pulsar 的负载均衡算法，均衡效果更好；否则若 Bundle 太大，无论如何卸载都很难平衡负载； Bundle 数据和 Broker 映射元数据都维护在 ZooKeeper 中，需要做好 Bundle...消息保留时间检查与消息删除 从上述的消息阶段演化来看，Pulsar 提供了较大的消息管理空间，但也略显复杂。
本文我们来探讨如何在 Java 框架——Spring 中整合 Apache Pulsar。文章阐述如何在 Java 中构建基于 Spring 的微服务。在正文内容开始前，我们先介绍 Spring。...在本文示例中，将展示如何基于 Spring Boot 提供的依赖注入机制，为应用程序接入实例化和已配置的 Apache Pulsar 来生产与消费消息。...此外，我还会通过使用 AMQP、Kafka 和 MQTT 发送和接收消息来展示 Apache Pulsar 与其他消息传递协议集成的灵活性。 最后，本文将浅析 Reactive Pulsar。...如图所示，Apache Pulsar 是该架构图的核心。Pulsar 在其中充当了路由、网关、消息总线和数据分发通道的角色。...图片 图片 结语 本文中，我们探索了通过多种消息协议来与 Apache Pulsar 集群通信。由于文章篇幅有限，我们并没有测试全部 Apache Pulsar 支持的消息协议。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
