首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

请问有业务使用 pulsar 消息队列么?

有业务使用 Pulsar 消息队列。Pulsar 是一个高性能、可扩展、开源的消息队列系统,由 Yahoo 开发并开源。它提供了一个统一的消息队列和流处理平台,支持多种消息协议,如 Apache MQTT、Apache BookKeeper 和 Apache Kafka。Pulsar 提供了高吞吐量、低延迟的消息传递,并且具有高可用性和容错性。

Pulsar 的优势在于其高性能、可扩展性、可靠性和容错性。它可以处理大量的消息,并且可以在分布式环境中运行,支持多租户和多集群。Pulsar 还提供了丰富的功能,如持久性订阅、消息批处理、消息过滤、消息顺序保证等。

Pulsar 的应用场景包括:

  1. 实时数据流处理:Pulsar 可以用于处理实时数据流,例如 IoT 设备的数据、日志处理、实时分析等。
  2. 消息队列:Pulsar 可以用作消息队列,用于解耦生产者和消费者,确保可靠的消息传递。
  3. 事件驱动架构:Pulsar 可以用于构建事件驱动的架构,例如事件源、事件处理和事件消费。
  4. 数据集成:Pulsar 可以用于数据集成,例如数据抽取、转换和加载。

推荐的腾讯云相关产品和产品介绍链接地址:

  1. 腾讯云 TMQ:腾讯云 TMQ 是一个高性能、可扩展、可靠的消息队列服务,支持多种消息协议,包括 MQTT、AMQP 和 Kafka。腾讯云 TMQ 提供了丰富的功能,如消息过滤、消息顺序保证、消息回溯等。腾讯云 TMQ 的产品介绍链接地址:https://cloud.tencent.com/product/tmt
  2. 腾讯云 CMQ:腾讯云 CMQ 是一个高性能、可扩展、可靠的消息队列服务,支持多种消息协议,包括 MQTT、AMQP 和 Kafka。腾讯云 CMQ 提供了丰富的功能,如消息过滤、消息顺序保证、消息回溯等。腾讯云 CMQ 的产品介绍链接地址:https://cloud.tencent.com/product/cmq

注意:虽然 Pulsar 是一个优秀的消息队列系统,但是在中国大陆地区,许多企业和组织可能因为安全和合规的原因而选择使用腾讯云等国内云计算服务提供商的消息队列服务。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Redis 使用 List 实现消息队列可靠

分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。...目前市面上已经 RabbitMQ、RochetMQ、ActiveMQ、Kafka等,有人会问:“Redis 适合做消息队列?” 在回答这个问题之前,我们先从本质思考: 消息队列提供了什么特性?...Redis 如何实现消息队列?是否满足存取需求?...今天,码哥结合消息队列的特点一步步带大家分析使用 Redis 的 List 作为消息队列的实现原理,并分享如何把 SpringBoot 与 Redission 整合运用到项目中。...在消息量不大的情况下使用 Redis 作为消息队列,他能给我们带来高性能的消息读写,这似乎也是一个很好消息队列解决方案。

33030

深入剖析:如何使用Pulsar和Arthas高效排查消息队列延迟问题

背景 前两天收到业务反馈一个 topic 的分区消息堆积了: 根据之前的经验来看,要么是业务消费逻辑出现问题导致消费过慢,当然也有小概率是消息队列的 Bug(我们使用的是 pulsar)。...这里本质上使用的是 pulsar-admin 的 API。...可以知道 pulsar 客户端在其中使用的是 pulsar-打头的线程名称,所以这样就列出了我们需要重点关注的线程。...我们再往下翻一翻,会发现上层调用的业务代码: 查阅代码得知这是一个数据库的写入操作,看起来是在这个环节数据库响应过慢导致的 pulsar 线程被阻塞了;从而导致消息没有及时 ACK。...果然停掉没多久后消息就开始快速消费了: 从这个时间线也可以看得出来了,在服务端推送了多次之后终于收到了 ACK。 修复之后业务再去排查优化这个慢 SQL,这样这个问题就得到根本的解决了。

21110
  • 在 TKE 使用 KEDA 实现基于 Apache Pulsar 消息队列的弹性伸缩

    概述 KEDA 的触发器支持 Apache Pulsar,即根据 Pulsar 消息队列中的未消费的消息数量进行水平伸缩,用法参考 KEDA Scalers: Apache Pulsar。...腾讯云上也有商业版的 Pulsar 产品,即 TDMQ for Pulsar,本文举例介绍配置基于 TDMQ for Pulsar 消息队列中未消费的消息数量进行水平伸缩,当然如果你自建了开源的 Apache...操作步骤 下面使用 pulsar-demo 来模拟 Pulsar 生产者和消费者,再结合 KEDA 配置实现 Pulsar 消费者基于 Pulsar 消息数量的水平伸缩,在实际使用中,可根据自己的情况进行相应替换...获取 Pulsar API 调用地址 在 Pulsar 集群管理页面 找到需要使用Pulsar 集群,点击【接入地址】可获取 Pulsar 的 URL,通常使用 VPC 内网接入地址(解析出来是 169...获取 Pulsar JWT Token 确保在 Pulsar 角色管理 创建好需要的角色,并在 Pulsar 命名空间 中【配置权限】,确保所需角色相应的生产消息或消费消息的权限。

    15910

    面试官:消息队列使用场景哪些?

    目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。...与串行的差别是,并行的方式可以提高处理的时间 假设三个业务节点每个使用50毫秒,不考虑网络等其他开销,则串行方式的时间是150毫秒,并行的时间可能是100毫秒。...引入消息队列,将不是必须的业务逻辑,异步处理。改造后的架构如下: 按照以上约定,用户的响应时间相当于是注册信息写入数据库的时间,也就是50毫秒。...秒杀业务根据消息队列中的请求信息,再做后续处理 2.4日志处理 日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解决大量日志传输的问题。...ZeroMQ 和 RabbitMQ/Kafka 不同,它只是一个异步消息库,在套接字的基础上提供了类似于消息代理的机制。使用 ZeroMQ 的话,需要对自己的业务代码进行改造,不利于服务解耦。

    1.9K21

    【干货】看看我司消息队列用啥,全网最接地气pulsar教程(含业务解耦demo源码)

    于是乎,狗哥将我司日常使用消息队列pulsar进行总结整理,让大家一次性免费学个够,不付费也能学的酣畅淋漓正文主要目标1.pulsar是什么2.pulsar什么核心特性3.pulsar与其他消息队列区别...4.docker如何安装pulsar5.docker如何安装pulsar-manager6.实际电商业务分析7.java中如何使用pulsar解决业务问题目标讲解一.pulsar是什么?...情况一:没有使用pulsar消息队列业务正常串行执行张三支付成功后,更新订单,更新库存,更新物流...串行操作,每个服务都耗时2秒这种串行的执行方式很大的问题,如果整个链路串行执行,那么响应的时间就是每个业务执行时间想加...如果还有其他下游业务,链路时间会一直叠加,造成张三用户访问等待时长,并且如果链路中有失败,则会导致整个链路异常情况二:使用pulsar消息队列,实现异步解耦张三支付成功后,更新订单,更新库存,更新物流....B随意录入orderId,点击采用消息队列解耦-方式B接口【Execute】按钮,查看结果4.演示总结demo代码逻辑简单,业务逻辑清晰,以最直观的响应时间来展示使用pulsar异步解耦优势,并使用优雅的分层使代码结构干净整洁

    15810

    【Redis实战】MQ为啥不用?用Redis作消息队列!?Redis作消息队列使用方法及底层原理高级进阶

    最近工作室的一个业务跟另一个业务合并 自然要用到MQ(消息队列Message Queue)那么很显然 就要部署个RabbitMQ到服务器上了 我们用的是云托管的的服务 那自然是部署中间件到云服务上去了...Redis作为消息队列的优缺点: 使用Redis作为消息队列的选择相对于使用专门的消息队列系统(如RabbitMQ、Kafka等)以下优点和: 简单轻量:Redis是一个内存中的数据存储系统,具有轻量级和简单的特点...相比较专门的消息队列系统,使用Redis作为消息队列不需要引入额外的组件和依赖,可以减少系统的复杂性。 速度快:由于Redis存储在内存中,它具有非常高的读写性能。...广泛的应用场景:Redis不仅可以用作消息队列,还可以用作缓存、数据库、分布式锁等多种用途。如果你的应用程序已经使用了Redis,那么使用Redis作为消息队列可以减少技术栈的复杂性。...在消息队列中,你可以使用默认的序列化器,即StringRedisSerializer,它会将消息以字符串的形式进行存储和传输。

    6.9K10

    pulsar-8:40个分区的topic消息严重不均衡下个别partition无法被consumer消费

    这个分区topic消息发送平均大小: pulsar_rate_in: pulsar_rate_out:spike的时间是我们发现不消费的时间,但有可能之前就已经问题了,这么高是重启了consumer...的threadPool中的无界队列后,receiverQueue继续从pulsar-broker接收推送来的消息,直到把所有的key_shard的threadpool的无界队列打到最大极限,把服务吃死。...本质上还是对pulsar使用不当造成的,用其他的消息队列用push的话也会这样大量堆积。...最后再次简述原因: pulsar-client会用一个receiverQueue不断接收pulsar-broker推送过来的消息,结果本地处理这些消息的线程池/本地队列也是异步的去从receiverQueue...中拿消息,且本地队列没有限制队列长度,然后直接打满本地队列

    1.3K20

    Kafka那么成熟,为什么我们还需要Pulsar?(文末赠书)

    有的人可能会问,现在消息队列已经非常成熟了,我们可以使用Kafka、RabbitMQ等满足日常的业务需求,为什么还会出现Pulsar这个消息队列,并且迅速发展呢?...理由很多,由于篇幅问题,我们不能一一列举,下面列出几个日常使用中比较关注的方面。我们会发现,Pulsar不仅仅是一个消息队列。...4 低延迟 很多业务消息延迟很高的要求,现有的一些队列,要么延迟很小但吞吐量低,要么延迟很大但吞吐量高,而Pulsar则是一个两者可以兼得的消息队列。...基本上日常业务需要的能力,Pulsar都能满足。这就让一套消息队列能支持众多的业务,不会因为无法提供某些业务能力而又要维护另外一类消息队列,降低了内部团队的运维成本。...现在很多公司的业务场景非常复杂,Kafka很多功能的缺失,如果要使用死信队列,则可能还要部署一套RabbitMQ,最终可能市面上所有的消息队列都会维护一套,导致消息队列的维护成本急剧上升。

    48611

    为什么我们需要Pulsar

    有的人可能会问,现在消息队列已经非常成熟了,我们可以使用Kafka、RabbitMQ等满足日常的业务需求,为什么还会出现Pulsar这个消息队列,并且迅速发展呢?...理由很多,由于篇幅问题,我们不能一一列举,下面列出几个日常使用中比较关注的方面。我们会发现,Pulsar不仅仅是一个消息队列。...4 低延迟 很多业务消息延迟很高的要求,现有的一些队列,要么延迟很小但吞吐量低,要么延迟很大但吞吐量高,而Pulsar则是一个两者可以兼得的消息队列。...基本上日常业务需要的能力,Pulsar都能满足。这就让一套消息队列能支持众多的业务,不会因为无法提供某些业务能力而又要维护另外一类消息队列,降低了内部团队的运维成本。...现在很多公司的业务场景非常复杂,Kafka很多功能的缺失,如果要使用死信队列,则可能还要部署一套RabbitMQ,最终可能市面上所有的消息队列都会维护一套,导致消息队列的维护成本急剧上升。

    66920

    鹅厂大佬深度解析 Apache Pulsar 五大应用场景

    消息系统的具体实现决定了最终哪个消费者实际接收到消息队列模型通常与无状态应用程序一起结合使用。...消费者按照消息写入管道的确切顺序接收从管道发送的消息。 流模型通常与状态应用程序相关联。状态的应用程序更加关注消息的顺序及其状态。消息的消费顺序决定了状态应用程序的状态。...系统解耦 各个业务系统仅需要处理自己的业务逻辑,发送事件消息消息队列。下游业务系统直接订阅消息队列队列或主题获取事件。消息队列可用于单体应用被拆解为微服务后不同微服务间的通信。...以 Pulsar on Kubernetes 为例,Bookie 是状态的节点,但是节点之间是对等的,可以采用 StatefulSet 来部署;而 Broker 作为无状态的节点,直接使用 ReplicaSet...目前公司已经业务使用 Pulsar on Kubernetes,如果 bookie 使用 Local Storage Volume,对 Pulsar 的性能基本没有影响。

    1.2K21

    MQ选型,究竟要考虑哪些因素?

    成熟系统的构建,最不能缺少的一环就是消息队列消息队列的概念看似好懂,但落实到复杂问题的解决,则非常考验内功。比如: (1)如何评估一个消息队列是否适合当前业务?...(2)消息队列的模式选推还是拉? (3)如何确保消息不丢失? (4)Kafka、RocketMQ、Pulsar 的原理何区别?...任何脱离业务的方案选型都是耍流氓,选消息队列也一样,适合自己的才最好。 所以,精通消息队列选型的本质,就是掌握不同消息队列产品的特点。...上图出自国内领先的第三方支付企业拉卡拉,拉卡拉很多系统的业务逻辑和具体的消息系统之间存在耦合,在选型消息队列的过程中,拉卡拉着重比较了 Kafka、RocketMQ 和 Pulsar,最后决定使用 Pulsar...简单来说,云原生的分布式消息流平台 Pulsar 在性能、兼容方面都有明显优势,大获全胜。 Pulsar 什么架构优势?

    48640

    消息队列上云挑战与方案:腾讯云的 Apache Pulsar 实践

    在云上,消息队列将成为一种基础设施,像自来水一样,可以随时按需使用,并且有无限容量。用户无需关心消息队列的型号、规格,或是否需要升级配置,只需专注上层业务。...为了更好地为广大用户服务,提供金融级可靠消息服务,腾讯云开启了消息队列上云之路,目前 Apache Pulsar 在腾讯云上已经大规模使用。...对于强一致的异地多活,现有的消息队列很少有提供开箱即用的完整方案。 PART THREE 遇见Apache Pulsar 如果使用传统的消息队列上云,要解决上述问题需要费一番功夫。...当 Pulsar 持久化一条消息时,Broker 使用 BookKeeper client 同时并行写入多个 Bookie 节点,根据消息的 Ack 数,来判断多少数据写入成功。...由于地域之间网络延迟,保证强一致性跨地域容灾,会让上层业务使用消息队列的延迟上升,因此需要业务方根据自身的实际情况,权衡选择具体的异地多活方式。

    1.4K30

    终于一款云原生消息系统出仕了!

    我的经验是,成熟系统的构建,最不能缺少的一环就是消息队列消息队列的概念看似好懂,但落实到复杂问题的解决,则非常考验内功。比如: 如何评估一个消息队列是否适合当前业务消息队列的模式优选推还是拉?...如何确保消息不丢失? Kafka、RocketMQ、Pulsar 的原理何区别? 其实,市场上流行的消息队列产品无非那几种。所以,精通消息队列的本质,就是掌握不同消息队列产品的特点。...拉卡拉很多系统的业务逻辑和具体的消息系统之间存在耦合,在选型消息队列的过程中,拉卡拉着重比较了 Kafka、RocketMQ 和 Pulsar,最后决定使用 Pulsar。...而 Pulsar 采用计算与存储分离的架构,保持性能的同时,更利于长时间存储消息。 ?...目前,Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团(京东到家)、苏宁、平安证券、华为等各个领域的巨头广泛实践,全面赶超 Kafka 的态势。

    42630

    告别传统金融消息架构:Apache Pulsar 在平安证券的实践

    消息队列下传统架构带来的挑战 平安证券采用的就是上述的传统架构,目前只支持消息队列。虽然我们一定的开发能力,但也难以获取到该消息队列的细节信息。同时,由于是定制开发的系统,支持的语言比较有限。...现有的消息队列业务发展和业务创新等以下不足: 黑盒系统,难以观测:消息队列是一个黑盒系统,我们难以观测到架构的细节; 直接交换(Direct Exchange),无法路由:由于架构目前只支持消息队列...完善的 Rest API,可查看队列情况。之前使用消息系统很好的性能,但在可观测性方面有所欠缺,给系统排障造成困难,同时消息系统的管理方式较为原始,难以适配大规模系统管理的要求。...5 Apache Pulsar 在平安证券的业务场景 平安证券使用 Apache Pulsar 构建统一消息平台,期望整合客户、交易、行情、资金四大数据流,应用于行情分发、实时风控等。...场景三:消息通知——安全管控 我们使用到 Apache Pulsar 的第三个场景是消息通知。虽然消息通知涉及到的业务相对较少,但这一业务场景十分重要。整体业务流程图如下。

    72620

    CTO 观点:如何为企业选择合适的消息系统?

    该企业一直在使用消息系统,因此对实时系统的复杂性一定的了解,也发现了当前消息系统的不足之处。因此该企业对消息系统的要求是能够处理高级的消息传递和复杂的消息特性。...高级消息使用场景 假设一个公司已经在使用多种消息队列系统。从运营、架构和开销的角度来看,我们认为必要迁移到单个系统。同时,我们也希望降低运营成本。...数据架构师团队在和股东以及业务部门详细讨论了当前和未来需求后,给出的结论是,Pulsar 和 Kafka 各有优势。 队列消息 最大的难题是 RabbitMQ 系统。...Pulsar 可以在同一集群中处理队列消息,还支持扩展集群。Pulsar 可以将所有消息流模型和队列模型的使用场景整合到一个集群中。...就队列模型和消息流模型而言,我们选择 Pulsar。 高级保留 数据架构师分析了数据使用情况,发现 99.99% 的数据在首次使用后就未被读取。但是,他们决定采取保守策略,保留消息一周。

    38420

    FiT 基于 Pulsar 在金融在线高并发场景的最佳实践

    于是 TDMQ Pulsar 进入了 FiT 的消息队列技术选型范畴。...在完全兼容社区版的基础上,消息队列 Pulsar 版还提供了重试&死信队列消息标签过滤、消息轨迹等高级特性。...目前消息队列 Pulsar 版已经较大规模的应用,如王者荣耀、猫眼、微民保险、QQ音乐、领星、长安汽车等,以及包括腾讯计费绝大部分场景,包括支付主路径、实时对账、实时监控、大数据实时分析等方面。...FiT 基于 Pulsar消息中间件实践 标准模型-发布订阅 第一类使用场景,是标准的 pub - sub 模式,生产者生产一条消息,任意一个消费者成功消费即可。...另外,Pulsar 可以支持自动创建订阅,FiT 使用该能力实现了一套插件,将 SET 做为环境变量注入到启动容器中,这样实现方式极大的方便了业务自定义配置要消费的消息,仅需要调整环境变量即可,而不需要改动业务代码

    22310

    打造消息中台,华为终端云基于 Apache Pulsar 的演进实践

    理想的消息队列集群应该具备出色的性能,并能具备足够多的高级业务特性,如: 延迟消息——实现任意时间维度的消息延迟投递; 死信消息——消息被多次消费失败后,自动投递到其他队列,避免阻塞当前队列消费; 海量分区...基于 Apache Pulsar 的解决方案 消息队列中台化 当前,华为终端云的消息队列广泛应用于服务间的生产系统。常见业务场景包括服务间异步解耦、 海量 Topic、大数据日志流接入与分析等。...我们希望使用一套架构应对大部分业务场景,减少消息平台的开发维护投入。因此我们基于 Apache Pulsar 构建了消息队列中台,实现了一套集群支持多种客户端接入。该中台具备以下特性: 1....SDK 接口统一:为了避免不同协议客户端导致业务复杂度上升,我们提供了一个统一的 SDK,封装了标准 PUB/SUB 等接口,业务无需感知服务端是使用 Kafka 还是 Pulsar。...后续即使更换消息中间件内核也不涉及业务代码的修改。 3. 提供高级业务特性:此前,业务为了保证消息系统的高性能,又想使用高级业务特性,如延迟消息、死信消息等,不得不维护多种消息系统各司其职。

    59420

    对 Kafka 和 Pulsar 进行性能测试后,拉卡拉将消息平台统一换成了 Pulsar

    这就导致一方面很多系统的业务逻辑和具体的消息系统之间存在耦合,为后续系统维护和升级带来麻烦;另一方面业务团队成员对消息系统的管理和使用水平存在差异,从而使得整体系统服务质量和性能不稳定;此外,同时维护多套系统...对消息队列和流式队列的要求 为什么选择 Apache Pulsar 现在可供用户选择的大厂开源消息平台很多,架构设计大多类似,比如 Kafka 和 RocketMQ 都采用存储与计算一体的架构,只有...状态存储层由一组 bookie 存储节点组成,可以持久存储消息。 图 1. Pulsar 架构图 Broker 架构 Broker 主要由四个模块组成。...本节将结合实际使用场景,详细介绍我们如何在实际使用场景中应用 Pulsar 及基于 Pulsar 开发的组件。 图 7. 基于 Pulsar 构建的基础消息平台架构图 场景 1:流式队列 1....消息确认超时(客户端)检测机制示意图 场景 2:消息队列:OpenMessaging 协议实现(透明层协议) 我们过去使用的很多业务系统都和消息系统强耦合,导致后续升级和维护很麻烦,因此我们决定使用 OpenMessaging

    50920

    海量消息下王者荣耀在 TDMQ Pulsar 版的实践

    02、消息队列选型 在游戏的实际运行中,大量的业务场景下存在消息数据交互,业务明显的波峰波谷,需要有一款消息队列中间件来承载该业务流程,实现上下游业务组件的松耦合,同时还需要具备灵活的扩展性。...在完全兼容社区版的基础上,TDMQ Pulsar 版还提供了重试&死信队列消息标签过滤、消息轨迹等高级特性。...目前 TDMQ Pulsar 版已经较大规模的应用,如王者荣耀、猫眼、微民保险、QQ 音乐、领星、长安汽车等,以及包括腾讯计费绝大部分场景,包括支付主路径、实时对账、实时监控、大数据实时分析等方面。...首先,消息存储默认为 3 副本,并通过 Quorum 机制,高效保证多副本之间的一致性; 其次,通过重试队列和死信队列,支持业务客户端自定义消息投递的重试和死信队列,如重试多次后仍不能成功,则进入死信队列人工处理...随着业务使用量的增加,单集群生产/消费速率已突破40w/s,得益于 TDMQ 存算分离的架构,在扩容期间能够做到业务侧无感,同时生产消费耗时没有明显增长。

    24710

    腾讯云消息队列 TDMQ Pulsar 版商业化首发|持续提供高性能、强一致的消息服务

    产品优势 TDMQ Pulsar版在兼容了诸多Pulsar原生优势特性的同时,也增加了一些实际业务场景所需的功能,例如支持重试&死信消息消息轨迹等。...用户使用消息队列 TDMQ Pulsar 版时,无需担心与开源 Apache Pulsar 社区的兼容性问题。...TDMQ Pulsar 版现已支持 Pulsar 社区版 Go、Java、C++、Python、Node.js 等多语言版本 SDK,使用 Apache Pulsar 开源客户端的客户可以快速接入 TDMQ...Pulsar 版,轻松上云,享受腾讯云提供的 7*24小时的专业消息队列服务支持,享受高可用消息队列服务,无需关注运维细节。...消息队列 TDMQ Pulsar 版可实现高效的异步通信和应用解耦,确保主站业务的连续性。

    1.4K30
    领券