首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Pulsar message bus:我们可以按主题配置消息保留吗?

Pulsar message bus是一个开源的分布式消息传递系统,由Apache软件基金会开发和维护。它具有高可扩展性、高吞吐量和低延迟的特点,适用于构建可靠的实时数据流和事件处理应用程序。

在Pulsar中,我们可以按主题(Topic)配置消息保留。主题是消息传递的逻辑单元,类似于消息队列中的队列或主题的概念。通过配置消息保留策略,我们可以控制主题中消息的保留时间和存储方式。

Pulsar提供了多种消息保留策略,包括:

  1. 基于时间的保留策略:可以设置消息在主题中保留的时间长度。超过指定时间后,消息将被自动删除。
  2. 基于大小的保留策略:可以设置主题中消息的总大小限制。当消息的总大小超过限制时,最早的消息将被删除以腾出空间。
  3. 基于消息数量的保留策略:可以设置主题中消息的数量限制。当消息数量超过限制时,最早的消息将被删除。

通过灵活配置这些保留策略,我们可以根据实际需求来管理消息的存储和保留。例如,对于实时监控应用程序,我们可能希望只保留最近一段时间内的消息,可以使用基于时间的保留策略。对于日志存档应用程序,我们可能希望按照消息数量或总大小来限制存储空间,可以使用基于大小或数量的保留策略。

对于Pulsar的消息保留配置,腾讯云提供了Pulsar的托管服务Tencent Cloud Pulsar,可以帮助用户快速搭建和管理Pulsar集群。您可以通过Tencent Cloud Pulsar的控制台或API来配置消息保留策略,具体操作和使用方法可以参考Tencent Cloud Pulsar产品文档

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

关于Pulsar与Kafka的一些比较和思考

共享订阅 独占和故障转移订阅仅允许每个订阅每个主题分区仅有一个消费者。它们分区顺序使用消息。它们最适用于需要严格排序的流用例。...Pulsar还允许将消息保留更长时间,即使所有订阅已经消费了它们,这是通过配置消息保留期来完成的。...如果主题分区配置消息保留期,则即使A和B已经消耗它们,消息M0到M5也将在配置的时间段内保持不变。 ?...Time-to-Live(TTL) 除了消息保留(message retention),Pulsar还支持消息生存时间(TTL)。...消息保留消息TTL之间的区别在于消息保留适用于标记为已确认并将其设置为已删除的消息保留是对主题应用的时间限制,而TTL适用于未使用的消息。因此,TTL是订阅消费的时间限制。

2.9K30

Kafka与Pulsar的区别在哪?为什么会成为下一代的消息中间件之王?

独占和故障转移订阅仅允许每个订阅每个主题分区仅有一个消费者。它们分区顺序使用消息。它们最适用于需要严格排序的流用例。...Pulsar还允许将消息保留更长时间,即使所有订阅已经消费了它们,这是通过配置消息保留期来完成的。...如果主题分区配置消息保留期,则即使A和B已经消耗它们,消息M0到M5也将在配置的时间段内保持不变。...除了消息保留(message retention),Pulsar还支持消息生存时间(TTL)。如果消息配置的TTL时间段内没有被消费者使用,则消息将自动标记为已确认。...消息保留消息TTL之间的区别在于消息保留适用于标记为已确认并将其设置为已删除的消息保留是对主题应用的时间限制,而TTL适用于未使用的消息。因此,TTL是订阅消费的时间限制。

1.4K30

究极缝合怪 | Pulsar核心概念和特性解读

这个消息时是永久保存的,只有在收到订阅者消费成功的消息确认后才会被删除。 如果希望消息被 Consumer 确认后仍然保留下来,可配置 消息保留策略实现。...对于批量处理来说,当某一批消息的所有索引都被确认时,该批消息将被删除。 消息保留策略 Pulsar有两个特性,让你可以覆盖上面的默认行为。...Message retention enables you to store messages that have been acknowledged by a consumer(即保留Message...broker参数设置 可以通过以下两个参数来配置实例级别的消息保留策略: # Default message retention time defaultRetentionTimeInMinutes=0...下面为官网配置链接: Message deduplication · Apache Pulsar 消息延迟传递 延时消息功能允许你能够过一段时间才能消费到这条消息,而不是消息发布后,就马上可以消费到

1.8K20

Pulsar入门学习手册

Pulsar的基本概念 在开始之前,我们先来了解一些Pulsar的基本概念: Topic(主题):Pulsar消息的逻辑分类,可以看作是消息的容器。...您可以编辑Pulsar配置文件(如broker.conf和pulsar_env.sh)来进行必要的自定义配置。确保配置文件中的参数符合您的需求。 3....然后,通过客户端创建了一个生产者,并指定要发送消息主题。最后,我们使用send方法发送了一条消息,并在发送完成后关闭了生产者和客户端。...然后,通过客户端创建了一个消费者,并指定要订阅的主题和订阅名称。接着,我们使用一个无限循环来接收消息,并将消息的内容打印出来。最后,调用acknowledge方法标记消息已经被消费。 4....通过这些示例代码,您可以快速入门并开始使用Pulsar构建可靠的消息传递和数据流处理系统。 Pulsar还提供了丰富的特性和灵活的配置选项,您可以深入学习和实践,探索更多Pulsar的能力。

84220

比拼 Kafka , 大数据分析新秀 Pulsar 到底好在哪

三种订阅模式的选择 独占和故障切换订阅,仅允许一个消费者来使用和消费每个对主题的订阅。这两种模式都主题分区顺序使用消息。它们最适用于需要严格消息顺序的流(Stream)用例。...Pulsar 还允许通过设置保留时间,将消息保留更长时间,即使所有订阅已经确认消费了它们。 下图说明了如何在有 2 个订阅的主题保留消息。...订阅 A 仍未使用 M6 和 M9 之间的消息,无法删除它们。如果主题配置消息保留期,则消息 M0 到 M5 将在配置的时间段内保持不变,即使 A 和 B 已经确认消费了它们。...在消息保留策略中,Pulsar 还支持消息生存时间(TTL)。如果消息未在配置的 TTL 时间段内被任何消费者使用,则消息将自动标记为已确认。...Kafka 通过以上几个方面,我们Pulsar 和 Kafka 在消息模型方面的不同点进行一个总结。

61120

消息队列选型全方位对比

冗余,保留历史消息,处理失败或当出现异常时可以进行重试或者回溯防止丢失。...针对业务交易数据,有延迟消息、队列模式消费、异地容灾,多消息主题等场景,可以选用TDMQ/Pulsar。...消息保留期与消息TTL之间的区别在于:消息保留期作用于标记为已确认并设置为已删除的消息,而TTL作用于未ack的消息。上面的图例中说明了Pulsar中的TTL。...Pulsar可以通过消息ID,查询到具体某条消息消息内容、消息参数和消息轨迹。 RocketMQ支持Message Key、Unique Key、Message Id对消息进行查询。...这种想法适用于一些特定硬件配置,但在多数资源配置相同的情况中,Pulsar的优势更加明显,可以用相同的资源实现更好的性能。

11.1K11

Kafka 已落伍,转角遇见 Pulsar

5万人关注的大数据成神之路,不来了解一下? 5万人关注的大数据成神之路,真的不来了解一下? 5万人关注的大数据成神之路,确定真的不来了解一下?...Kafka 需要清除旧数据才能使用磁盘空间;与 Kafka 不同,Pulsar主题数据存储在一个分层结构中,该结构可以连接其他磁盘或 Amazon S3,这样就可以无限扩展和卸载主题数据的存储量。...在 Pulsar 主题上生成消息时,消息首先保留在本地集群中,然后异步转发到远程集群。在 Pulsar 中,启用跨地域复制是基于租户的。...因此,你可以指定谁可以发布或使用哪些主题消息。此外,为了提高安全性,Pulsar Encryption 允许应用程序在生产者端加密所有消息,并在 Pulsar 传递加密消息到消费者端时解密。...Pulsar 使用应用程序配置的公钥/私钥对执行加密。具有有效密钥的消费者才能解密加密消息。但这会带来性能损失,因为每条消息都需要加密和解密才能进行处理。 ?

1.3K20

消息中间件基础知识-从RabbitMQ、RocketMQ、Kafka到Pulsar

消息中间件的发展已经有近40年历史,早在上个世纪80年代就诞生了第一款消息队列 The Information Bus。...面向IoT的场景,消息队列开始从云内服务端应用通信,延伸到边缘机房和物联网终端设备,支持MQTT等物联网标准协议也成了各大消息队列的标配,我们看到Pulsar、Kafka、RocketMQ 都在努力跟随时代步伐...基于这个理解我们看下 Kafka 的消息报文格式定义,协议概要:图片再展开看Message的定义:图片基于TCP/IP协议,通过定义消息格式,在请求和响应中做可靠性保证。...Apache RocketMQ默认支持保留所有消息,此时消息数据并不会立即被删除,只是逻辑标记已消费。消息在保存时间到期或存储空间不足被删除前,消费者仍然可以回溯消息重新消费。...在 Pulsar 集群中:一个或多个 broker 处理和负载平衡来自生产者的传入消息,将消息分派给消费者,与 Pulsar 配置存储通信以处理各种协调任务,将消息存储在 BookKeeper 实例(又名

80730

Pulsar 介绍与部署

但是,很多线上的生产环境下,这种默认行为并不能满足我们的生产需求,所以,Pulsar 提供了如下配置策略来覆盖这些行为: Retention 策略:用户可以将 consumer 已经确认的消息保留下来。...需要注意的是,对 backlog 进行配置时,我们需要明确以下两点: 在当前的 namespace 下,每一个 topic 允许 backlog 的大小是多少。...存储单元: Kafka 和 Pulsar 都有类似的消息概念,客户端通过主题消息系统进行交互,每个主题可以分为多个分区。...Pulsar 部署 部署 Pulsar 集群包括以下步骤(顺序): 1.部署一个 ZooKeeper 集群,初始化 Pulsar 集群元数据。 2.部署一个 Bookeeper 集群。...新开一个终端, producer 使用如下命令向 pulsar-test 主题生产一条消息消息内容为 "Hello Pulsar": -n:生产消息的数量 -m:消息内容 bin/pulsar-client

2.7K30

两个优秀的分布式消息流平台:Kafka与Pulsar

它们在Kafka与Pulsar中都存在,并且含义相同。 消息Message:Kafka与Pulsar中的数据实体。 生产者Producer:发布消息的应用。 消费者Consumer:订阅消息的应用。...而Pulsar中也有“分区主题”的概念,分区主题由一组非分区的内部主题组成(下面将Pulsar中组成分区主题的非分区内部主题简称为内部主题),每一个内部主题都与一个Broker绑定,这样一个分区主题可以消息发送到多个...例如,用户服务可以创建一个租户“user”,存储用户服务的消息。该租户可以自己的业务场景,创建多个命名空间,存放不同的主题,如下图所示。...想要深入了解Kafka与Pulsar? 快来看看这本书吧!...本书通过大量实践示例介绍了Kafka与Pulsar的使用方式,包括管理脚本与客户端(生产者、消费者)的使用方式、关键的配置项、ACK提交方式等基础应用,以及安全机制、跨地域复制机制、连接器/流计算引擎、

65330

一文带你看懂 Pulsar消息保留和过期策略

但是,很多线上的生产环境下,这种默认行为并不能满足我们的生产需求,所以,Pulsar 提供了如下配置策略来覆盖这些行为: Retention 策略:用户可以将 Consumer 已经确认的消息保留下来。...=0 消息被保存的时间,默认值:defaultRetentionTimeInMinutes=0 我们可以在 broker.conf 中对这两项内容进行配置可以通过命令行的形式。...换句话说,Pulsar Broker 会将所有未确认或者未处理的消息都存放到 backlog 中。 同样的,我们可以在 NameSpace 级别对 backlog 的大小进行配置。...当你设置 TTL 策略之后,可以通过 get-message-ttl 查看相应的配置信息,具体如下: $ pulsar-admin namespaces get-message-ttl [your...TTL 的功能是,你可以将这些未被确认的消息变为被确认的状态,而 Retention 所关注的点是,当消息处于被确认的状态时,你可以对已确认的消息进行的保留策略是什么。

1.5K11

两个优秀的分布式消息流平台:Kafka与Pulsar

它们在Kafka与Pulsar中都存在,并且含义相同。 消息Message:Kafka与Pulsar中的数据实体。 生产者Producer:发布消息的应用。 消费者Consumer:订阅消息的应用。...该场景下消费者通常需要将消费成功的消息位置(或者消息Id等)发送给Broker,并且Broker需要存储这些消费成功的位置,以便后续消费者重启后从该位置继续消费。该场景也是我们关注的重点。...而Pulsar中也有“分区主题”的概念,分区主题由一组非分区的内部主题组成(下面将Pulsar中组成分区主题的非分区内部主题简称为内部主题),每一个内部主题都与一个Broker绑定,这样一个分区主题可以消息发送到多个...例如,用户服务可以创建一个租户“user”,存储用户服务的消息。该租户可以自己的业务场景,创建多个命名空间,存放不同的主题,如下图所示。...想要深入了解Kafka与Pulsar? 快来看看这本书吧!

54810

大伙评评理,Kafka与Pulsar 谁更牛?

它们在Kafka与Pulsar中都存在,并且含义相同。 消息Message:Kafka与Pulsar中的数据实体。 生产者Producer:发布消息的应用。 消费者Consumer:订阅消息的应用。...该场景下消费者通常需要将消费成功的消息位置(或者消息Id等)发送给Broker,并且Broker需要存储这些消费成功的位置,以便后续消费者重启后从该位置继续消费。该场景也是我们关注的重点。...而Pulsar中也有“分区主题”的概念,分区主题由一组非分区的内部主题组成(下面将Pulsar中组成分区主题的非分区内部主题简称为内部主题),每一个内部主题都与一个Broker绑定,这样一个分区主题可以消息发送到多个...例如,用户服务可以创建一个租户“user”,存储用户服务的消息。该租户可以自己的业务场景,创建多个命名空间,存放不同的主题,如下图所示。...想要深入了解Kafka与Pulsar? 快来看看这本书吧!

74540

三万字 | Kafka 知识体系保姆级教程宝典

消息队列的介绍 消息Message)是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。...该方法有如下优点: 避免了直接调用下一个系统导致当前系统失败; 每个子系统对于消息的处理方式可以更为灵活,可以选择收到消息时就处理,可以选择定时处理,也可以划分时间段不同处理速度处理; 3....它支持多种类型的订阅、多种交付保证、保留策略以及处理模式演变的方法,以及其他诸多特性。 1. Pulsar 的特性 内置多租户:不同的团队可以使用相同的集群并将其隔离,解决了许多管理难题。...十、Kafka监控及运维 在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作...,有keykey,都没有轮询)写入到leader中,follower(副本)再跟leader同步数据,这样有了备份,也可以保证消息数据的不丢失。

95010

不背锅运维:消息队列概念、kafka入门、Kafka Golang客户端库

消息队列中的消息被存储在一种称为队列的数据结构中,这些消息在队列中保留,直到被消费者接收。这使得消息的发送者和接收者能够异步地通信,而不必等待对方的响应,从而提高了系统的可伸缩性和弹性。...Microsoft Azure Service Bus:Microsoft Azure Service Bus 是微软提供的一种完全托管的消息队列服务,支持多种协议和语言,具有高可用性和可扩展性。...ZooKeeper 在ZooKeeper中,我们需要创建一个配置文件,该文件应包含ZooKeeper集群中所有节点的IP地址。...在该界面中,每行输入的文本将被作为一条消息发送到指定的主题中。下 Ctrl+C 即可退出该命令行工具。...可以随时发送一些测试消息来测试消费者组是否预期工作。

1.7K00

腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移

Offset 对应 Pulsar 中的概念可以理解为 markDeletePosition。 Pulsar 同时支持多种消费模式,它的消息确认机制/签收机制支持单条确认。...我们可以将上述消息的确认理解为几个开闭区间,从中可以明显得出 5、7、8 没有被消费。...比如,我们在集群 A 中 Mark Delete 到消息 3 的位置时,可以根据 S 里面记录的集群 B 中的消息位置来更新集群 B 的 markDeletePosition。...这样,当我们在集群 B 进行消费时,可以快捷地从 originalClusterPosition 属性中获取到集群 A 的 Message ID,将其与集群 A 同步到集群 B 的 individuallyDeletedMessages...》 《Apache Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障》 《微服务架构下路由、多活、灰度、限流的探索与挑战》 《TSF微服务治理实战系列(四)——服务安全》 《高并发场景下如何保证系统稳定性

1K20

Apache Pulsar 延迟消息投递解析

目前在业界,腾讯云的 CMQ 和阿里云的 RocketMQ 也都支持延迟消息投递: CMQ:将消息延迟期间定义为”飞行状态“,可通过设置 DelaySeconds 配置延迟范围,取值范围为 0 - 3600...RocketMQ:开源版本延迟消息临时存储在一个内部主题中,支持特定的 level,例如定时 5s,10s,1m 等,商业版本支持任意时间精度。...Pulsar 实现延迟消息投递的方式比较简单,所有延迟投递的消息会被 Delayed Message Tracker 记录对应的 index。...五、Pulsar延迟消息投递面临的挑战 从 Pulsar 的延迟消息投递实现原理可以看出,该方法简单高效,对 Pulsar 内核侵入性较小,可以支持到任意时间的延迟消息。...目前讨论的方案是在 delayed index 队列加入时间分区,Broker 只加载当前较近的时间片 delayed index 到内存,其余时间片分区持久化磁盘,示例图如下图所示: 上图中,我们

3.1K41

简单易用的.NET免费开源RabbitMQ操作组件EasyNetQ解析

每个消息都被发送到一个特定的队列,接收者从队列中获取消息。队列保留消息,直到他们被消费或超时。...多个发布者将消息发送到Topic,系统将这些消息传递给多个订阅者。    上面介绍了RabbitMQ的相关特点和模式,更多的知识就不再介绍,需要了解安装和配置可以进入官网进行细致的了解。...在EasyNetQ中消息应由.NET类型表示,消息应通过其.NET类型进行路由。EasyNetQ消息类型进行路由。...3.发布消息: var message = new MyMessage { Text = "Hello Rabbit" }; bus.Publish(message);    4.订阅邮件: bus.Subscribe...("X.*"));     RabbitMQ具有非常好的功能,基于主题的路由,允许订阅者基于多个标准过滤消息

1.5K80

关于MQ,你了解多少?(干货分享之一)

消息中间件的发展已经有近40年历史,早在上个世纪80年代就诞生了第一款消息队列 The Information Bus。...面向IoT的场景,消息队列开始从云内服务端应用通信,延伸到边缘机房和物联网终端设备,支持 MQTT 等物联网标准协议也成了各大消息队列的标配,我们看到 Pulsar、Kafka、RocketMQ 都在努力跟随时代步伐...服务解耦 减少系统、模块之间直接对接带来的耦合,交互统一 MQ 中消息的协议,按需生产和消费,耦合程度大大降低。...基于这个理解我们看下 Kafka 的消息报文格式定义, 协议概要: 再展开看 Message 的定义: 基于 TCP/IP 协议,通过定义消息格式,在请求和响应中做可靠性保证。...消息模式 RabbitMQ 支持简单模式、工作队列模式、发布/订阅模式、路由模式、主题模式和 RPC 模式。

67450
领券