在使用消息队列时,消息流转是常见的需求,比如消息需要从ckafka的实例转储到另一个ckafka实例。消息流转的目的通常是为了能够访问不同网络的消息队列,这是因为云上的消息队列通常只开放内网访问。在很多情况下,用户往往是在云服务器cvm中部署一个中转程序。这种方案存在以下不足:
导语 2021年12月1日,腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。 金融级分布式消息中间件 消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件,具备高一致、高可靠、高并发特性,可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列,也是目前真正做到计算与存储分离的云消息队列,从架构上实现了云原
目前随着技术架构不断演进,特别是微服务分布式技术兴起,很多大型网站逐步采用分布式的消息队列,用于面对流量高峰和异步处理,基于云上的消息队列逐步成为主流,接下来给大家一起介绍下腾讯云消息队列Ckafka及新推出的TDMQ相关产品特性、使用场景,以及系统对接,帮助大家更好做好技术选型。
导语 消息队列 RocketMQ 版(TDMQ for RocketMQ,简称 TDMQ RocketMQ 版)在今日正式公测!TDMQ RocketMQ 是TDMQ系列产品中的一款分布式高可用的消息队列服务,兼容 Apache RocketMQ 的各个组件与概念,RocketMQ 4.6及以上版本的客户端几乎零改造接入。欢迎大家扫描文末二维码使用体验! TDMQ RocketMQ 版的背景 RocketMQ作为典型的业务处理消息队列,主要用于处理订单,支付,积分等业务类型,对信息交换的准确性有极高的要求
“智变加速,产业焕新”,2023腾讯全球数字生态大会已于9月7-8日完美落幕,40+专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。
导语 :云原生场景,多语言、多种协议兼容,任意多的消息 Topic、任意多的消费者,性能的按需快速扩展成为消息队列基本的要求。本文是对腾讯TEG技术委员会专家工程师刘德志老师在云+社区沙龙 online 的分享整理,介绍基于 Apache Pulsar 的新一代存储计算分离设计的消息队列 TDMQ,希望与大家一同交流。
ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别
Serverless 与消息队列生态结合 消息队列 MQ 是 Serverless 事件驱动场景下必要的解耦中间件也是云函数最重要的触发源之一。TDMQ 是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。其计算与存储分离的架构设计,使得它具备极好的云原生和 Serverless 特性,用户按量使用,无需关心底层资源。它拥有原生 Java 、 C++、Python、Go 等多种 API,同时支持 Kafka 协议以及 HTTP 协议方式接入,可为分布式应用系统提供
TDMQ 是腾讯云基于 Apache Pulsar 开源项目开发的消息队列产品,主打金融等行业应用,适用于对消息通讯要求高可靠、强一致的场景。TDMQ 在保障高可靠性的同时,还能保障消息读写的高吞吐量,而且提供丰富的消息类型,确保不同的业务场景都能有效覆盖。
腾讯计费是孵化于支撑腾讯内部业务千亿级营收的互联网计费平台,其核心是帮助用户与产品,安全、便捷的完成支付和收款,在交易过程中帮助产品盈收实现最大化。
导语:由中国信息通信研究院、中国通信标准化协会联合主办的“2020可信云大会”于昨天圆满结束,会上发布了2020年可信云上半年最新评估结果。其中腾讯云中间件——分布式消息队列TDMQ凭借其优秀的技术能力,获得了可信云最高级认证证书。
01. Serverless 与消息队列生态结合 消息队列 MQ 是 Serverless 事件驱动场景下必要的解耦中间件也是云函数最重要的触发源之一。TDMQ 是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。其计算与存储分离的架构设计,使得它具备极好的云原生和 Serverless 特性,用户按量使用,无需关心底层资源。它拥有原生 Java 、 C++、Python、Go 等多种 API,同时支持 Kafka 协议以及 HTTP 协议方式接入,可为分布式应用系统提供异
导语 1月6日,TDMQ RabbitMQ 版正式公测!TDMQ RabbitMQ 版是TDMQ系列产品中的一款子产品,是一款分布式高可用的消息队列服务,支持AMQP 0-9-1 协议,完全兼容开源 RabbitMQ 的各个组件与概念。欢迎大家扫描文末二维码使用体验! TDMQ RabbitMQ 版的背景 众所周知,RabbitMQ是一个历史比较悠久的消息队列中间件,它是使用Erlang语言开发的实现AMQP(Advanced Message Queue Protocol 高级消息队列协议)的
腾讯金融科技(Tencent Financial Technology)是腾讯公司提供移动支付与金融服务的综合业务平台。业务领域包括移动支付、投资理财、民生服务和国际化等,作为支付业务的基石和底座,FiT 致力于建设和发展完善的支付平台能力,在微信支付、QQ 钱包等移动支付产品中持续进行功能和服务创新。
随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。
1. 腾讯微服务平台TSF:提供服务双注册发现能力;提供容器部署前的健康检查功能;多系统可使用同一个TraceID。
前言 随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案 使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数,为开发者提供的存储数据应用解决方案。开发者只需要在 COS 控制台一键配置,即可使
导语 | 3月21日,腾讯云TVP团队倾力打造的「TVP吐槽大会」第四季——腾讯云中间件专场落下帷幕,微服务和消息队列领域的资深TVP们在深度体验腾讯云中间件产品之后,提出直击痛点建议的同时也充分肯定了腾讯云中间件产品的实力与价值。
《王者荣耀》是由腾讯游戏开发的一款运营在 Android、IOS 平台上的 MOBA 类手游,属于多人联机在线竞技类游戏,于2015年11月26日在 Android、IOS 平台上正式公测。上线以来受到广大手游玩家的热爱,目前该游戏在手游排行中处于 TOP 1 的位置。作为中国最火爆的手机游戏,“王者荣耀”,拥有亿级用户体量,千万级日活用户。
4月15日,由中国电子信息行业联合会、武汉市人民政府、湖北省经济和信息化厅联合主办的“2023中国软件创新发展大会”在湖北武汉隆重召开,本次大会以“强基铸魂 创新共赢”为主题,旨在邀请政产学研用等各界代表,分享我国软件产业的新技术、新成果、新业态,研讨软件行业发展的新思路、新趋势、新格局,助力软件产业高质量发展,做强做优做大数字经济。 会上,中国电子信息行业联合会正式发布《2021-2022年度优秀创新产品》,该评选从产品创新、发展前景、自主品牌、应用规模等维度进行遴选国产优秀创新软件产品。 基于深厚的自
导语:上一章我们聊到了:什么是消息队列,为什么要用消息队列,有那些消息队列?下来我们聊聊什么样的消息队列适合我们公司。
腾讯数字生态大会亮点纷呈,定档9月7-8日,腾讯云微服务与消息队列专场将为大家带来一场与中间件有关的视觉盛宴!
12月动态 消息队列 CKafka 版 【商业化】国内站专业版支持按小时后付费。 ★ 消息队列 RocketMQ 版 【商业化】虚拟集群正式商业化:TDMQ RocketMQ 共享版(虚拟集群)于 2022年12月28日结束公测,正式商业化开始计费,计费方式为按量付费(后付费)。 【新功能】虚拟集群收发消息调用API 限流:为了保证虚拟集群的稳定性,TDMQ RocketMQ版会以集群和 Topic 为维度进行限流,您可以在集群监控或者 Topic 监控页面查看对应的限流监控指标。 【新功能】虚拟集群支持元
科技是推动社会发展的重要动力,技术是推动行业发展的重要支撑力量。为便于读者了解腾讯云中间件产品的最新动态,腾讯云中间件推出产品月报专栏,每月一期。本月的三项动态如下:
腾讯云中间件 - 微服务团队产品2021年6月简报: 微服务平台 TSF 服务监控模块优化,新增微服务网关可扩展性;解决日志模块大索引与索引过多导致日志检索慢、超时问题。 消息队列 CKafka 支持partition级别的监控;七月发布预览。 消息队列 TDMQ 支持AMQP协议兼容;升级大规模延时消息架构;支持全资源级别的CAM鉴权。 微服务引擎 TSE 子账号授权流程优化,默认多可用区部署,默认数据持久化;公网开通,后台监控运维系统发布。 弹性微服务TEM 扩展各种场景下的部署管理能力;支持
腾讯云中间件 - 微服务团队产品2021年11月简报: API网关:支持参数流控插件、支持自定义响应体插件;支持直通TKE Pod,可通过API网关享受认证鉴权、流量控制、灰度分流等能力。 微服务引擎 TSE 注册配置中心 :Nacos组件实现客户端与控制台访问内网方式与外网方式解耦,用户自主通过开关控制。 微服务引擎 TSE 服务治理中心:PolarisMesh(北极星)治理中心支持多语言服务注册与发现、支持K8s service注册至PolarisMesh(北极星),同时增强了可观测性能力。
1. 腾讯微服务平台TSF:支持虚拟机部署应用的健康检查和滚动发布;支持Go语言治理框架,通过mesh的方式支持Dubbo协议和Dubbo应用的服务治理能力。
导语:TDMQ是什么?常见的消息队列有:kafka、ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、MetaMQ、CMQ等,今天介绍的是TDMQ。
导语 在 Apache Pulsar 中,为了避免消息的重复投递,消费者进行消息确认是非常重要的一步。当一条消息被消费者消费后,需要消费者发送一个Ack请求给Broker,Broker才会认为这条消息被真正消费掉。被标记为已经消费的消息,后续不会再次重复投递给消费者。在这篇文章中,我们会介绍Pulsar中消息确认的模式,以及正常消息确认在Broker侧是如何实现的。 作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC,《深入解析Apache Pulsar》作者。目前专注
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯数据平台部 MQ 团队对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯云消息队列 TDMQ 落地上线。本文主要介绍Pulsar延迟消息投递的实现,希望与大家一同交流。 一、什么是延迟消息投递 延迟消息投递在MQ应用场景中十分普遍,它是指消息在发送到 MQ 服务端后并不会立马投递,而是根据消息中的属性延迟固定时间后才投
为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出6款优秀产品:微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF,全面布局云原生领域产品矩阵。
KEDA 的触发器支持 Apache Pulsar,即根据 Pulsar 消息队列中的未消费的消息数量进行水平伸缩,用法参考 KEDA Scalers: Apache Pulsar。
伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品:微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎T
死信队列是一种特殊的消息队列,用于集中处理无法被正常消费的消息的队列。当消息在重试队列中达到一定重试次数后仍未能被正常消费,TDMQ Pulsar 版会判定这条消息在当前情况下无法被消费,将其投递至死信队列。
导读 伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品:微服务平台 TSF、消息队列 CKafka、金融级消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 T
自 2024年4月起,TDMQ Pulsar 版专业集群推出「固定并发规模 + 弹性存储」的产品形态,这种产品形态下,存储可按需使用、按量付费,保证在技术架构稳定领先的前提下,也可为用户降低存储成本。
导读 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。数平 MQ 团队对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯云消息队列 TDMQ 落地上线。本文主要简单梳理了 Pulsar 支持的一些传统消息队列应用场景,以及 Pulsar 新特性对更多场景的支持。 作者介绍 张超 腾讯数据平台部 MQ 团队高级工程师 Apache TubeMQ(incubating) PMC
导语 本文从AMQP协议(Advanced Message Queuing Protocol,高级消息队列协议)、消息功能、消费模型、金融级用法及其他功能点对比等概念介绍对RabbitMQ做了科普, 希望对各位深入理解RabbitMQ有帮助。 AMQP协议概念 AMQP协议自身定义了很多概念,下面先对这些概念进行剖析,会更侧重从每个概念实体的作用域、职责范围、从属关系等维度进行介绍。 AMQP协议概念实体图 Connection 对应底层一个AMQP-Client到RabbitMQ-B
导语 Pulsar Summit Aisa 2021 将于2022年1月15-16日以线上直播的形式举办。 大会将分为主论坛和分论坛,汇聚技术大咖和行业先行者分享 Apache Pulsar 实践经验、用户案例、技术探究和运维故事,交流探讨 Pulsar 项目最新进展和动态,彼此切磋。 关于 Pulsar Summit Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会。于此盛会,大家分享 Apache Pulsar 实践经验、用户案例、技术探究
自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云内部 Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯内部业务TDBank落地上线。本文是Pulsar技术系列中的一篇,主要介绍Pulsar 的 Message Deduplication 特性,供大家参考,避免在使用过程中踩坑。 Message Deduplication背景介绍 消息中间件产品设计中,对消
导语 我们在之前的《深入解析Apache Pulsar系列之一 —— 客户端消息确认》中介绍过Apache Pulsar客户端的多种消息确认模式。这篇文章中,我们将介绍Broker侧对于消息确认的管理。 作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC,《深入解析Apache Pulsar》作者。目前专注于中间件领域,在消息队列和微服务方向具有丰富的经验。负责TDMQ的设计与开发工作,目前致力于打造稳定、高效和可扩展的基础组件与服务。 客户端通过消息确认机制通知Bro
关于腾讯云tdmq的基本使用参见《基于腾讯云tdmq消息队列封装SpringBootStarter(一)》,这里我们基于之前的内容在次进行优化封装。
云原生大潮风起云涌,企业不再停留在理念层面,目前已在多方面落地。消息队列作为关键技术基础设施之一,也在云原生时代面临着挑战和机会。本文从传统消息队列上云所面临的三大挑战说起,并以 Apache Pulsar 为技术案例,深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。 PART ONE 背景介绍 如今,云原生的概念已经渗透到了软件开发的方方面面。云原生不再只是未来的设想,而是一个现在进行时。开发人员在开发设计之初就需要考虑未来如何在云原生环境上部署、运行服务,即如何“上云”。
本文给大家带来 Pulsar 在可观测性方向的重要能力——支持接入 Prometheus 监控。
腾讯云中间件 - 微服务团队产品2021年4月简报: 微服务观测平台 TSW 正式公测 微服务引擎 TSE 支持Zookeeper、Eureka注册中心托管与集群创建、删除、升级、信息展示;支持Consul、Zookeeper、Eureka注册中心基础业务指标监控;支持Consul、Zookeeper注册中心数据持久化能力;支持注册中心服务管理可视化;香港开区;优化用户体验 微服务平台 TSF 微服务网关升级;支持查看容器集群创建和部署组发布事件;TSF程序包上传流程优化;Java启动参数支持配置
领取专属 10元无门槛券
手把手带您无忧上云