文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度； 服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级； 系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）； 消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等； 系统安全管控 根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理

2K60

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作 对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控 根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...客户端改进 基于业务使用上的便利性以，我们简化了客户端逻辑，使其做到最小的功能集合，我们采用基于响应消息的接收质量统计算法来自动剔出坏的Broker节点，基于首次使用时作连接尝试来避免大数据量发送时发送受阻

1.6K72
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    面对996，耗子叔也是很刚了 | 极客时间

    看到这个消息，确实很震惊。 对 996 工作制，不少一线工作者都深恶痛绝。我就认识一个人，他坚定认为“技术好、产出高就不必拼工作量”，即使现在自己创业也坚持这一理念。...最近，听说专栏的学习量已经突破 158,000 了，今天特意给大家申请了一个立减 120 元的特惠，并且把这个专栏推荐给你。...扫码免费试读 原价 ¥399，新年特惠 立省 ¥120，仅限「前 50 人」有效 新人首单 ¥98 这是极客时间最早的技术专栏之一，更新时间长达一年，但真正有价值的内容，是经得起时间检验的。...粉丝专属福利 原价 ¥399，新年特惠 立省 ¥120，仅限「前 50 人」有效 新人首单 ¥98 扫码免费试读 现在入手《左耳听风》，绝对不亏，可以说是 2023 年我最推荐的「年度理财产品」。...点击「阅读原文」，新年特惠 立省 ¥120，仅限「前 50 人」有效 新人首单 ¥98

    4.5K20

    技术人如何不靠拼996，快速提升自己？| 极客时间

    看到这个消息，确实很震惊。 对 996 工作制，不少一线工作者都深恶痛绝。我就认识一个人，他坚定认为“技术好、产出高就不必拼工作量”，即使现在自己创业也坚持这一理念。...最近，听说专栏的学习量已经突破 160,000 了，今天特意给大家申请了一个立减 160 元的特惠，并且把这个专栏推荐给你。...扫码免费试读 原价 ¥399，新年特惠 立省 ¥160，仅限「前 50 人」有效 新人首单 ¥98 这是极客时间最早的技术专栏之一，更新时间长达一年，但真正有价值的内容，是经得起时间检验的。...粉丝专属福利 原价 ¥399，新年特惠 立省 ¥160，仅限「前 50 人」有效 新人首单 ¥98  扫码免费试读 如果你想提升自己的竞争力，投资自己是最好的选择。...点击「阅读原文」，新年特惠 立省 ¥160，仅限「前 50 人」有效 新人首单 ¥98

    3.1K20

    腾讯云数据库携手天阳，共建国产新生态

    近日，天阳信用卡新一代核心产品CreditX完成了与腾讯云分布式数据库TDSQL的适配性测试，并基于双深度融合，推出“金融零售核心CreditX+分布式数据库TDSQL”的新一代分布式信用卡核心产品联合解决方案...CreditX整体技术架构与腾讯云整体解决方案全面融合：其中PaaS平台采用腾讯蓝鲸平台进行CI/CD持续集成及部署，以及统一运维；数据库采用TDSQL；消息服务组件使用腾讯云消息队列CMQ。...此次联合方案中的TDSQL是腾讯云企业级分布式关系型数据库品牌，旗下涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系，提供业界领先的金融级高可用、计算存储分离、数据仓库等能力，同时具备智能运维平台...其中TDSQL金融级分布式引擎，具备线性可扩展、海量吞吐、高性能、数据强一致、99.999%高可用、企业级安全等特性，服务了微众银行、平安银行、数字广东等广大金融政企机构，包括近半国内TOP 20银行客户等...↓↓一年19.9特惠云数据库点这儿~

    7.9K30

    腾讯云中间件产品面对疾风吧——TVP吐槽大会第4期

    KV.jpg 为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务...全方位打造出6款优秀产品：微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF，全面布局云原生领域产品矩阵。...另外，腾讯云还始终积极对外贡献技术力量，参与了《中间件技术和产业白皮书》的编写，以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...TVP自成立以来，一直秉承着“用科技影响世界”的愿景，致力于搭建连接技术专家与广大开发者的桥梁，让技术普惠大家，践行科技向善的初心和本心。

    1.3K91

    腾讯云中间件产品面对疾风吧——TVP吐槽大会第4期

    KV.jpg 为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务...全方位打造出6款优秀产品：微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF，全面布局云原生领域产品矩阵。...另外，腾讯云还始终积极对外贡献技术力量，参与了《中间件技术和产业白皮书》的编写，以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...TVP自成立以来，一直秉承着“用科技影响世界”的愿景，致力于搭建连接技术专家与广大开发者的桥梁，让技术普惠大家，践行科技向善的初心和本心。

    1K40

    鹅厂中间件产品遭遇暴风吐槽

    为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品：微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎TSE、分布式事务DTF，全面布局云原生领域产品矩阵。...另外，腾讯云还始终积极对外贡献技术力量，参与了《中间件技术和产业白皮书》的编写，以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...TVP自成立以来，一直秉承着“用科技影响世界”的愿景，致力于搭建连接技术专家与广大开发者的桥梁，让技术普惠大家，践行科技向善的初心和本心。

    1.1K20

    鹅厂中间件产品遭遇暴风吐槽！

    为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品：微服务平台 TSF、消息队列 CKafka、金融级消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎 TSE、分布式事务 DTF，全面布局云原生领域产品矩阵...另外，腾讯云还始终积极对外贡献技术力量，参与了《中间件技术和产业白皮书》的编写，以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...TVP 自成立以来，一直秉承着“用科技影响世界”的愿景，致力于搭建连接技术专家与广大开发者的桥梁，让技术普惠大家，践行科技向善的初心和本心。

    94520

    云服务器是什么？如何选择最适合的云服务器？2025腾讯云产品深度解析

    正文 一、云服务器的核心定义 云服务器（Cloud Virtual Machine，CVM）是基于云计算技术的虚拟化服务器，通过分布式存储架构实现计算资源的弹性调度。...等保三级认证+智能WAF 金融级安全架构 运维管理 可视化监控+自动化运维 云监控+智能诊断 三、2025腾讯云CVM产品矩阵 1....适用场景 价格策略（2025） 蜂驰型 2核4G+1M带宽 中小网站/个人博客 首单特惠...2.7折，活动价443.23元/年 标准型S5 4核8G+1M带宽 电商平台/高并发应用 首单特惠4折 ，活动价1733.76元/年 标准型SA2 8核16G+1M带宽...大数据处理/AI训练 首单特惠4折 ，活动价2355.84元/年 GPU云服务器 GPU推理型GI3X 32核64G 大模型训练与推理 1.5折32核超高性价比

    98210

    秒杀丨仅需15.9，深度解析金融级IT架构发展方向！

    金融行业的安全、稳定给客户带来的信任，支撑着所有金融业务，这个产品的构建需要强大的技术实力。...博文视点学院联合浙江网商银行，带来视频课《金融级IT架构：数字银行的云原生架构解密》视频精解，分享网商银行在金融级IT技术上做的独特探索，探讨数字化时代金融级IT架构的发展方向。...限时特惠，10个名额，仅需15.9元！...视频课程主要包含以下内容： 1）金融级安全架构面临的挑战 2）云计算基础设施架构 3）存储架构的实践 4）分布式数据库的选型与部署架构 5）异地多活单元化架构的设计 6）混合云弹性架构设计 7）为什么要做云原生架构...容器技术和服务网格 10）Serverless 11）多级发布控制和变更自动化管控 12）资金安全三层防线 13）大促活动保障和全链路压测 14）兼顾效率的安全体系建设 15）智能电销场景和案例 15.9元特惠购课

    2.3K30

    高并发下，如何让你的数据库再快一点？

    消息队列拥有消息传递、消息生产、消息消费、优先级消息等功能，为我们的分布式系统提供了数据通信、功能解耦、弹性伸缩、数据冗余、限流削峰、异步消息等丰富能力，是分布式系统的一个重要组件。...AMQP是一个应用层协议的开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可传递消息，并不受产品、开发语言等条件的限制。...RabbitMQ最初起源于金融系统，它在可靠性、可用性、扩展性、消息持久化、高并发等方面的有着卓越的表现。...一般来说RabbitMQ的单机QPS在万这个级别左右，而Kafka的单机QPS可以达到十万级甚至百万级。...↓↓一年19.9特惠云数据库点这儿~

    1.1K20

    探索 RocketMQ：企业级消息中间件的选择与应用

    探索 RocketMQ：企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件，它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等，总之就是葛大爷的一句话。​‍‍‍...开源极大的促进了消息队列的流行、降低了使用门槛，技术普惠化，逐渐成为了企业级架构的标配。第三阶段，2007~2017 年。PC 互联网、移动互联网爆发式发展。...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输，诞生了互联网消息中间件，核心能力是全面采用分布式架构、具备很强的横向扩展能力，开源典型代表有 Kafka、RocketMQ，闭源的还有淘宝 Notify...2012年：阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨，阿里称基于RocketMQ技术，目前双十一当天消息容量可达到万亿级。

    83810

    盘点大厂的那些开源项目 - 微众银行

    作为国内第一家互联网银行、也是首家民营银行，微众银行坚持科技立行、科技兴行的发展之路，致力于推进科技创新，勇于开拓、积极创新，为探索互联网金融新路、践行普惠金融做出自己的贡献。...，实现了一套符合W3C DID规范的分布式多中心的身份标识协议，和符合W3C VC规范的可验证数字凭证技术，不仅使分布式多中心的身份注册、标识和管理成为可能，机构也可以通过用户授权合法合规地完成可信数据的交换...Event Mesh是一个动态的插件式云原生基础服务层，用于分离应用程序和中间件层。它提供了灵活，可靠和快速的事件分发，并且可以进行管理....开源版本从我们生产环境中剥离出来，经过了金融级生产环境的严格验证，是私有化部署的较好方案。...Linkis基于微服务架构，提供了金融级多租户隔离、资源管控、权限隔离等企业级特性，支持统一变量、UDF、函数、用户资源文件管理，具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。

    1.6K30

    5月采购节!移动推送5折起,有效激活存量用户,促活利器!不抢没!!!

    移动推送 TPNS，支持APP弹窗 通知栏推送、应用内消息等多样化推送 助力企业高效激活存量用户 有效提升用户活跃、留存、付费转化 目前已服务200+国家和地区 日推送超500亿，月覆盖设备超15...亿 稳定服务王者荣耀/腾讯视频等高日活应用 广泛应用于电商/金融/游戏/教育等各行业 如此神器！...5月采购节 狂欢送豪礼  新老客户特惠5折起 2022.5.31截止，不可错过!!!...↑限时特惠 立即扫码参与↑ 新客首单 从未买过TPNS的新客首单专享 1万~199万DAU月峰值  1月/6月/1年/2年时长  条数/设备数不限 低至5折，限购1次 老客特惠 不管您是正在使用TPNS...的老客 还是资源已经销毁的老客 都能享受特惠福利 低至5.5折，限购2次 心动不如行动，赶快购买吧！

    4.4K30

    MQ 系列之初识消息中间件

    1.1 简介 1.1.1 概述   消息中间件(MQ)适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中，不同的对象之间通过传递消息来激活对方的事件，完成相应的操作。...小李一看，这特么太简单了，啪啪啪，就写好了，执行耗时 500 ms；突然小李发现旁边的老张执行耗时只有 80 ms，就问你怎么比我快这么多。...1.2 常见消息中间件 ActiveMQ：ActiveMQ 是 Apache 出品，最流行的，能力强劲的开源消息总线。...淘宝的 MySQL 集群内部有使用它进行通讯， OpenStack 开源云平台的通信组件，最先在金融行业得到运用。 Kafka：Kafka 是一个分布式消息发布订阅系统。...1.3 几种中间件对比 1.3.1 对比表 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，吞吐量比 RocketMQ 和 Kafka 要低了一个数量级 万级，

    67420

    你也被冬日「封印」了？Java充电站疯狂蓄能中！

    寒潮来袭又临近新年 仿佛大家的元气电池逐渐宕机了 不想起床、不想出门、不想动脑 不想开始任何一个新年计划... 每天被温度结界封印 咸鱼模式自动开启等待过年 友友们醒一醒， 学院菌来掀被窝了！...亿级畅销书作者李刚老师助阵，带你横跨Java体系，渗透Java编程思想，掌握Java后端开发技术栈！...▋《跟着李刚老师学Java》，充能特惠135元！ 234节课/5500+分钟视频教学，再现李刚老师课堂氛围，引爆你的编程激情。跟着课程一步步学下来，为日后在软件行业大显身手打好基础。...▋《跟着李刚老师学SSM》，充能特惠118元！ 3500分钟超长干货，超细致讲解，配套学习笔记源代码课件一应俱全，助你在Java开发道路上进阶大佬！...▋《跟着李刚老师学Spring Boot终极课程体系》，充能特惠249元！ 这不是一份单独的Spring Boot视频课程，包含了6门大课，共235期视频讲解！

    2.5K70

    腾讯云TDSQL-C特惠活动重磅来袭！

    摘要 本文整理了当前主流云服务商的免费数据库申请攻略，并重点推荐腾讯云TDSQL-C，结合其最新特惠活动，助你低成本体验高性能数据库。文中包含产品功能对比表格及免费试用申请入口，助力企业高效决策。...为此，腾讯云推出云原生数据库TDSQL-C的特惠活动，并联合多款云产品提供免费试用机会，帮助开发者零门槛体验企业级数据库性能。...典型应用场景 电商大促：弹性应对流量峰值，分钟级扩容支撑百万并发访问 金融交易：满足等保三级合规要求，保障交易数据零丢失...IoT物联网：海量设备数据实时写入，秒级聚合分析 三、TDSQL-C特惠活动：低至市场价0.5折起 腾讯云推出了云原生数据库TDSQL-C特惠活动，具体如下： TDSQL-C MySQL...腾讯云TDSQL-C凭借其全兼容性、弹性扩展能力和企业级安全特性，已成为众多企业的优先选择。现在通过免费试用和特惠活动，你可以零成本体验其强大性能，为业务升级做好充分准备！

    92310

    消息队列介绍

    而现在我们所说的MQ通常指的是独立的消息队列中间件，利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。...RabbitMQ Erlang语言实现AMQP协议的消息中间件，并发能力很强，性能及其好，延时很低（达到微妙级），特点：可靠性，可用性，扩展性，功能丰富。...Kafka LinkedIn使用Scala开发的分布式，多分区，多副本且基于zookeeper协调的分布式消息系统，提供了超高的吞吐量，毫秒级延迟，极高的可用性和可靠性。...所谓的**消息中间件大道至简：一发一存一消费，没有最好的消息中间件，只有最合适的消息中间件。 ** 带来的问题 引入消息队列后，我们需要考虑哪些问题呢？ 1....最后，祝大家新年快乐！

    2.1K10
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券