作者：朱丹阳，腾讯云监控开发工程师 腾讯云消息队列 CKafka 简介 消息队列 CKafka（Cloud Kafka）是基于开源 Apache Kafka 消息队列引擎，提供高吞吐性能、高可扩展性的消息队列服务。消息队列 CKafka 完美兼容 Apache Kafka 0.9、0.10、1.1、2.4 版本接口，在性能、扩展性、业务安全保障、运维等方面具有超强优势，让您在享受低成本、超强功能的同时，免除繁琐运维工作。 产品特点: 收发解耦：有效解耦生产者、消费者之间的关系。在确保同样的接口约束的前提
导语：本文介绍了腾讯云消息队列 CKafka 监控的最佳实践指南，帮助开发者免除繁琐的运维工作，并快速发现问题，提高工作效率。
前言 随着业务规模的不断扩大，企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合，合理进行流量削锋，腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化，腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案 使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数，为开发者提供的存储数据应用解决方案。开发者只需要在 COS 控制台一键配置，即可使
随着业务规模的不断扩大，企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合，合理进行流量削锋，腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化，腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。
在本实验中，我们将会使用腾讯云的消息队列CKafka、无服务器云函数SCF和对象存储COS，实现一个异常日志检测及记录系统。当业务系统中的应用功能程序生成日志后，会把日志信息通过消息实时传输到CKafka服务端。通过配置异常日志检测SCF的触发规则，一旦日志消息投递成功即可触发异常日志监测SCF的逻辑。异常日志监测SCF会监测接收到的日志消息是否含有异常关键字，然后把异常信息归档后投递到COS并发送邮件到指定的邮箱，从而实现无服务器函数发送邮件的目的。
目前随着技术架构不断演进，特别是微服务分布式技术兴起，很多大型网站逐步采用分布式的消息队列，用于面对流量高峰和异步处理，基于云上的消息队列逐步成为主流，接下来给大家一起介绍下腾讯云消息队列Ckafka及新推出的TDMQ相关产品特性、使用场景，以及系统对接，帮助大家更好做好技术选型。
基础网络是腾讯云上所有用户的公共网络资源池，所有云服务器的内网 IP 地址都由腾讯云统一分配，无法自定义网段划分、IP 地址。随着用户规模和更多复杂业务的扩增，基础网络已经不能满足业务需求，因此在基础网络上演进出具备自主可控、安全性更高的私有网络（VPC）。
腾讯云消息队列 CKafka，分布式、高吞吐量、高可扩展性的消息服务，100%兼容开源 Apache Kafka 0.9 0.10
关注腾讯云大学，了解最新行业技术动态 戳【阅读原文】查看55个腾讯云产品全集 课程概述 消息队列 CKafka（Cloud Kafka）是一个分布式、高吞吐量、高可扩展性的消息系统，100%兼容开源 Kafka API（0.9、0.10版本）。CKafka 基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，无需彼此等待。CKafka 具有数据压缩、同时支持离线和实时数据处理等优点，适用于日志压缩收集、监控数据聚合等场景。 【课程目标】 了解腾讯云消息队列 CKafka 的特性 了解腾讯云消息队
CKafka荣获最高级认证 今天，由中国信通院和混沌工程实验室联合举办的混沌工程技术沙龙--金融行业精品专场在北京召开。本次技术沙龙上发布了金融级产品稳定性测评成果，在分布式系统稳定性评估体系的获奖名单中，腾讯云消息队列CKafka通过首批消息队列服务稳定性认证，荣获最高级别“先进级”认证，这项认证肯定了CKafka在数据安全性、系统稳定性上的产品能力和技术实力。 根据混沌测试报告显示，CKafka已通过单项故障注入测试（服务器宕机、服务发现故障、服务暂停、网络故障、CPU负载高、内存负载高）和综
导语：前面我们介绍了消息队列也比较了各种消息队列，接下来创建一个CKafka来测试一下。
现如今，Kafka 作为一个高性能、高可靠性、分布式的消息队列系统，广泛地被应用于大规模互联网服务中，如 Tencent、Facebook、LinkedIn、Netflix、Airbnb 等知名公司。然而，在大规模的分布式系统中，服务的不可预测性、复杂性和耦合性经常会导致一些不可预测的故障事件。当Kafka Broker节点宕机时，可能会出现以下故障：
导读：目前国内公有云上的kafka产品都是基于开源kafka产品二次封装改造的，基本上开源kafka的配置参数都能应用在云上kafka产品里。本文以腾讯云的ckafka产品为例，分别介绍了几个应用场景，每个点都有详细的配置干货。通过这些设置和正确的使用姿势，我们来很好的保证关联业务的稳定性和可靠性。
导语 随着大数据时代的到来，各大互联网公司对于数据的重视程度前所未有，各种业务对数据的依赖也越来越重。有一种观点认为大数据存在 “3V” 特性：Volume, Velocity, Variety。这三个 “V” 表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。 我们想要在数据上创造价值，首先要解决数据获取的问题。因为在互联网发展中，企业内或不同企业之间建立了各种不同的业务系统，这些
导语：上一章我们聊到了：什么是消息队列，为什么要用消息队列，有那些消息队列？下来我们聊聊什么样的消息队列适合我们公司。
导语 | 3月21日，腾讯云TVP团队倾力打造的「TVP吐槽大会」第四季——腾讯云中间件专场落下帷幕，微服务和消息队列领域的资深TVP们在深度体验腾讯云中间件产品之后，提出直击痛点建议的同时也充分肯定了腾讯云中间件产品的实力与价值。
1. 腾讯微服务平台TSF：提供服务双注册发现能力；提供容器部署前的健康检查功能；多系统可使用同一个TraceID。
科技是推动社会发展的重要动力，技术是推动行业发展的重要支撑力量。为便于读者了解腾讯云中间件产品的最新动态，腾讯云中间件推出产品月报专栏，每月一期。本月的三项动态如下：
一、云函数 SCF + Ckafka 联合转储方案正式发布 发布时间： 2020-08-06 产品背景： SCF + Ckafka 联合转储方案可以帮忙用户节省使用与开发成本，用户可以将 Ckafka 消息转储同步转储至消息队列 Ckafka，用于 Ckafka 集群间的数据同步。 产品功能 高度可定制化支持自定义换行符、数据筛选等，帮助开发者快速实现 Ckafka 各种的场景转储服务。 转储消息队列 Ckafka 的方案将使用云函数 SCF 的 Ckafka 触发器进行，通过 Ckafka 触发器将消息
ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别
随着 IT 技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用，成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。
11月动态 消息队列 RocketMQ 版 【新功能】支持调整节点规格和存储规格，如当前的集群规格不满足您的业务需求，可以在控制台上提升节点规格、节点数量和存储规格。 【新功能】支持公网带宽：专享集群已开启公网带宽计费，开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费，建议在测试、调试等不影响生产环境的场景下使用公网。 【新功能】支持在控制台快速发送测试消息，方便测试和调试。 【新功能】查看消息增加消费状态说明：查询消息时，在消息详情页面可以查看消息消费状态，并且支持重新发送消息和查看异常诊
1. 腾讯微服务平台TSF：支持虚拟机部署应用的健康检查和滚动发布；支持Go语言治理框架，通过mesh的方式支持Dubbo协议和Dubbo应用的服务治理能力。
自 2024年5月起，TDMQ CKafka 专业版支持弹性存储能力，这种产品形态下，存储可按需使用、按量付费，一方面降低消费即删除、存储使用波动大场景下的存储成本，另一方面存储空间理论上无穷大。
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
长城汽车是一家全球化智能科技公司，业务包括汽车及零部件设计、研发、生产、销售和服务，旗下拥有哈弗、魏牌、欧拉、坦克及长城皮卡。2022年，长城汽车全年销售1,067,523辆，连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务，加速向全球化智能科技公司进阶，智能化车型渗透率达86.17%，车联网作为智能化两大应用方向之一，在这个过程中快速发展。
长城汽车是一家全球化智能科技公司，业务包括汽车及零部件设计、研发、生产、销售和服务，旗下拥有魏牌、哈弗、坦克、欧拉及长城皮卡。2022年，长城汽车全年销售1,067,523辆，连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务，加速向全球化智能科技公司进阶，智能化车型渗透率达86.17%，车联网作为智能化两大应用方向之一，在这个过程中快速发展。
CKafka 高级版正式上线，在兼容原生 Kafka 2.x 等高版本的同时，提供 20MB/s 的带宽调整步长，可以根据业务需求灵活的扩容。支持跨 AZ 部署，支持 ACL 访问控制。原 CKafka 标准版将停止新购，存量集群实例管控功能，如升配、续费等，均不受影响。推荐您使用 CKafka 高级版产品形态，未来还将继续基于高级版迭代新特性上线。
控制台链接：https://console.tencentcloud.com/trocketmq
腾讯云中间件 - 微服务团队产品2021年6月简报： 微服务平台 TSF 服务监控模块优化，新增微服务网关可扩展性；解决日志模块大索引与索引过多导致日志检索慢、超时问题。 消息队列 CKafka 支持partition级别的监控；七月发布预览。 消息队列 TDMQ 支持AMQP协议兼容；升级大规模延时消息架构；支持全资源级别的CAM鉴权。 微服务引擎 TSE 子账号授权流程优化，默认多可用区部署，默认数据持久化；公网开通，后台监控运维系统发布。 弹性微服务TEM 扩展各种场景下的部署管理能力；支持
10月动态 消息队列 RocketMQ 版 【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造，兼容社区SDK，具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨，已经在多个外部客户落地，涉及教育、出行、游戏等多个行业。 购买指南： https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询，在消息查询页面，用户可以根据专享集群的 gr
腾讯云中间件 全面覆盖分布式微服务、分布式消息、消息队列等热点技术。提供企业技术中台解决方案。 随着近十年互联网蓬勃发展，需求正进行爆炸式的增长并进入超快速迭代阶段，传统行业为适应大的趋势，需要在此场景下敏捷改造自身业务为快速迭代提供支撑，实现快速根据业务变化情况统筹底层资源。时至今日，K8s、DevOps、微服务铁三角初具雏形，企业要想实现长远目标，打造良好完善的IT体系规划，就需要不断参考云原生的理念去实践。立足当下，放眼未来，腾讯云原生三驾马车已扬帆起航，腾讯云中间件团队历尽多年打磨，成功助
团队在日常工作中，一般情况下使用的消息队列是腾讯云 CKafka。CKafka 提供了高可靠的开箱即用消息队列能力，让我们在日常能够放心使用，减少花在运维上的投入。不过即便如此，我们还是需要学习 Kafka 的一些基本概念和功能，从而在实际应用中嗯能够充分高效、高质量地利用 Kafka 的能力。
腾讯云中间件 - 微服务团队产品2021年11月简报： API网关：支持参数流控插件、支持自定义响应体插件；支持直通TKE Pod，可通过API网关享受认证鉴权、流量控制、灰度分流等能力。 微服务引擎 TSE 注册配置中心 ：Nacos组件实现客户端与控制台访问内网方式与外网方式解耦，用户自主通过开关控制。 微服务引擎 TSE 服务治理中心：PolarisMesh（北极星）治理中心支持多语言服务注册与发现、支持K8s service注册至PolarisMesh（北极星），同时增强了可观测性能力。
导语：Apache Kafka凭借其高吞吐、高可靠等特性在实时数据或流式数据架构中扮演着重要角色，受到了众多企业用户的青睐。但是随着云时代来临，公有云厂商纷纷推出消息队列服务，很多用户也逐渐从自建消息集群过渡到使用云上消息队列服务。本文将以蘑菇街Kafka服务迁移上云为例，阐述腾讯云消息队列CKafka如何对用户产生价值。 （编辑：中间件小Q妹）
https://cloud.tencent.com/act/pro/618season?from=20877 或者 https://cloud.tencent.com/act/pro/developer_business-scenario?from=18122&from=20878
Serverless 与消息队列生态结合 消息队列 MQ 是 Serverless 事件驱动场景下必要的解耦中间件也是云函数最重要的触发源之一。TDMQ 是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。其计算与存储分离的架构设计，使得它具备极好的云原生和 Serverless 特性，用户按量使用，无需关心底层资源。它拥有原生 Java 、 C++、Python、Go 等多种 API，同时支持 Kafka 协议以及 HTTP 协议方式接入，可为分布式应用系统提供
大家好，自我介绍一下，目前我是腾讯云无服务器云函数产品负责人。我做了很多年后端开发。今天是从一个程序员角度讲解一下我们怎么样用Serverless架构。
通过本文你可以了解到：第一，Serverless架构介绍；第二，对云函数产品介绍；第三，Serverless使用场景。
kafka支持修改topic，支持增加分区，不支持减少分区，这个时候消息队列消息的顺序会受影响，修改时需要三思，另外一个思路是新建一个topic，双写，进行数据切换
腾讯云中间件 - 微服务团队产品2021年10月简报： API网关：正式发布云原生网关 ，完美兼容开源 Kong 网关，为您幅度降低网关建设成本；支持条件路由插件，支持自定义认证/请求体插件。 微服务引擎 TSE ：发布子产品服务注册中心、配置中心、治理中心。支持一键创建、免运维、高可用、开源增强的组件托管服务。 消息队列 TDMQ： 支持开源RabbitMQ备用交换机能力；支持客户端代码声明功能，原Spring内置客户端使用MQ的客户可以无缝迁移至TDMQ; 支持独占消费、支持集群维度的数据统计
本文主要介绍了 CKafka 在跨洋场景中遇到的一个地域间数据同步延时大的问题，跨地域延时问题比较典型，所以详细记录下来做个总结。
导语：疫情期间，为了保障国内学子的正常学习进度，腾讯课堂积极响应国家“停工不停学”的号召，紧急上线疫情期间专用的“老师极速版”，使广大师生足不出户，即可快速便捷的完成线上开课。面对线上课堂百万量级的互动消息，如何保证消息的实时性和准确性无疑是一个技术挑战。那么如何解决问题呢？接下来，就和小编一起来看看腾讯云中间件CKafka如何为腾讯课堂百万级消息提供技术支撑。（编辑：中间件小Q妹）
两年前，腾讯在线教育部就在探索如何实现架构转型。在梳理过腾讯课堂初始技术架构的痛点后，规划出架构演进的三个重点方向：微服务、中间件、DevOps。
本文介绍了高性能消息队列CKafka的核心原理，包括设计初衷、核心概念、关键组件、工作流程、性能指标、应用场景以及消费者和生产者如何协同工作。CKafka通过集群部署、消息有序处理、可扩展的数据结构等方式实现高性能，支持大量消费者的同时维持低延迟，并通过简单的配置和API实现高效的生产和消费。
接口请求域名：ckafka.api.qcloud.com 本接口（CreateTopic）用于在消息队列 CKafka 实例下创建主题。
腾讯云中间件 - 微服务团队产品2021年2月简报： 腾讯云微服务引擎 TSE 邀您内测 消息队列 CKafka 支持跨可用区部署；支持实例升配展示进度；专业版全面放开公网路由接入；专业版现已加入免费试用序列邀您开通体验 腾讯微服务观测台 TSW 新版本发布邀您内测，新增接口、实例维度的监控、统计、异常分析能力；新增 SQL/NoSQL 分析能力；新增服务依赖拓扑清爽过滤能力；支持调用链详情展示堆栈 整理 by 中间件小Q妹 产品最新动态 01 腾讯云微服务引擎 TSE ■ 什么是 TSE
导语 消息队列 RocketMQ 版（TDMQ for RocketMQ，简称 TDMQ RocketMQ 版）在今日正式公测！TDMQ RocketMQ 是TDMQ系列产品中的一款分布式高可用的消息队列服务，兼容 Apache RocketMQ 的各个组件与概念，RocketMQ 4.6及以上版本的客户端几乎零改造接入。欢迎大家扫描文末二维码使用体验！ TDMQ RocketMQ 版的背景 RocketMQ作为典型的业务处理消息队列，主要用于处理订单，支付，积分等业务类型，对信息交换的准确性有极高的要求
在目前小程序为主的大背景下，有客户大部分业务在腾讯云，使用的大部分为容器服务，在大规模的使用容器下，需要对容器内业务的日志采集及分析，在腾讯云对应容器服务的日志提供了两种消费方式：Kafka、日志服务CLS。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
