前言 随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案 使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数,为开发者提供的存储数据应用解决方案。开发者只需要在 COS 控制台一键配置,即可使
大家应该都经历过双十一吧,那个流量大的恐怖吧,那个并发高的吓人吧。那么在一个高并发的系统里,有哪些点是影响系统性能的呢,今天我们来讲其中一个点:自定义异常
CKafka荣获最高级认证 今天,由中国信通院和混沌工程实验室联合举办的混沌工程技术沙龙--金融行业精品专场在北京召开。本次技术沙龙上发布了金融级产品稳定性测评成果,在分布式系统稳定性评估体系的获奖名单中,腾讯云消息队列CKafka通过首批消息队列服务稳定性认证,荣获最高级别“先进级”认证,这项认证肯定了CKafka在数据安全性、系统稳定性上的产品能力和技术实力。 根据混沌测试报告显示,CKafka已通过单项故障注入测试(服务器宕机、服务发现故障、服务暂停、网络故障、CPU负载高、内存负载高)和综
导语:上一章我们聊到了:什么是消息队列,为什么要用消息队列,有那些消息队列?下来我们聊聊什么样的消息队列适合我们公司。
目前随着技术架构不断演进,特别是微服务分布式技术兴起,很多大型网站逐步采用分布式的消息队列,用于面对流量高峰和异步处理,基于云上的消息队列逐步成为主流,接下来给大家一起介绍下腾讯云消息队列Ckafka及新推出的TDMQ相关产品特性、使用场景,以及系统对接,帮助大家更好做好技术选型。
消息队列的应用场景十分广泛,主流的消息中间件有ActiveMQ,RabbitMQ,RocketMQ,ZeroMQ,Kafka等,ActiveMQ是最老牌的MQ,它是Apache的开源项目,ZeroMQ是最快的消息队列,RabbitMQ也很不错,RocketMQ是阿里巴巴的开源项目,现在已经捐赠给Apache并成为了Apache的顶级项目,Kafka是吞吐量最高的消息中间件,常用于日志的处理,可能因为吞吐量的原因,ActiveMQ和RabiitMQ的活跃度越来越低,RocketMQ因为有相当好的性能,抗过了阿里的双十一,双十二等,所以越来越活跃,但是别去管那么多,消息中间件都差不多,懂一个了去学其他的也都一样
作者:朱丹阳,腾讯云监控开发工程师 腾讯云消息队列 CKafka 简介 消息队列 CKafka(Cloud Kafka)是基于开源 Apache Kafka 消息队列引擎,提供高吞吐性能、高可扩展性的消息队列服务。消息队列 CKafka 完美兼容 Apache Kafka 0.9、0.10、1.1、2.4 版本接口,在性能、扩展性、业务安全保障、运维等方面具有超强优势,让您在享受低成本、超强功能的同时,免除繁琐运维工作。 产品特点: 收发解耦:有效解耦生产者、消费者之间的关系。在确保同样的接口约束的前提
导语:本文介绍了腾讯云消息队列 CKafka 监控的最佳实践指南,帮助开发者免除繁琐的运维工作,并快速发现问题,提高工作效率。
腾讯云消息队列 CKafka,分布式、高吞吐量、高可扩展性的消息服务,100%兼容开源 Apache Kafka 0.9 0.10
11月动态 消息队列 RocketMQ 版 【新功能】支持调整节点规格和存储规格,如当前的集群规格不满足您的业务需求,可以在控制台上提升节点规格、节点数量和存储规格。 【新功能】支持公网带宽:专享集群已开启公网带宽计费,开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费,建议在测试、调试等不影响生产环境的场景下使用公网。 【新功能】支持在控制台快速发送测试消息,方便测试和调试。 【新功能】查看消息增加消费状态说明:查询消息时,在消息详情页面可以查看消息消费状态,并且支持重新发送消息和查看异常诊
随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。
关注腾讯云大学,了解最新行业技术动态 戳【阅读原文】查看55个腾讯云产品全集 课程概述 消息队列 CKafka(Cloud Kafka)是一个分布式、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API(0.9、0.10版本)。CKafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。CKafka 具有数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合等场景。 【课程目标】 了解腾讯云消息队列 CKafka 的特性 了解腾讯云消息队
导语 随着大数据时代的到来,各大互联网公司对于数据的重视程度前所未有,各种业务对数据的依赖也越来越重。有一种观点认为大数据存在 “3V” 特性:Volume, Velocity, Variety。这三个 “V” 表明大数据的三方面特征:量大,实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源,海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。 我们想要在数据上创造价值,首先要解决数据获取的问题。因为在互联网发展中,企业内或不同企业之间建立了各种不同的业务系统,这些
CKafka 高级版正式上线,在兼容原生 Kafka 2.x 等高版本的同时,提供 20MB/s 的带宽调整步长,可以根据业务需求灵活的扩容。支持跨 AZ 部署,支持 ACL 访问控制。原 CKafka 标准版将停止新购,存量集群实例管控功能,如升配、续费等,均不受影响。推荐您使用 CKafka 高级版产品形态,未来还将继续基于高级版迭代新特性上线。
长城汽车是一家全球化智能科技公司,业务包括汽车及零部件设计、研发、生产、销售和服务,旗下拥有哈弗、魏牌、欧拉、坦克及长城皮卡。2022年,长城汽车全年销售1,067,523辆,连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务,加速向全球化智能科技公司进阶,智能化车型渗透率达86.17%,车联网作为智能化两大应用方向之一,在这个过程中快速发展。
导读:目前国内公有云上的kafka产品都是基于开源kafka产品二次封装改造的,基本上开源kafka的配置参数都能应用在云上kafka产品里。本文以腾讯云的ckafka产品为例,分别介绍了几个应用场景,每个点都有详细的配置干货。通过这些设置和正确的使用姿势,我们来很好的保证关联业务的稳定性和可靠性。
腾讯云中间件 全面覆盖分布式微服务、分布式消息、消息队列等热点技术。提供企业技术中台解决方案。 随着近十年互联网蓬勃发展,需求正进行爆炸式的增长并进入超快速迭代阶段,传统行业为适应大的趋势,需要在此场景下敏捷改造自身业务为快速迭代提供支撑,实现快速根据业务变化情况统筹底层资源。时至今日,K8s、DevOps、微服务铁三角初具雏形,企业要想实现长远目标,打造良好完善的IT体系规划,就需要不断参考云原生的理念去实践。立足当下,放眼未来,腾讯云原生三驾马车已扬帆起航,腾讯云中间件团队历尽多年打磨,成功助
现如今,Kafka 作为一个高性能、高可靠性、分布式的消息队列系统,广泛地被应用于大规模互联网服务中,如 Tencent、Facebook、LinkedIn、Netflix、Airbnb 等知名公司。然而,在大规模的分布式系统中,服务的不可预测性、复杂性和耦合性经常会导致一些不可预测的故障事件。当Kafka Broker节点宕机时,可能会出现以下故障:
10月动态 消息队列 RocketMQ 版 【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造,兼容社区SDK,具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨,已经在多个外部客户落地,涉及教育、出行、游戏等多个行业。 购买指南: https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询,在消息查询页面,用户可以根据专享集群的 gr
在今天的互联网里,高并发、大数据量、大流量已经成为了代言词,那么我们的系统也承受着巨大的压力,首当其冲的解决方案就是redis。
导语 | 3月21日,腾讯云TVP团队倾力打造的「TVP吐槽大会」第四季——腾讯云中间件专场落下帷幕,微服务和消息队列领域的资深TVP们在深度体验腾讯云中间件产品之后,提出直击痛点建议的同时也充分肯定了腾讯云中间件产品的实力与价值。
控制台链接:https://console.tencentcloud.com/trocketmq
随着 IT 技术与大数据的不断发展,越来越多的企业开始意识到数据的价值,通过大数据分析,可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用,成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓,将多个数据源通过数据集成技术,汇集一起进行数据分析。由此,数据集成成为了构建数据湖仓的必经之路,然而企业在数据集成过程中却面临很多棘手问题。
1. 腾讯微服务平台TSF:提供服务双注册发现能力;提供容器部署前的健康检查功能;多系统可使用同一个TraceID。
在本实验中,我们将会使用腾讯云的消息队列CKafka、无服务器云函数SCF和对象存储COS,实现一个异常日志检测及记录系统。当业务系统中的应用功能程序生成日志后,会把日志信息通过消息实时传输到CKafka服务端。通过配置异常日志检测SCF的触发规则,一旦日志消息投递成功即可触发异常日志监测SCF的逻辑。异常日志监测SCF会监测接收到的日志消息是否含有异常关键字,然后把异常信息归档后投递到COS并发送邮件到指定的邮箱,从而实现无服务器函数发送邮件的目的。
一、云函数 SCF + Ckafka 联合转储方案正式发布 发布时间: 2020-08-06 产品背景: SCF + Ckafka 联合转储方案可以帮忙用户节省使用与开发成本,用户可以将 Ckafka 消息转储同步转储至消息队列 Ckafka,用于 Ckafka 集群间的数据同步。 产品功能 高度可定制化支持自定义换行符、数据筛选等,帮助开发者快速实现 Ckafka 各种的场景转储服务。 转储消息队列 Ckafka 的方案将使用云函数 SCF 的 Ckafka 触发器进行,通过 Ckafka 触发器将消息
腾讯云中间件 - 微服务团队产品2021年6月简报: 微服务平台 TSF 服务监控模块优化,新增微服务网关可扩展性;解决日志模块大索引与索引过多导致日志检索慢、超时问题。 消息队列 CKafka 支持partition级别的监控;七月发布预览。 消息队列 TDMQ 支持AMQP协议兼容;升级大规模延时消息架构;支持全资源级别的CAM鉴权。 微服务引擎 TSE 子账号授权流程优化,默认多可用区部署,默认数据持久化;公网开通,后台监控运维系统发布。 弹性微服务TEM 扩展各种场景下的部署管理能力;支持
基础网络是腾讯云上所有用户的公共网络资源池,所有云服务器的内网 IP 地址都由腾讯云统一分配,无法自定义网段划分、IP 地址。随着用户规模和更多复杂业务的扩增,基础网络已经不能满足业务需求,因此在基础网络上演进出具备自主可控、安全性更高的私有网络(VPC)。
ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别
1. 腾讯微服务平台TSF:支持虚拟机部署应用的健康检查和滚动发布;支持Go语言治理框架,通过mesh的方式支持Dubbo协议和Dubbo应用的服务治理能力。
本篇的灵感来自我超级喜欢的一篇文章:《如果把中国 442 位皇帝都放在一个群里面,他们会聊些什么》。
这是我的第 64 篇原创文章 作者 | 悟空聊架构 来源 | 悟空聊架构(ID:PassJava666) 转载请联系授权(微信ID:PassJava) 本篇的灵感来自我超级喜欢的一篇文章:《如果把中国 442 位皇帝都放在一个群里面,他们会聊些什么》。其实我的第一篇文章就是用这种方式写的《悟空聊无事务》,这也是我的公众号名字的来源,叫做:「悟空聊架构」 。 本篇也会以 「群聊、单聊、朋友圈」 的方式来讲解计算机世界中消息队列的一些奇闻趣事。 从事软件开发的同学,一定都听过或用过消息队列,比如 RabbitM
长城汽车是一家全球化智能科技公司,业务包括汽车及零部件设计、研发、生产、销售和服务,旗下拥有魏牌、哈弗、坦克、欧拉及长城皮卡。2022年,长城汽车全年销售1,067,523辆,连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务,加速向全球化智能科技公司进阶,智能化车型渗透率达86.17%,车联网作为智能化两大应用方向之一,在这个过程中快速发展。
腾讯云中间件 - 微服务团队产品2021年2月简报: 腾讯云微服务引擎 TSE 邀您内测 消息队列 CKafka 支持跨可用区部署;支持实例升配展示进度;专业版全面放开公网路由接入;专业版现已加入免费试用序列邀您开通体验 腾讯微服务观测台 TSW 新版本发布邀您内测,新增接口、实例维度的监控、统计、异常分析能力;新增 SQL/NoSQL 分析能力;新增服务依赖拓扑清爽过滤能力;支持调用链详情展示堆栈 整理 by 中间件小Q妹 产品最新动态 01 腾讯云微服务引擎 TSE ■ 什么是 TSE
方便可以修改源代码,而非一味地等待软件提供商猴年马月发布的下个版本解决。在知识产权下,使用开源的才可商用。
科技是推动社会发展的重要动力,技术是推动行业发展的重要支撑力量。为便于读者了解腾讯云中间件产品的最新动态,腾讯云中间件推出产品月报专栏,每月一期。本月的三项动态如下:
我们都知道队列,一端入队,一端出队。消息队列也是类似的结构,一端生产者只负责往队列里发送消息数据,另一端消费者只负责从队列里获取数据,获取方式可能是队列推送或者消费者拉取
导语:前面我们介绍了消息队列也比较了各种消息队列,接下来创建一个CKafka来测试一下。
消息(Message)是指在应用间传送的数据(比如字符串,json等),消息队列(Message Queue,简称MQ)是一个古老的计算机术语,UNIX进程间通信就用到了消息队列技术:一个进程把数据写入某个特定队列中,其它队列读取特定队列中的数据实现异步通信。而现在我们所说的MQ通常指的是独立的消息队列中间件,利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。
本文主要介绍了 CKafka 在跨洋场景中遇到的一个地域间数据同步延时大的问题,跨地域延时问题比较典型,所以详细记录下来做个总结。
RocketMQ 最早诞生于淘宝的在线电商交易场景,经过了历年双十一大促流量洪峰的打磨,2016年捐献给 Apache 社区,成为 Apache 社区的顶级项目,并在国内外电商,金融,互联网等各行各业的广大客户落地验证,得到广泛认可。
说到Java中的队列应该都不会陌生。其具有通过先进先出,或者双端进出的方式进行数据管理;通过阻塞以达到自动平衡负载的功能。
腾讯云中间件 - 微服务团队产品2021年11月简报: API网关:支持参数流控插件、支持自定义响应体插件;支持直通TKE Pod,可通过API网关享受认证鉴权、流量控制、灰度分流等能力。 微服务引擎 TSE 注册配置中心 :Nacos组件实现客户端与控制台访问内网方式与外网方式解耦,用户自主通过开关控制。 微服务引擎 TSE 服务治理中心:PolarisMesh(北极星)治理中心支持多语言服务注册与发现、支持K8s service注册至PolarisMesh(北极星),同时增强了可观测性能力。
导语 2022腾讯全球数字生态大会已圆满落幕,大会以“数实创新、产业共进”为主题,聚焦数实融合,探索以全真互联的数字技术助力实体经济高质量发展。大会设有29个产品技术主题专场、18个行业主题专场和6个生态主题专场,各业务负责人与客户、合作伙伴共同总结经验、凝结共识,推动数实融合新发展。 本次大会设立了微服务与中间件专场,本专场从产品研发、运维等最佳落地实践出发,详细阐述云原生时代,企业在开发微服务和构建云原生中间件过程中应该怎样少走弯路,聚焦业务需求,助力企业发展创新。 随着大数据时代的到来,企业在生产和经
导语:Apache Kafka凭借其高吞吐、高可靠等特性在实时数据或流式数据架构中扮演着重要角色,受到了众多企业用户的青睐。但是随着云时代来临,公有云厂商纷纷推出消息队列服务,很多用户也逐渐从自建消息集群过渡到使用云上消息队列服务。本文将以蘑菇街Kafka服务迁移上云为例,阐述腾讯云消息队列CKafka如何对用户产生价值。 (编辑:中间件小Q妹)
自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。
新春采购节 新春钜惠,爆款秒杀;企业用户专属,高配高性价比,助力企业轻松上云,腾讯云微服务新春大促重磅来袭! 不限新老用户 腾讯微服务平台 TSF、消息队列 CKafka 最低 4 折优惠 最高可省 30000+ 元! 更有爆款秒杀、代金券大礼包限量放送 点击【在看】先到先得! 点击【阅读原文】查看活动详情! 往期 推荐 《一天,把 Pulsar 客户端的性能提升3倍+!》 《超有料!万字详解腾讯微服务平台 TSF 的敏捷开发流程》 《火速围观!鹅厂中间件产品遭遇暴风吐槽!》 扫描
Serverless 与消息队列生态结合 消息队列 MQ 是 Serverless 事件驱动场景下必要的解耦中间件也是云函数最重要的触发源之一。TDMQ 是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。其计算与存储分离的架构设计,使得它具备极好的云原生和 Serverless 特性,用户按量使用,无需关心底层资源。它拥有原生 Java 、 C++、Python、Go 等多种 API,同时支持 Kafka 协议以及 HTTP 协议方式接入,可为分布式应用系统提供
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
领取专属 10元无门槛券
手把手带您无忧上云