关注腾讯云大学,了解最新行业技术动态 戳【阅读原文】查看55个腾讯云产品全集 课程概述 消息队列 CKafka(Cloud Kafka)是一个分布式、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API(0.9、0.10版本)。CKafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。CKafka 具有数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合等场景。 【课程目标】 了解腾讯云消息队列 CKafka 的特性 了解腾讯云消息队
前言 随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案 使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数,为开发者提供的存储数据应用解决方案。开发者只需要在 COS 控制台一键配置,即可使
“智变加速,产业焕新”,2023腾讯全球数字生态大会已于9月7-8日完美落幕,40+专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。
随着业务规模的不断扩大,企业越来越重视构建高性能、高可用的大型分布式系统。为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。
腾讯云消息队列 CKafka,分布式、高吞吐量、高可扩展性的消息服务,100%兼容开源 Apache Kafka 0.9 0.10
CKafka荣获最高级认证 今天,由中国信通院和混沌工程实验室联合举办的混沌工程技术沙龙--金融行业精品专场在北京召开。本次技术沙龙上发布了金融级产品稳定性测评成果,在分布式系统稳定性评估体系的获奖名单中,腾讯云消息队列CKafka通过首批消息队列服务稳定性认证,荣获最高级别“先进级”认证,这项认证肯定了CKafka在数据安全性、系统稳定性上的产品能力和技术实力。 根据混沌测试报告显示,CKafka已通过单项故障注入测试(服务器宕机、服务发现故障、服务暂停、网络故障、CPU负载高、内存负载高)和综
目前随着技术架构不断演进,特别是微服务分布式技术兴起,很多大型网站逐步采用分布式的消息队列,用于面对流量高峰和异步处理,基于云上的消息队列逐步成为主流,接下来给大家一起介绍下腾讯云消息队列Ckafka及新推出的TDMQ相关产品特性、使用场景,以及系统对接,帮助大家更好做好技术选型。
导读 伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品:微服务平台 TSF、消息队列 CKafka、金融级消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 T
伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品:微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎T
云原生大潮风起云涌,企业不再停留在理念层面,目前已在多方面落地。消息队列作为关键技术基础设施之一,也在云原生时代面临着挑战和机会。本文从传统消息队列上云所面临的三大挑战说起,并以 Apache Pulsar 为技术案例,深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。 PART ONE 背景介绍 如今,云原生的概念已经渗透到了软件开发的方方面面。云原生不再只是未来的设想,而是一个现在进行时。开发人员在开发设计之初就需要考虑未来如何在云原生环境上部署、运行服务,即如何“上云”。
为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出6款优秀产品:微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF,全面布局云原生领域产品矩阵。
导语 昨晚大家期待已久 揭秘腾讯云TStack面纱的的直播间里 究竟讲了什么呢? 让小编带你看重点! 文末有昨晚直播提问中奖的同学名单哦! 最近拿奖拿到手软的腾讯云TStack究竟是个啥?? 在介绍产品之前,我想先介绍下它的来历,这个产品从2012年腾讯云TStack在腾讯内部正式上线,用于企业IT系统的支持,到15年开始,从运维、大规模部署等方面都已经相对成熟,决定作为TO B产品开始对外输出——这就是腾讯云TStack的诞生。 腾讯云TStack是核心基于OpenStack的私有全栈云解决方案。
10月动态 消息队列 RocketMQ 版 【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造,兼容社区SDK,具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨,已经在多个外部客户落地,涉及教育、出行、游戏等多个行业。 购买指南: https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询,在消息查询页面,用户可以根据专享集群的 gr
导语 | 3月21日,腾讯云TVP团队倾力打造的「TVP吐槽大会」第四季——腾讯云中间件专场落下帷幕,微服务和消息队列领域的资深TVP们在深度体验腾讯云中间件产品之后,提出直击痛点建议的同时也充分肯定了腾讯云中间件产品的实力与价值。
腾讯数字生态大会亮点纷呈,定档9月7-8日,腾讯云微服务与消息队列专场将为大家带来一场与中间件有关的视觉盛宴!
12月动态 消息队列 CKafka 版 【商业化】国内站专业版支持按小时后付费。 ★ 消息队列 RocketMQ 版 【商业化】虚拟集群正式商业化:TDMQ RocketMQ 共享版(虚拟集群)于 2022年12月28日结束公测,正式商业化开始计费,计费方式为按量付费(后付费)。 【新功能】虚拟集群收发消息调用API 限流:为了保证虚拟集群的稳定性,TDMQ RocketMQ版会以集群和 Topic 为维度进行限流,您可以在集群监控或者 Topic 监控页面查看对应的限流监控指标。 【新功能】虚拟集群支持元
控制台链接:https://console.tencentcloud.com/trocketmq
导语:在大家的期待中,腾讯云TStack首席架构师 贺阮 和 美女产品经理 Kitty 昨晚做客他二哥技术直播间,为大家揭开了腾讯云TStack的神秘面纱。为了照顾错过直播的小伙伴,小编这里用问答的形式带你看重点!文末还有昨晚直播提问中奖的同学名单哦! 最近拿奖拿到手软的腾讯云TStack究竟是个啥? 在介绍产品之前,我想先介绍下它的来历,这个产品从2012年腾讯云TStack在腾讯内部正式上线,用于企业IT系统的支持,到15年开始,从运维、大规模部署等方面都已经相对成熟,决定作为To B产品开始对外
导语:由中国信息通信研究院、中国通信标准化协会联合主办的“2020可信云大会”于昨天圆满结束,会上发布了2020年可信云上半年最新评估结果。其中腾讯云中间件——分布式消息队列TDMQ凭借其优秀的技术能力,获得了可信云最高级认证证书。
导语 腾讯云消息队列Kafka推出了数据接入平台(Data Import Platform),构建数据源和数据处理系统间的桥梁。为了广大开发者可以更深入的了解DIP,腾讯云消息队列即将推出针对数据接入平台DIP的系列直播,本期为系列直播的第一期,对DIP的应用场景、功能及技术架构等进行解析。 关于数据接入平台 随着公有云的蓬勃发展,企业基于降本增效的核心诉求,持续不断地将服务搬到公有云上。而在业务不断发展的过程中,基于计算、安全、存储、查询等需求,各种业务对数据的依赖越来越重。企业一般基于开源的方案搭建数
导语 2021年12月1日,腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。 金融级分布式消息中间件 消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件,具备高一致、高可靠、高并发特性,可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列,也是目前真正做到计算与存储分离的云消息队列,从架构上实现了云原
导语 消息队列 RocketMQ 版(TDMQ for RocketMQ,简称 TDMQ RocketMQ 版)在今日正式公测!TDMQ RocketMQ 是TDMQ系列产品中的一款分布式高可用的消息队列服务,兼容 Apache RocketMQ 的各个组件与概念,RocketMQ 4.6及以上版本的客户端几乎零改造接入。欢迎大家扫描文末二维码使用体验! TDMQ RocketMQ 版的背景 RocketMQ作为典型的业务处理消息队列,主要用于处理订单,支付,积分等业务类型,对信息交换的准确性有极高的要求
| 导语 在大家的工作当中,是否碰到大量的插入、更新请求同时到达数据库,这会导致行或表被锁住,最后会因为请求堆积过多而触发“连接数过多的异常”(Too Many Connections)错误,遇到这样的清况?你又是如何处理?
4月15日,由中国电子信息行业联合会、武汉市人民政府、湖北省经济和信息化厅联合主办的“2023中国软件创新发展大会”在湖北武汉隆重召开,本次大会以“强基铸魂 创新共赢”为主题,旨在邀请政产学研用等各界代表,分享我国软件产业的新技术、新成果、新业态,研讨软件行业发展的新思路、新趋势、新格局,助力软件产业高质量发展,做强做优做大数字经济。 会上,中国电子信息行业联合会正式发布《2021-2022年度优秀创新产品》,该评选从产品创新、发展前景、自主品牌、应用规模等维度进行遴选国产优秀创新软件产品。 基于深厚的自
11月动态 消息队列 RocketMQ 版 【新功能】支持调整节点规格和存储规格,如当前的集群规格不满足您的业务需求,可以在控制台上提升节点规格、节点数量和存储规格。 【新功能】支持公网带宽:专享集群已开启公网带宽计费,开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费,建议在测试、调试等不影响生产环境的场景下使用公网。 【新功能】支持在控制台快速发送测试消息,方便测试和调试。 【新功能】查看消息增加消费状态说明:查询消息时,在消息详情页面可以查看消息消费状态,并且支持重新发送消息和查看异常诊
作为广汽集团旗下的智慧出行平台,如祺出行上线四年时间,用户规模和订单量保持高速增长。在过去的2022年,如祺出行平台累计注册用户突破1800万,同比增长64%,年度订单总量超7000万,同比增长52%。
由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 周六 14:00-18:00 在深圳腾讯大厦2楼多功能厅,精彩呈现,期待大家多多报名!
引言 | Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/ Apache Pulsar Meetup 深圳站 活动时间:2021年4月17日(本周六)13:30 ~ 18:00 活动地点:深圳市腾讯大
导语 Pulsar Summit Aisa 2021 将于2022年1月15-16日以线上直播的形式举办。 大会将分为主论坛和分论坛,汇聚技术大咖和行业先行者分享 Apache Pulsar 实践经验、用户案例、技术探究和运维故事,交流探讨 Pulsar 项目最新进展和动态,彼此切磋。 关于 Pulsar Summit Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会。于此盛会,大家分享 Apache Pulsar 实践经验、用户案例、技术探究
腾讯云中间件 全面覆盖分布式微服务、分布式消息、消息队列等热点技术。提供企业技术中台解决方案。 随着近十年互联网蓬勃发展,需求正进行爆炸式的增长并进入超快速迭代阶段,传统行业为适应大的趋势,需要在此场景下敏捷改造自身业务为快速迭代提供支撑,实现快速根据业务变化情况统筹底层资源。时至今日,K8s、DevOps、微服务铁三角初具雏形,企业要想实现长远目标,打造良好完善的IT体系规划,就需要不断参考云原生的理念去实践。立足当下,放眼未来,腾讯云原生三驾马车已扬帆起航,腾讯云中间件团队历尽多年打磨,成功助
导语 | 微服务与 Serverless 被不少开发者称为“天作之合”,在当前的微服务体系中,Serverless 的定位是什么?Serverless 在微服务分布式应用中又是如何落地的?本文由腾讯云微服务产品中心技术总监 韩欣 在 Techo TVP 开发者峰会 ServerlessDays China 2021上的演讲《腾讯云微服务在 Serverless 的探索实践》整理而成,向大家分享团队中 Serverless 技术在实际开发过程与用户场景中的落地与思考。 点击可观看精彩演讲视频 一、
导语 由infoQ主办的QCon 全球软件开发大会·广州站将于2023年5月26-27日正式开幕,本次盛会,腾讯云中间件高级开发工程师许文强将在《稳定性即生命线》专场为大家分享精彩议题,干货满满! 稳定性即生命线 随着数字化、互联网、云计算等技术的快速发展和普及,各行业越来越以更信息化的形态服务大众,信息化系统已经越来越深入到我们生活的方方面面,在促进各行业发展的同时,也强化了我们对其的依赖程度。而我们除了要面对由于自然灾害、电力中断、网络故障等“黑天鹅”事件引起的系统容灾场景外,还会面临由于人为疏漏、系
导语 随着大数据时代的到来,各大互联网公司对于数据的重视程度前所未有,各种业务对数据的依赖也越来越重。有一种观点认为大数据存在 “3V” 特性:Volume, Velocity, Variety。这三个 “V” 表明大数据的三方面特征:量大,实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源,海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。 我们想要在数据上创造价值,首先要解决数据获取的问题。因为在互联网发展中,企业内或不同企业之间建立了各种不同的业务系统,这些
在本实验中,我们将会使用腾讯云的消息队列CKafka、无服务器云函数SCF和对象存储COS,实现一个异常日志检测及记录系统。当业务系统中的应用功能程序生成日志后,会把日志信息通过消息实时传输到CKafka服务端。通过配置异常日志检测SCF的触发规则,一旦日志消息投递成功即可触发异常日志监测SCF的逻辑。异常日志监测SCF会监测接收到的日志消息是否含有异常关键字,然后把异常信息归档后投递到COS并发送邮件到指定的邮箱,从而实现无服务器函数发送邮件的目的。
成熟系统的构建,最不能缺少的一环就是消息队列。消息队列的概念看似好懂,但落实到复杂问题的解决,则非常考验内功。比如:
TDMQ 是腾讯云基于 Apache Pulsar 开源项目开发的消息队列产品,主打金融等行业应用,适用于对消息通讯要求高可靠、强一致的场景。TDMQ 在保障高可靠性的同时,还能保障消息读写的高吞吐量,而且提供丰富的消息类型,确保不同的业务场景都能有效覆盖。
现如今,Kafka 作为一个高性能、高可靠性、分布式的消息队列系统,广泛地被应用于大规模互联网服务中,如 Tencent、Facebook、LinkedIn、Netflix、Airbnb 等知名公司。然而,在大规模的分布式系统中,服务的不可预测性、复杂性和耦合性经常会导致一些不可预测的故障事件。当Kafka Broker节点宕机时,可能会出现以下故障:
导读 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。数平 MQ 团队对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯云消息队列 TDMQ 落地上线。本文主要简单梳理了 Pulsar 支持的一些传统消息队列应用场景,以及 Pulsar 新特性对更多场景的支持。 作者介绍 张超 腾讯数据平台部 MQ 团队高级工程师 Apache TubeMQ(incubating) PMC
网络游戏和其他互联网服务一样,需要面对承载海量用户的压力,同时还需要满足游戏所要求的低延迟、业务逻辑高复杂度的特性。腾讯游戏研发部资深架构师韩伟为大家带来了“解谜腾讯游戏海量服务架构”的主题分享。
导语:本文介绍了腾讯云消息队列 CKafka 监控的最佳实践指南,帮助开发者免除繁琐的运维工作,并快速发现问题,提高工作效率。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯数据平台部 MQ 团队对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯云消息队列 TDMQ 落地上线。本文主要介绍Pulsar延迟消息投递的实现,希望与大家一同交流。 一、什么是延迟消息投递 延迟消息投递在MQ应用场景中十分普遍,它是指消息在发送到 MQ 服务端后并不会立马投递,而是根据消息中的属性延迟固定时间后才投
RocketMQ 最早诞生于淘宝的在线电商交易场景,经过了历年双十一大促流量洪峰的打磨,2016年捐献给 Apache 社区,成为 Apache 社区的顶级项目,并在国内外电商,金融,互联网等各行各业的广大客户落地验证,得到广泛认可。
云原生 API 网关(专业版)支持CLS 日志大盘,提供状态码、请求量、耗时、错误日志、用户行为和业务分析等多个维度视图,适用于使用了 CLS 的用户。
科技是推动社会发展的重要动力,技术是推动行业发展的重要支撑力量。为便于读者了解腾讯云中间件产品的最新动态,腾讯云中间件推出产品月报专栏,每月一期。本月的三项动态如下:
云原生API 网关支持使用共享带宽包,您可以将多个网关实例公网负载均衡加入共享带宽包中合并计费。
导语 ApacheCon 是Apache软件基金会(ASF)的官方全球系列大会,作为久负盛名的开源盛宴,是开源界最具期待的大会之一。 关于ApacheCon Asia ApacheCon Asia 2022将于7月29日-31日在线举办,覆盖了数十个类别的Apache 项目内容,从流处理到消息队列、集成等皆有涉及。在今年会议中,Pulsar议题数量较2021年增长2.5倍,覆盖了技术探究、用户案例及生态集成等方向,可谓是精彩纷呈也紧跟热门趋势,欢迎大家在线观看这场Apache 技术盛宴。 消息系统分论
本文是 “2021 InfoQ 年度技术盘点与展望” 系列文章之一,由 InfoQ 编辑部制作呈现,重点聚焦中间件领域在 2021 年的重要进展、动态,希望能帮助你准确把握 2021 年中间件领域的核心发展脉络,在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一,将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域,后续将聚合延展成专题、迷你书、直播周、合集页面,在 InfoQ 媒体矩阵陆续放出,欢迎大家持续关注。 同时在此特别感谢胡伟琪(白慕)、林清山(隆基)、许文强、翟佳、周子博(按姓名首字母排序)几位大佬对本文的贡献,他们的真知灼见,是本文能与大家见面的关键。
昨天(6月8日),腾讯云技术社区推出的《云端架构师养成系列分享》迎来了第三期,主角是腾讯云的消息服务。本期邀请到的嘉宾是腾讯云资深产品经理张浩和后台开发工程师张晓宇。张浩同时也是第一期「高性能云硬盘入门与实战」的分享嘉宾。 [image.png] 腾讯云消息服务(Cloud Message Queue)是分布式消息队列服务,能够为分布式部署的不同应用之间或者一个应用的不同组件之间,提供基于消息的可靠的异步通信机制,消息被存储在高可靠、高可用的CMQ队列中,多进程可以同时读写,互不干扰。 官网的案例介绍中写道
导语 1月6日,TDMQ RabbitMQ 版正式公测!TDMQ RabbitMQ 版是TDMQ系列产品中的一款子产品,是一款分布式高可用的消息队列服务,支持AMQP 0-9-1 协议,完全兼容开源 RabbitMQ 的各个组件与概念。欢迎大家扫描文末二维码使用体验! TDMQ RabbitMQ 版的背景 众所周知,RabbitMQ是一个历史比较悠久的消息队列中间件,它是使用Erlang语言开发的实现AMQP(Advanced Message Queue Protocol 高级消息队列协议)的
领取专属 10元无门槛券
手把手带您无忧上云