随着业务数据量的剧增，传统MySQL在数据存储上变得越来越吃力，NoSQL因其良好的性能、扩展性、稳定性逐渐成为业务选型的首要考虑。TcaplusDB是腾讯云推出的一款全托管NoSQL数据库服务，旨在为客户提供极致的数据据存储体验，详细信息请参考官方文档。本文主要介绍如何将MySQL数据迁移到TcaplusDB。
腾讯云消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储在腾讯云的实践与演进》的精彩分享，从 Kafka 架构遇到的问题与挑战、Kafka 弹性架构方案类比、Kafka 分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了 Kafka 分级存储在腾讯云的实践与演进。
导语 | 930变革后，公司明确了“开源协同、自研上云”的公司技术战略，通过自研业务上云，整合资源使用、推动架构能力互补，促进自研业务与云产品协同发展，同时实现产业互联网发展战略和促进腾讯云业务做大做强。公司也专门成立了组织架构单元大力推动公司级业务上云。为了响应这个号召，分布式日志系统（鹰眼）也在积极探索将原有业务迁入云端的方案。
导读 Apache Kafka 将会在3.0 的版本里去掉 Apache Zookeeper 的依赖独立运行。3.0的的Kafka 从架构，代码层面相对于1.*，2.*版本 发生了很大的变化。变化主要集中在Kafka Raft，Contrller Quorum， Metadata，Snapshot等模块的改进。本文是Kafka Raft技术系列中的第一篇，我们先来初步体验一下KRaft的入门使用。 作者介绍 许文强 腾讯高级工程师 腾讯云CKafka研发负责人，Apache Kafka Co
导读 近期，腾讯联合 StreamNative 开源 Apache 软件基金会顶级项目、分布式消息流平台 Apache Pulsar 生态项目RoP (RocketMQ-on-Pulsar) 新增了三位Maintainer。 他们是来自于我们腾讯云中间件团队的冉小龙（Github ID: @wolfstudy）、韩明泽（GitHub ID: @hanmz）和张勇华（GitHub ID: @ronyhzhang）。在此感谢他们对RoP项目的贡献！ 什么是RoP “RoP“（RocketM
前面几章说了 腾讯云大数据技术介绍，分别介绍了：大数据的存储，大数据的使用，和 实时并发数据处理。这是一套完整的体系，需要综合的来运用才能体现出商业化的最大价值。
随着业务上的增长与迭代，业务使用的消息集群会创建越来越多主题，在业务流量不断增长的情况下，还需要不断增加主题的分区数量，Kafka 由于本身的存储机制特点，随着主题和分区数的增加，性能会不断下降，无法满足业务上的发展。通常我们的做法是扩容集群，但随着集群的不断扩大，又会伴随着很多问题，随着集群的扩容节点，创建主题和分区数不断增多，存储在 zk 上的元数据就会越来越多，每当需要全量同步元数据到 Broker 节点时，会是一笔很大的网络开销，由于当 contrller 切换时往往需要全量同步元数据到每个 Broker 上，因此，元数据越多，controller 的切换时长会越长，而且由于 Kafka 会独立一个复制线程进行分区副本的复制，多个分区共享该线程，因此 Broker上的分区不断增多后会造成复制线程负载增大，严重时会会造成某些分区副本复制跟不上，导致 ISR 频繁变化。
2010年，LinkedIn 着手开发 Kafka，到2011年 Kafka 进入 Apache 孵化器，成为世界顶级开源项目，并迅速被各种企业采用。据分析，目前已经有超过70%的世界500强公司在使用 Kafka。Kafka 主要作者、项目委员会主席及 Confluent 联合创始人饶军首先为大家带来了《Apache Kafka 的过去、现在和未来》的分享，介绍了 Kafka 这一路的各个关键节点及展望。他认为“Kafka 未来不仅仅是一个实时数据收集和传输系统，随着接下来的发展，它更偏向于成为一个实时数据流处理、交换和共享的平台。”
导语 腾讯云消息队列CKafka推出数据接入平台（Data Import Platform），旨在构建数据源和数据处理系统间的桥梁。 为了让开发者们更加深入的了解数据接入平台（DIP），腾讯云消息队列团队将组织系列文章，为大家详解数据接入平台（DIP）的功能及架构。 作者简介 许文强 腾讯高级工程师 Apache Kafka Contributor，腾讯云Kafka和数据接入平台DIP研发负责人。专注于中间件领域的系统设计和开发，在消息队列领域具有丰富的经验。 数据实时接入和分析面临的挑战 随着大
华为开源操作系统欧拉全新发布；搜狗宣布与腾讯完成合并；恒大汽车向技术人员授出 3.24 亿股购股权；台积电证实一口气开除 7 名员工；腾讯、完美世界等超 130 家公司注册元宇宙商标；库克谈全体员工大会泄密给媒体事件：将全力追查；Apache Kafka 3.0.0 正式发布；欧盟或强制电子设备使用通用充电器；苹果正式推送 iOS 15；花呗正在有序推进接入央行征信系统；2020 年中国研发经费突破 2.4 万亿......
作者：spiderwu，腾讯 CSIG 高级工程师 本文描述了如何在腾讯云上使用云化后大数据组件来完成实时分析系统的设计和实现，阅读过程中通过对比云 Ckafka、Flink 和 MySQL 等组件的使用差异来体现云化方案的优势。文中以视频直播礼物打赏的场景为例，展示全/半托管服务下开发的便利，便于读者对视频直播系统的设计有一个初步的了解。 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析 BI 等，对视频直播行业数字化运营进行实时可视
云开发（Tencent CloudBase，TCB）： Cloud Base是腾讯云提供的云原生一体化开发环境和工具平台，例如我们可以再这个平台上来搭建自己的网站，或者直接部署静态页面，它还支持域名的绑定和免费证书的申请，搭建一个自己的博客系统只需要十分钟
腾讯云中间件 - 微服务团队产品2021年2月简报： 腾讯云微服务引擎 TSE 邀您内测 消息队列 CKafka 支持跨可用区部署；支持实例升配展示进度；专业版全面放开公网路由接入；专业版现已加入免费试用序列邀您开通体验 腾讯微服务观测台 TSW 新版本发布邀您内测，新增接口、实例维度的监控、统计、异常分析能力；新增 SQL/NoSQL 分析能力；新增服务依赖拓扑清爽过滤能力；支持调用链详情展示堆栈 整理 by 中间件小Q妹 产品最新动态 01 腾讯云微服务引擎 TSE ■ 什么是 TSE
作者 | Tina 采访嘉宾 | 韩欣、王国璋 “我对该版本感到非常兴奋，但我们的业务特性决定了我们不能停机升级...” 3 月 30 日，Kafka 背后的企业 Confluent 发布博客表示，在即将发布的 2.8 版本里，用户可在完全不需要 ZooKeeper 的情况下运行 Kafka，该版本将依赖于 ZooKeeper 的控制器改造成了基于 Kafka Raft 的 Quorm 控制器。 在之前的版本中，如果没有 ZooKeeper，Kafka 将无法运行。但管理部署两个不同的系统不仅让运维复杂度
本文档主要介绍如何实时迁移AWS DynamoDB数据到腾讯云TcaplusDB。TcaplusDB是腾讯推出的一款全托管NoSQL数据库服务，专为游戏设计，立志于打造面向全球的精品云存储产品，提供高性能、低成本、易扩展、稳定、安全的存储服务。TcaplusDB与DynamoDB类似，数据模型采用的是KV和文档两种类型，以表为组织管理单位。相对DynamoDB表的schema-free模式，TcaplusDB采用的是schema架构，即需要用户提前定义好表的schema，但与传统关系型表结构定义相比，TcaplusDB支持更丰富的数据结构，如支持多层嵌套，满足多样化的数据定义需求。
导语 | 本文描述了如何在腾讯云上使用云化后大数据组件来完成实时分析系统的设计和实现，阅读过程中通过对比云Ckafka、Flink和MySQL等组件的使用差异来体现云化方案的优势。文中以视频直播礼物打赏的场景为例，展示全/半托管服务下开发的便利，便于读者对视频直播系统的设计有一个初步了解。 一、解决方案描述 （一）概述 本方案结合腾讯云CKafka、流计算Oceanus、私有网络VPC、商业智能分析BI等，对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、
导读 Apache Pulsar 在 2.8.0 正式支持了事务相关的功能，Pulsar 这里提供的事务区别于 RocketMQ 中 2PC 那种事务的实现方式，没有本地事务回查的机制，更类似于 Kafka 的事务实现机制。Apache Pulsar 中的事务主要用来保证类似 Pulsar Functions 这种流计算场景中 Exactly Once 语义的实现，这也符合 Apache Pulsar 本身 Event Streaming 的定位，即保证端到端（End-to-End）的事务实现的语
背景 蘑菇街旨在做一家高科技轻时尚的互联网公司，公司的核心宗旨就是购物与社区的相互结合，为更多消费者提供更有效的购物决策建议。 蘑菇街上每天有几百万网友在这里交流时尚、购物的话题，相互分享，这些行为会产生大量的数据，当这些数据源产生数据后，需要有一个组件获取数据源的数据，将数据写到 kafka，蘑菇街研发团队以往的解决办法，一是通过 Logstash、Filebeat 等开源的数据存储方案处理，二是自己写代码实现这种逻辑。 开始数据量小的时候还可以，随着业务的不断扩张，数据越来越大，为了保障可用性、可
深夜接到客户紧急电话，反馈腾讯云kafka中有大量消息堆积未及时消费。每分钟堆积近100w条数据。但是查看es监控，各项指标都远还没到性能瓶颈。后天公司就要搞电商促销活动，到时候数据量是现在的至少2倍。这让客户很是着急。那这究竟是怎么回事呢？该从何排查才能发现问题所在呢？下面我们一起还原“案发”现场。
微服务平台 TSF、消息队列 CKafka / TDMQ、微服务观测平台 TSW 等中间件产品的负责人
Greenplum作为数据仓库的计算引擎，其数据来源多是业务数据，其中以MySQL为主。那如何将数据从MySQL同步到Greenplum中？如果是离线同步，比如每小时，每天，可以参考前一篇文章 Greenplum数据导入系列 -- （一）DataX，那如果需要实时同步呢，最常见的就是解析MySQL的binlog然后写入到Greenplum中，本文就描述了一种实现方法。
本篇主要描述客户在使用腾讯云上云产品资源时，需从资源命名规范上，进行统一规范化设计。云上资源统一命名目的是：其一，云上资源命名规范化；其二，云上资源统一规范便于后续云上自动化，以增强整体云上运维能力，提升云平台整体运维透明度/资源辨识度，以及从资源管理、云上自动运维管理等维度提升云上管理的高效性。
A云Polardb-x 1.0现已全面升级为Polardb-x 2.0，但Polardb-X 1.0有其自有特色，仍然有很多企业在使用Polardb-X 1.0方案。那么，当这些企业想将业务系统迁移至腾讯云时，该如何进行数据库选型？怎么样进行数据同步？其中又会涉及到哪些问题呢？
Elasticsearch作为当前主流的全文检索引擎，除了强大的全文检索能力和高扩展性之外，对多种数据源的兼容能力也是其成功的秘诀之一。而Elasticsearch强大的数据源兼容能力，主要来源于其核心组件之一的Logstash, Logstash通过插件的形式实现了对多种数据源的输入和输出。Kafka是一种高吞吐量的分布式发布订阅消息系统，是一种常见的数据源，也是Logstash支持的众多输入输出源的其中一个。本文将从实践的角度，研究使用Logstash Kafka Input插件实现将Kafka中数据导入到Elasticsearch的过程。
Serverless 与消息队列生态结合 消息队列 MQ 是 Serverless 事件驱动场景下必要的解耦中间件也是云函数最重要的触发源之一。TDMQ 是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。其计算与存储分离的架构设计，使得它具备极好的云原生和 Serverless 特性，用户按量使用，无需关心底层资源。它拥有原生 Java 、 C++、Python、Go 等多种 API，同时支持 Kafka 协议以及 HTTP 协议方式接入，可为分布式应用系统提供
作者：吴云涛，腾讯 CSIG 高级工程师 导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。 一、解决方案描述 1.1 概述 本方案结合本地自建 Kafka 集群、腾讯云流计算 Oceanus（Flink)、云数据库 Redis 对博客、购物等网站 UV、PV 指标进行实时可视化分析。分析指标包含网站的独立访客数量（UV ）、产品的点击量（PV）、转化率（
作者：吴云涛，腾讯 CSIG 高级工程师 导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。 一 解决方案描述 1.1 概述 本方案结合本地自建 Kafka 集群、腾讯云流计算 Oceanus（Flink)、云数据库 Redis 对博客、购物等网站 UV、PV 指标进行实时可视化分析。分析指标包含网站的独立访客数量（UV ）、产品的点击量（PV）、转化率（
最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。
在《腾讯云数据库DTS发布全新数据集成方案：全增量无缝同步，快速构建实时数仓》一文中，我们介绍了如何使用DTS的「数据同步」服务，将MySQL数据同步到Ckafka并应用于大数据场景中。读者可能会产生疑问：DTS的「数据订阅」服务也提供了类似的功能，那么这两者有何区别，实际使用时应如何选择？为此，本文将为您详细介绍相关内容。
导语 | 最近梳理了一下如何用Flink来实现实时的UV、PV指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用Flink SQL来实现这些指标的统计会更加便捷。 一、解决方案描述 （一）概述 本方案结合本地自建Kafka集群、腾讯云流计算Oceanus（Flink)、云数据库Redis对博客、购物等网站UV、PV指标进行实时可视化分析。分析指标包含网站的独立访客数量（UV）、产品的点击量（PV）、转化率（转化率=成交次数/点击量）等。 相关概念介绍： UV（Unique
导语 熟悉Apache Kafka的同学都知道，当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时，新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量，节点负载等因素的影响，导致迁移时间较长，甚至出现迁移不动的情况。同时数据迁移也会增大当前节点的压力，可能导致集群进一步崩溃。本文将探讨应对需要紧急扩容的技术方案。 作者介绍 许文强 腾讯高级工程师 腾讯云CKafka研发负责人，Apache Kafka Contributor 拥有多年分布式系统研发经验，主要
CKafka荣获最高级认证 今天，由中国信通院和混沌工程实验室联合举办的混沌工程技术沙龙--金融行业精品专场在北京召开。本次技术沙龙上发布了金融级产品稳定性测评成果，在分布式系统稳定性评估体系的获奖名单中，腾讯云消息队列CKafka通过首批消息队列服务稳定性认证，荣获最高级别“先进级”认证，这项认证肯定了CKafka在数据安全性、系统稳定性上的产品能力和技术实力。 根据混沌测试报告显示，CKafka已通过单项故障注入测试（服务器宕机、服务发现故障、服务暂停、网络故障、CPU负载高、内存负载高）和综
在本实验中，我们将会使用腾讯云的消息队列CKafka、无服务器云函数SCF和对象存储COS，实现一个异常日志检测及记录系统。当业务系统中的应用功能程序生成日志后，会把日志信息通过消息实时传输到CKafka服务端。通过配置异常日志检测SCF的触发规则，一旦日志消息投递成功即可触发异常日志监测SCF的逻辑。异常日志监测SCF会监测接收到的日志消息是否含有异常关键字，然后把异常信息归档后投递到COS并发送邮件到指定的邮箱，从而实现无服务器函数发送邮件的目的。
腾讯云消息队列 CKafka，分布式、高吞吐量、高可扩展性的消息服务，100%兼容开源 Apache Kafka 0.9 0.10
引言 | Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址：http://github.com/apache/pulsar/ Apache Pulsar Meetup 深圳站 活动时间：2021年4月17日（本周六）13：30 ~ 18：00 活动地点：深圳市腾讯大
关注腾讯云大学，了解最新行业技术动态 戳【阅读原文】查看55个腾讯云产品全集 课程概述 消息队列 CKafka（Cloud Kafka）是一个分布式、高吞吐量、高可扩展性的消息系统，100%兼容开源 Kafka API（0.9、0.10版本）。CKafka 基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，无需彼此等待。CKafka 具有数据压缩、同时支持离线和实时数据处理等优点，适用于日志压缩收集、监控数据聚合等场景。 【课程目标】 了解腾讯云消息队列 CKafka 的特性 了解腾讯云消息队
随着《数据安全法》、《个人信息保护法》等相继出台，数据安全上升到国家安全层面和国家战略层面，数据分类分级已经成为了企业数据安全治理的必选题。然而数据分类分级的实现在行业内有很多痛点，主要体现在如下几点：
作者是腾讯 TDMQ 初创团队的成员，在多年的业务中台的实践中，也频繁地使用到了 MQ，比如最常见的消息推送，异常信息的重试等等，对消息队列有深刻的了解。此篇文章，作者会站在时间维度讲解这二十年每款 MQ 诞生的背景以及解决了何种问题，让你能够更加清晰地了解到 MQ 的底层逻辑，帮助你学习今后可能会出现的新架构。欢迎阅读~
导语 由infoQ主办的QCon 全球软件开发大会·广州站将于2023年5月26-27日正式开幕，本次盛会，腾讯云中间件高级开发工程师许文强将在《稳定性即生命线》专场为大家分享精彩议题，干货满满！ 稳定性即生命线 随着数字化、互联网、云计算等技术的快速发展和普及，各行业越来越以更信息化的形态服务大众，信息化系统已经越来越深入到我们生活的方方面面，在促进各行业发展的同时，也强化了我们对其的依赖程度。而我们除了要面对由于自然灾害、电力中断、网络故障等“黑天鹅”事件引起的系统容灾场景外，还会面临由于人为疏漏、系
目前随着技术架构不断演进，特别是微服务分布式技术兴起，很多大型网站逐步采用分布式的消息队列，用于面对流量高峰和异步处理，基于云上的消息队列逐步成为主流，接下来给大家一起介绍下腾讯云消息队列Ckafka及新推出的TDMQ相关产品特性、使用场景，以及系统对接，帮助大家更好做好技术选型。
导语：疫情期间，腾讯医疗为全国人民提供了及时精准的疫情信息服务。腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢 本文将从Kafka集群底层物理机层面硬盘的设计方案，来讲解面对不同的业务需求场景，如何选择好合适的磁盘方案。（编辑：中间件小Q妹）
最近几年，互联网公司发展迅速，有很多互联网公司本身的基础架构都构建在一些公有云厂商之上，除了节省初期投资之外，另外也是借助于一些大的云厂商本身的网络能力，实现业务更好的覆盖。
本文介绍了大数据计算引擎在数据平台中的重要性，重点讲解了Hadoop、Spark、Flink和ClickHouse这四种引擎的特点和适用场景。通过对比分析，总结了各引擎在性能、易用性、功能丰富度、适用业务场景等方面的差异。同时，分享了在金融、互联网、运营商、公共服务等行业中，各引擎在实时分析、离线批处理、海量数据存储等方面的实践案例。此外，还探讨了各引擎在数据开发、数据治理、数据服务等方面的挑战和机遇。
关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址：http://github.com/apache/pulsar/ Apache Pulsar Meetup 深圳站 活动时间：2021年4月17日（本周六）13：30 ~ 18：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
