在海量数据的背景下，数据的写入、存储、分析、搜索都会遇到不小的挑战(存储成本大，写入查询慢等)，Elasticsearch技术栈一直是日志、安全、搜索的首选。随着数据规模的海量增长，降本增效的诉求也越来越高。本次分享将解析腾讯云全新技术栈下的系统架构，基于腾讯云ES自研存算分离、读写分离、查询/IO并行化等一套完整的降本增效解决方案。主要内容包括：
马上十一、中秋双节，很多客户开始做节日活动，基本都有一个共性需求：活动期间，流量预计翻N备，由此引发了一轮MySQL的容量治理与保障。
刚刚，联合国在纽约总部正式宣布：腾讯公司成为联合国全球合作伙伴，为联合国成立75周年提供全面技术方案。在联合国成立75周年的对话系列活动中，腾讯会议将为联合国提供在线会议和沟通交流平台，面向全球公民灵活组织不同规模的在线会议。而腾讯云Redis和TDSQL为腾讯会议提供了底层数据库支持。
前段时间，测试了国内主要云原生数据库PolarDB、TDSQL-C、GaussDB的性能，参考：《再测云原生数据库性能》。在上次测试结果中，由于地域版本差异，腾讯云的TDSQL-C并没有表现出“重磅升级”的效果，现在两个月过去了，我们再来重测TDSQL-C。先说结论：
疫情期间，大部分企业开始尝试线上办公，学校也进行直播授课。2月，腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议，满足用户需求。
疫情期间，大部分企业开始尝试线上办公，学校也进行直播授课。2月，腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议，满足用户需求。 随着业务的几何级增长，为腾讯会议提供了解决方案的云数据库产品需要应对快速增长的存储容量和性能需求，让用户无感知的同时做到快速无损在线扩容，提供稳定可靠的服务。也要求运维人员时刻关注系统健康情况，快速应对各种系统问题，既能实现对业务的精细化运营，也能满足对大量数据库运维需求的快速支持。 如此“高标准严要求”的任务是在腾讯云Redis和自研国产金融级分布式数据库TDSQL配
2021年7月22日，腾讯云数据库正式发布数据库代理（又名proxy）服务，支持MySQL 5.7 版本和8.0 版本，可为用户提供透明且安全的网络代理服务，实现自动读写分离，降低业务使用数据库的复杂度，完美解决了数据库故障切换的网络瞬断问题，网络中断时间降低至0，MySQL数据库的故障转移时间最多可减少 60%，使得应用程序抵抗数据库故障风险的能力大幅提升。这标志着腾讯云数据库MySQL完成了企业级中间件的孵化，在可用性、稳定性和扩展性方面均有了突破性提升，能够更好地为用户提供企业级服务。 数据库代理是
本文提供视频讲解，详细见地址：https://www.bilibili.com/video/BV1MK411J7RV
“产品使用攻略”、“上云技术实践” 有奖征集啦～ be4048ad-32fc-4171-b332-5a60de7bc418.png 案例名称 案例简介 云数据库 MySQL两地三中心灾备建设 通过使用跨可用区部署实例和异地搭建灾备实例实现两地三中心的架构建设 读写分离扩展云数据库 MySQL 性能 通过代理集群中转访问数据库的主从节点，进行读写分离，降低主库的负载。 云数据库 TDSQL-C MySQL 版多可用区容灾 TDSQL-C MySQL 版引擎支持创建多可用区的集群，为数据库实例提供高可
评估增加的业务请求是否符合预期，如果是预期内正常的请求增加，那么建议通过集群水平扩展来增加CPU处理能力。
2022年6月，腾讯云Redis全新升级，发布高性能版本，单节点可提供50W+吞吐，性能是原生Redis的4倍。同时，腾讯云Redis推出全球复制功能，解决原生Redis诸多痛点问题，可用性升级高达99.999%，助力企业实现降本增效。 Redis作为全球最受欢迎的NoSQL数据库之一，凭借着极高的吞吐、极低的响应延迟和丰富的功能特性，成为企业在缓存场景中的首选方案。但在突发、热点访问及异地多活场景下，原生Redis方案会出现主从复制延迟、数据同步不连续、多地写入等问题，无法解决海量数据在规模、成本、数据
近年来，随着互联网行业的高速发展，关系型数据库也面临着前所未有的挑战。云原生数据库成为解决这些挑战的重要方案之一。腾讯云推出的 TDSQL-C Serverless 版正是云原生数据库领域的佼佼者之一。
IM应用从服务端数据的角度来看，它是一种很特殊的应用场景，抛开基础数据、增值业务和附属功能不谈，单从IM聊天工具的立身之本——聊天数据来说，理论上是不需要在服务端存储的（或者说只需要短暂存储——比如离线消息，上线即拉走），这也是为什么微信在前段时间号称绝不存储用户聊天数据的原因（从技术上说这不是没有道理的，但到底有没有存储，这已经超越技术范畴了，不在此文讨论之列 ^_^）。
文章旨在通过对 MongoDB 监控指标的梳理和架构的分解，帮助广大的腾讯云 MongoDB 用户更好的通过监控告警及时发现业务异常，实时监控数据趋势。内容将会包括三个部分：
Elasticsearch技术栈一直是日志、安全、搜索场景的开源首选方案。随着数据规模的海量增长，数据的写入、存储、分析、搜索、排序等场景都会遇到非常大的挑战(存储成本大、写入查询慢等)，同时客户降本增效的诉求也越来越高。本文主要解析基于腾讯云ES构建低成本、高性能、高可用日志平台所利用的核心架构和技术。基于腾讯云ES自研存算分离、读写分离、查询/IO并行化、查询裁剪等一套完整的降本增效解决方案。本文将围绕以下几个关键自研技术点进行深入分析：
视频地址: https://www.bilibili.com/video/BV1zy4y1m7ZS/
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，数据持久化依赖 Apache BookKeeper 实现，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文将从以下几个方面为大家介绍 Apache Pulsar的设计原理和特性。 1、Apache Pulsar 架构 2、架构设计的优势 3、Pulsar 特性 4、总结 Apache Pulsar 架构 存储计算分离 Apache Pulsar 是 Pub/Sub 模型的消息系统，并且从设计上做了存储和
RD：单库数据量太大，数据库扛不住了，我要申请一个数据库从库，读写分离。 DBA：数据量多少？ RD：5000w左右。 DBA：读写吞吐量呢？ RD：读QPS约200，写QPS约30左右。 上周在公司
云原生数据库凭借高效、灵活、可扩展的数据服务，成为企业数据治理的得力“帮手”。出于业务稳定性和降本增效的考虑，越来越多的企业开始使用云厂商提供的云原生数据库来替换已有的自建数据库。但是，切换数据库的过程不亚于一次上云迁移的工作量，涉及到业务侧的调整和数据的迁移等工作，同时存在割接失败的风险。
TDMQ 是腾讯云基于 Apache Pulsar 开源项目开发的消息队列产品，主打金融等行业应用，适用于对消息通讯要求高可靠、强一致的场景。TDMQ 在保障高可靠性的同时，还能保障消息读写的高吞吐量，而且提供丰富的消息类型，确保不同的业务场景都能有效覆盖。
额，数据库读写分离虽然不难，但并不是所有的“数据库扛不住”的场景，都应该用读写分离。今天花1分钟简单介绍下这个场景。
简介 云数据库 Redis（TencentDB for Redis）是由腾讯云提供的兼容 Redis 协议的缓存数据库，具备高可用、高可靠、高弹性等特征。云数据库 Redis 服务兼容 Redis 2.8、Redis 4.0、Redis 5.0 版本协议，提供标准和集群两大架构版本。最大支持 4TB 的存储容量，千万级的并发请求，可满足业务在缓存、存储、计算等不同场景中的需求。 云数据库 Redis 的优势： 主从热备：提供主从热备，宕机自动监测，自动容灾。 数据备份：标准和集群架构数据持久化存储，可提供
腾讯云MongoDB数据库，稳定、弹性、安全、高性能的文档型数据库，兼容 DynamoDB 协议，满足您多样的业务需求
“到2023年，世界上3/4的数据库都会跑在云上。重复造轮子的企业不会走得太远，腾讯愿意做让企业站在自己肩膀上的巨人”
达达创立于2014年5月，业务覆盖全国37个城市，拥有130万注册众包配送员，日均配送百万单，是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Uber很相似，以众包的方式利用社会闲散人力资源，解决O2O最后三公里即时性配送难题（2016年4月，达达已经与京东到家合并）。
在数据库中数据极速增长的情况下，数据库的瓶颈不在于存储，而是计算，即查询。数据量越大，查询的效率越低，对于越复杂的查询语句，其消耗服务器的资源越强，有时甚至不输于死循环。
导语 TDSQL-C 原(CynosDB)是腾讯云数据库团队自研的新一代云原生数据库，融合了传统数据库、云计算与新硬件技术的优势，采用计算和存储分离的架构，100%兼容 PostgreSQL，提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。 本文旨在从数据库内核的角度揭秘TDSQL-C PostgreSQL的核心架构与关键技术。本文适合读者：腾讯云售后服务、TDSQL-C用户、TDSQL-C开发者，需要有基本的数据库与存储知识。 TDSQL-C 概述 TDSQL-C采用计算和存储分离的架构
某医疗企业线上APP采用MYSQL数据库，该库只设置了一个RO实例，并没有设置RO组多实例，客户的信息调度全部依赖此库。在某次RO实例发生事务性故障的时没有其他实例可用，导致客户业务APP无法正常使用。当时只能通过腾讯云后台把VIP切换到备库紧急恢复业务，在RO单点实例恢复服务后，再切回到RO的IP, 切换过程会造成闪断。整个故障处理过程持续了23分钟，对客户影响比较大。
腾讯云MySQL数据库架构分为双节点、三节点和单节点，顾名思义单节点就是只有一个节点，而双节点包含主节点和备节点，三节点包含主节点、备节点1和备节点2，单节点MySQL数据库性价比高，但是可靠性较低。腾讯云百科来详细说下腾讯云数据库MySQL架构区别及选择攻略：
华为云存储容灾服务(简称SDRS)提供了虚拟机级别的容灾保护，当主站点故障的时候，虚拟机可以在备站点迅速恢复，以确保业务的联系性
本人是一个测试工程师，主要负责接口以及性能方便的压测，目前在一家医疗数据公司任职，既然是做医疗数据，所以主要公司的主要业务就做是医疗软件。
TDSQL是腾讯提供的一套完整的MySQL数据库集群化管理解决方案，作为私有云TStack平台重要的数据库产品能力，旨在解决高可用、高性能、分布式、配套设施等方面问题。 TDSQL除了在腾讯内部有大量的使用场景，在外部市场中也有诸多应用场景；2014年被WeBank选中，作为其核心交易系统的数据库解决方案，以私有云方式交付；2015年，在腾讯云上正式推出。目前已经为500+机构提供数据库的公有云及专有云服务，客户覆盖计费、第三方支付、银行、保险、互联网金融、物联网、互联网+、政务等领域。 TDSQL私有云版
在数字化时代，作为基础软件，数据库的自主可控对于企业的数据安全、业务稳定具有重要意义。只有实现“自主可控”才能从根本上保证信息安全，尤其是涉及重大安全的政府和金融领域，对数据安全的要求进一步加强。因此，在互联网安全上升至国家战略层面的背景下，如何在底层基础数据库层面实现自主可控成为云计算厂商不断追求的目标。
如果数据多到一定程度，就需要分库分表来存储数据了，这个一定程度的判断也比较难，总体而言，
TDSQL-C采用计算和存储分离的架构，所有计算节点共享一份数据，存储容量高达128TB，单库最高可扩展至16节点，提供秒级的配置升降级、秒级的故障恢复和数据备份容灾服务。TDSQL-C既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。TDSQL-C不仅在性能、扩展性和高可用方面有大幅提升，计算存储的解耦使得计算层和存储层都获得了很大的独立优化空间，本文下面将介绍TDSQL-C架构的实现，以及在新架构上的关键技术优势。
Redis 不管主从版还是集群规格，replica作为备库不对外提供服务，只有在发生HA的时候，replica提升为master后才承担读写流量。这种架构读写请求都在master上完成，一致性较高，但性能受到master数量的限制。经常有用户数据较少，但因为流量或者并发太高而不得不升级到更大的集群规格。
文章出处： 鹅厂架构师 2021年6月26日，腾讯云【TECHO】HUB技术巡回长沙站顺利开展，聚焦于数字媒体行业的云端实践。会上，腾讯云数据库高级工程师窦贤明重点分享了《腾讯云云原生数据库TDSQL-C——云上应用研发方式的改变》。由此，我们一起来看传统主备方式数据库与云原生数据库的对比演进。 （传统的读写分离） 传统数据库主备方式： 存储各自独立 主备间通过数据流复制保证数据一致，主库故障则切换到备库 可用性与可靠性无法兼顾 （云原生数据库计算存储分离） 腾讯自研云原生数据库 TDSQL
点击上方蓝字关注每天学习数据库 作为“互联网+”和“智能+”的主要技术供应商，腾讯提出了“云化”已经成为重要的创新模式，各行各业都将进入“互联网+”的下一站——“智能+”阶段。在此过程中，腾讯云将充分发挥“连接器”的作用，用“智能”连接各行各业。 3月12日，腾讯云全新发布自主可控金融业务支撑平台，该平台融合了可支撑数百万虚机的专有云平台TCE、服务过380亿账户的分布式数据库TDSQL，以及在腾讯海量业务场景淬炼出来的微服务平台TSF、大数据及人工智能平台TBDS&Ti等在内的优势能力，帮助金融机构打
7月28日，由中国信息通信研究院、中国通信标准化协会联合主办的“2021可信云大会”上，腾讯云原生数据库TDSQL-C 凭借100%兼容 MySQL 和 PostgreSQL、实现超百万级QPS的高吞吐、128TB海量分布式智能存储、保障数据安全可靠等优势，在云原生数据库领域斩获2020-2021年度可信云技术最佳实践案例奖。 该奖项由中国信息通信研究院、中国通信标准化协会联合颁发，对申报单位提交的产品技术创新、技术的性能应用及云产品的解决方案等进行全面考核，包括技术专业性、技术能力和服务水平等多维度指标
我们的项目采用了读写分离的方案：查询和更新的业务走主库，统计相关的功能走从库，从而减少主库的压力。原理如下图所示：
腾讯云新版本监控（5秒粒度）已经灰度3个多月了，原有的分钟级粒度的监控版本仍然会继续保留一段时间，有条件的企业和开发者推荐升级至5秒监控，后续官方应该会提供合适的升级方案。
博主之前写过使用apollo的配置动态推送能力来动态修改线上环境的日志输出级别，具体可见《spring boot动态调整线上日志级别》，今天来实现一个类似的应用场景，动态变更线上数据源。主要应用场景如：测试时不重启服务切换数据源，准生产无缝切换生产环境，应用端读写分离策略动态化等等，更多的使用场景欢迎在留言区补充。
安全日志记录着企业服务器、云基础设施、应用程序等的全部执行过程，对日志数据进行追溯分析，可以准确清晰地了解企业 IT 设施状况、排查安全隐患、检索故障源头等。
PS：Alatas: 1.程序不需要管主从配置的具体细节 2.实现原理是 proxy，所以性能上会下降 3.而且需要维护其高可用 4.减少了程序员技能要求 5.只支持 mysql Sharding-jdbc： 1.主从配置在程序中，所以增加了程序员的技术要求 2.实现原理是 jdbc 增强，所以支持任何数据库类型 性能比上面那个强 3.而且不需要维护。 4.Mysql、 Oracle、 sql server
数据库是企业核心业务运行的重要组成部分，数据是企业的生命线，如果数据库出现宕机、数据丢失或不可用等问题，将会对企业的生产、营销和决策产生难以预估的影响，因此，一套高可用的数据库架构对于企业来说至关重要，可以最大化保证业务稳定性和数据可靠性。腾讯云MySQL推出全场景高可用性架构（All-Scenario High Availability Architecture，AS-HAA），用户可根据实际业务需求、业务类型自行配置。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
