参考博客1给出了一种所谓的平滑帅气的秒级扩容的架构方案，但我个人却认为，这个看似没有什么问题的方案在实际中几乎没什么用处，业界也几乎不会用这种方案来进行扩容（分库分表）。为了便于说明这一点，本文先简单回顾下该方案，然后分析该方案为什么没有用，最后给出三种业界广泛使用的分库分表的平滑扩容方案。
京东容器数据库系统，管理1800台物理计算节点，生产1W+ 多MySQL Docker容器实例。架构简单可靠，Docker容器计算平台与MySQL集群管理平台解耦处理。为描述方便，京东容器化数据库系统命名为CDS，底层京东Docker容器计算平台命名为JDOS。 本文重点介绍JDOS如何支持CDS。CDS是更大的话题，后续数据库团队会分享相关实践。 介绍 CDS依赖京东坚实的JDOS技术，生产运行1W+个MySQL容器实例。CDS借助JDOS技术优势获得主要3个方面的技术收益： CDS借助Docker容器
之前做过一个项目，数据库存储采用的是mysql。当时面临着业务指数级的增长，存储容量不足。当时采用的措施是
MySQL分布式架构的扩缩容是一个很有意思的话题。严格的说，我们所说的这种架构方案是一种伪分布式架构，我们就做下统称。重点是扩缩容的思路上。
众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。
众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。
作者：王克锋 出处：https://kefeng.wang/2018/07/22/mysql-sharding/ 众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。 1 分库分表概述 在业务量不大时，单库单表即可支撑。当数据量过大存储不下、或者并发量过大负荷不起时，就要考虑分库分表。 1.1 分库分表相关术语 读写分离: 不同的数据库，同步相同
Serverless 数据库作为近几年云原生数据库领域的重要发展方向，自 2018 年 AWS 率先推出 Aurora Serverless MySQL 服务，打响 Serverless 数据库之战的第一枪以来，各大云平台厂商一直在该领域不断深耕探索。9 月 7 日，在 2023 腾讯全球数字生态大会云原生数据库技术演进与实践专场上，腾讯云数据库团队重磅发布了云原生数据库 TDSQL- C Serverless 2.0 版本。在这场分享中，腾讯云数据库产品经理陈昊老师介绍了腾讯云 TDSQL-C Serverless 独有的弹性伸缩方案，本文就以此为引，深度探索一下 TDSQL-C Serverless 的纵向弹性伸缩策略及稳定性。
Mycat是什么 Mycat - 数据库分库分表中间件，国内最活跃的、性能最好的开源数据库中间件！ 一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品 Mycat关键特性 支持SQL92标准 支持MySQL、Orac
首先数据库技术发展的基础还是在业务推动的背景下，能够实现相关的技术保障。业务需求的提升必然会在数据量，访问量等方面有更高的要求，而映射到数据库层面就不是简单的扩容和添加资源了，我们有时候更需要弹性，需要快速实现，需要更高的性能。这些都是摆在我们面前的问题，而不仅仅是DBA团队。 所以早期的很多数据库，从一主一从，一主多从的架构，逐步演变到了读写分离，分库分表，然后就是分布式。而同时从很多层面来说，行业内的方案真是百花齐放，记得前几天还和同事聊，说如果对比一下Oracle和MySQL,
近几年由于各个行业的数据体量都在飞速增长，伴随着云计算产业的快速发展，上云，已经成为了众多企业优化运维手段、突破数据存储瓶颈的关键选择。目前绝大多数企业都正在进行或已实现整体业务的迁移上云。
仅从设计优化、服务拆分、自动扩容等方面进行优化，有时候并不能完全解决问题。比如，有时流量增长过快，扩容流程还来不及完成，服务器可能就已经抗不住了
本文介绍了东吴证券旗下东吴秀财 APP 在数据库转型中选择 TiDB 的思考与实践。 原有架构使用 MySQL 分库分表和 MongoDB，但面临着架构复杂、业务扩展性不足、性能问题、开发和运维负担重等挑战。为了有效应对这些问题， 东 吴证券选择 将 MySQL 分库分表和 MongoDB 替换为 TiDB。这一举措极大简化了架构，实现了兼容 MySQL 生态、性能飞跃、金融数据强一致性的 HTAP 以及便捷运维等优势，提升了业务效率和管理效能。 未来，东吴证券计划进一步利用 TiDB 的特性，解决存量 MySQL 实例管理成本高的问题，提升资源利用率和运维效率。
携程是一家中国领先的在线票务服务公司，从 1999 年创立至今，数据库系统历经三次替换。在移动互联网时代，面对云计算卷积而来的海量数据，携程通过新的数据库方案实现存储成本降低 85% 左右，性能提升数倍。本文讲述携程在历史库场景下，如何解决水平扩容、存储成本、导入性能等痛点，以及对于解决方案的制定和思考过程。
首先数据库是一个软件，最基础的功能就是数据存储和数据查询。对于数据的处理方式如果通泛来说是分为读和写，所以分布式方案的很多场景其实也是围绕着这两个维度来做的。
AnalyticDB，是阿里云推出的一款数据库产品，主打海量实时数据分析领域。说其是另类“MySQL”，是因为其兼容MySQL生态，可以像MySQL一样去使用，非常简洁方便。不久前，其还推出单机版规格，颇为惊艳，可以说把大数据的门槛大大降低了。正如上图所表现的，"大数据"这头大象也可以敏捷奔跑起来。假期无事，特针对AnalyticDB新推出的单机版与MySQL，在规模数据下的查询表现做了个对比分析。
这类问题引起了我的兴趣和好奇心，经过和业务方沟通了解，这个业务是记录回执数据的，简单来说就好比你发送了一条微博，想看看有多少人已读，有多少人留言等。所以这类场景不存在事务，会有数据的密集型写入，会有明确的统计需求。
数据库很容易成为系统性能的一个瓶颈，单机存储容量、IO、CPU处理能力都有限，当单表的数据量达到1000W或100G以后，库表的增删改查操作面临着性能大幅下降的问题。存储容量现在一般容易解决，主要是IO瓶颈和CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。从业务方来看，就是数据库可用连接少，甚至无连接可用。
视频地址: https://www.bilibili.com/video/BV1zy4y1m7ZS/
在前面，我们提到了 Redis 集群方案 Redis Cluster，今天我们来聊聊 Redis 另外一种比较受欢迎的集群方案：Codis。
为了增加db的并发能力，常见的方案就是对数据进行sharding，也就是常说的分库分表，这个需要在初期对数据规划有一个预期，从而预先分配出足够的库来处理。
来自年初和最近朋友的大厂面试题。 阿里巴巴 对象如何进行深拷贝，除了clone happen-before原则 jvm调优的实践 单例对象会被jvm的gc时回收吗 redis如果list较大，怎么优化 tcp的沾包与半包 socket编程相关的一些api和用法 建立和处理连接的是同一个socket吗，socket中两个队列分别是啥 项目中有使用过netty吗 TSL1.3新特性 AES算法原理 redis集群的使用 mysql与mogo对比 场景题：设计一个im系统包括群聊单聊 场景题：设计数据库连接池 场
RDS 并不是新生事物，新鲜的是通过容器技术和容器编排技术构建 RDS。对金融客户而言，他们有强烈拥抱 Docker 和 Kubernetes 的愿望，但可用性是尝试新技术的前提。存储是持久化应用的关键资源，它并不性感，却是 Monolithic 应用走向 Cloud-Native 架构的关键。Kubernetes 存储子系统已经非常强大，但是还欠缺一些基础功能，譬如支持 Expand Volume（部分 Storage Vendor 支持）和 SnapShot。本文尝试从我们的实现分享如下几个内容：
前篇： 《假如让你来设计数据库中间件》 《数据库中间件TDDL调研笔记》 《数据库中间件cobar调研笔记》 《数据库中间件mysql-proxy调研笔记》 13年底负责数据库中间件设计时的调研笔记，拿出来和大家分享，轻拍。 一、Atlas是什么 奇虎360的一个mysql数据库中间层项目 在mysql官方推出的mysql-proxy0.8.2的基础上改的 基于服务端的中间件 画外音：数据库中间件有基于服务端的，也有基于客户端的，TDDL属于后者；而cobar和Atlas是一个中间层服务，属于前者。 二
一、缘起 （1）并发量大，流量大的互联网架构，一般来说，数据库上层都有一个服务层，服务层记录了“业务库名”与“数据库实例”的映射关系，通过数据库连接池向数据库路由sql语句以执行： 如上图：服务层配置
云原生大潮风起云涌，企业不再停留在理念层面，目前已在多方面落地。消息队列作为关键技术基础设施之一，也在云原生时代面临着挑战和机会。本文从传统消息队列上云所面临的三大挑战说起，并以 Apache Pulsar 为技术案例，深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。 PART ONE 背景介绍 如今，云原生的概念已经渗透到了软件开发的方方面面。云原生不再只是未来的设想，而是一个现在进行时。开发人员在开发设计之初就需要考虑未来如何在云原生环境上部署、运行服务，即如何“上云”。
数据库是我们开发应用不可或缺的底层基座，它负责存储和管理应用程序所需的数据。随着技术的不断进步，出现了各种新的数据库模式和解决方案，其中包括备受瞩目的 Serverless 模式。
本文整理了阿里13个开源中件间产品的架构及功能介绍，结合阿里中间件团队的访谈及分享，涵盖了消息中间件、服务框架、数据层、应用服务器和大规模分布式稳定性平台等等。整体中间件在阿里生态中的分布，如下图所示：
QQ空间陪伴大家走过了将近12年的时光。时至今日，QQ相册已经存储了超过2万亿张图片，对比业界，可以说是当之无愧的中国第一大相册，也是世界上规模最大的图片类产品之一。本文从存储架构、容灾、加速等多方面对相册的架构进行了阐述。 QQ空间（QZone），陪伴大家走过了将近12年的时光。其中的QQ相册，也和大家一路走来，记录下了很多中国人的成长瞬间。 时至今日，QQ相册已经存储了超过2万亿张图片，物理存储量300PB。平均日增3亿张图片，日用户浏览数达500亿次。对比业界，可以说是当之无愧的中国第一大相册，也
数据库上层都有一个微服务，服务层记录“业务库”与“数据库实例配置”的映射关系，通过数据库连接池向数据库路由sql语句。
凤凰网（纽交所上市公司，代码：FENG) 是全球领先的跨平台网络新媒体公司，整合旗下综合门户凤凰网、手机凤凰网和凤凰视频三大平台，秉承"中华情怀，全球视野，兼容开放，进步力量"的媒体理念， 为主流华人提供互联网、无线通信、电视网的三网融合无缝衔接的新媒体优质内容与服务。
618大促来临，在零点的时候，你打开购物车、点点点、清空，整个过程一气呵成。但背后，成千上万的数据在马不停蹄、加速流转，以保障消费体验流畅有序。 腾讯云和数据库服务是背后默默守护的“无名英雄”。电商订单、支付、物流等核心链路，都是以数据库为基础。一旦数据库成为瓶颈、或任何细微的疏忽，整个618大促将会变成一个大型“灾难现场”。 一场电商大促，涉及到的数据量有多大？ 以一个消费者的购买过程为例，一次下单行为，对于后端数据库就有多次读写调用；如果是秒杀场景就会产生“热点更新”的问题，更是对数据库内核优化能力
系统往往存在不可确定性，因为你无法从当前稳定的状态来判断或者认定系统未来也是稳定的。世界是复杂的，系统具有不可稳定性的状态。这样的案例比比皆是，如某云计算服务厂商大规模瘫痪等等案例。对质量交付团队而言，最大的挑战应该是如何可以让系统持续地具有可稳定的状态。虽然系统具有不可预知性和随机性，现实的情况往往是底层服务出现不稳定性导致上层应用不可以正常地使用，此时往往或者是大多数时候认为是测试没有测试到位导致产生的问题。如假设底层支付的服务出现资源瓶颈，最终导致正常的支付流程出现问题，某些管理者会很偏见的认为质量交付团队没有把某些支付测试场景验证到位而导致的问题。
为帮助开发者更好地了解和学习分布式数据库技术，2020年3月，腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密，都在这！》，邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。本文将带来直播回顾第三篇《亿级流量场景下的平滑扩容：TDSQL的水平扩容方案实践》。
今天对接完成了SQL自动化上线的一个功能，其实心里还是有点小激动，终于可以很肯定说，数据库方向开始提供的是数据服务，而不是传统意义的工单了。
受疫情影响，多数企业员工目前无法回到写字楼办公，学生推迟开学，稳定高效的进行远程办公和直播授课成为2020年的开年刚需。2月，腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议，央视新闻联播对此也给予了报道。 出生不久的腾讯会议瞬间成为了一款国民会议软件，海量用户呈几何级爆发涌入，1月29日开始到2月6日，腾讯会议每天都在进行资源扩容，日均扩容云主机接近1.5万台，8天总共扩容超过10万台云主机，共涉及超百万核的计算资源投入，2月10日，腾讯会议后台服务器请求数增长了5倍。 那么腾讯会议是如何做到
谈到分库分表中间件时，我们自然而然的会想到 ShardingSphere-JDBC 。
随着 DT 时代的来临，数据对于企业经营决策的价值日益凸显，而企业在进行互联网+转型的过程中，如何让数据架构平滑迁移到大数据平台，对于传统业务的转型升级至关重要。企业 IT 部门该如何进行 PB 级别大数据平台的迁移规划呢，请看云智慧运维总监张克琛带来的经验分享。 提到 PB 级别的大数据解决方案市面上有很多，比较火的有 Hadoop、Spark、Kafka 等等，如果是一个新上线的系统，相信大家都能找到适合自己的方案。但“大数据”在 09 年才逐渐成为互联网信息技术的流行词汇，一个较老的系统如何平滑迁移到
数据库是企业核心业务运行的重要组成部分，数据是企业的生命线，如果数据库出现宕机、数据丢失或不可用等问题，将会对企业的生产、营销和决策产生难以预估的影响，因此，一套高可用的数据库架构对于企业来说至关重要，可以最大化保证业务稳定性和数据可靠性。腾讯云MySQL推出全场景高可用性架构（All-Scenario High Availability Architecture，AS-HAA），用户可根据实际业务需求、业务类型自行配置。
7月20日，腾讯云数据库SQL Server基础版（单机版）正式上线。云数据库SQL Server 基础版提供了正版授权、高可用、高安全、高性能及轻运维的全套数据库解决方案，且兼具超高性价比。腾讯云SQL Server基础版是业内首个支持云上sysadmin权限的云数据库，真正做到自建数据库用户的数据、服务和业务访问都能完全平滑上云，在为用户提供正版企业级服务的同时，价格仅为自建数据库的二十分之一。 相对于云数据库灵活扩容、简易部署、安全可靠等特点，企业通过购买云服务器或IDC自建服务器搭建数据库不仅成
在 RocketMQ 集群的实践中，对集群扩容、缩容、节点下线等运维做到平滑、业务无感知、数据无丢失，这个对于集群运维的同学来说非常重要。
在项目初期，我们部署了三个数据库A、B、C，此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配，我们在Service服务层使用uid%3进行取模分片，从而将数据平均分配到三个数据库中。
从1月29日起，为了应对疫情下远程办公的需求，腾讯会议每天都在进行资源扩容，日均扩容云主机接近1.5万台，8天总共扩容超过10万台云主机，共涉及超百万核的计算资源投入。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
