昨天我们分享了怎么不停机进行分库分表数据迁移（数据库分库分表后，我们生产环境怎么实现不停机数据迁移）后来有好多朋友问我，说他们的系统虽然也到了差不多分表的地步了，但是，不知道具体拆分多少张表，分多了又怕浪费公司资源，分少了又怕后面怎么去扩容，还有另一些朋友说，所在的公司规模还不大，尚在发展中，公司压根就没这么资源给他们这么去拆分。
前文我们介绍了通过 Longhorn UI 可以对卷进行快照、备份恢复等功能，此外我们还可以通过 Kubernetes 来实现对卷的管理，比如可以在集群上通过 CSI 来实现快照、备份恢复、克隆、扩容等功能支持。
7月中旬，腾讯云7*24h售后支持群收到来自X-Girl（化名）客户的消息，客户直呼咱家数据库帮大忙了，想要亲自感谢腾讯云MySQL团队。
读写分离与分库分表，分布式事务 MySql存储引擎，建表规范，事务级别，sql优化，读写分离思想等。 了解过读写分离吗？ 你说读的时候读从库，现在假设有一张表User做了读写分离，然后有个线程在一个事务范围内对User表先做了写的处理，然后又做了读的处理，这时候数据还没同步到从库，怎么保证读的时候能读到最新的数据呢？ 你如何保证系统的稳定性？ 答：分布式的链路一般都很长，所以我们首先通过全链路压测，分析整个链路，到底是哪个节点出现瓶颈。如果是数据层出现瓶颈，那么可以考虑加缓存，读写分离等降低数据库压力，如
nfs-client-provisioner 可动态为kubernetes提供pv卷，是Kubernetes的简易NFS的外部provisioner，本身不提供NFS，需要现有的NFS服务器提供存储。持久卷目录的命名规则为: {namespace}-{pvcName}-
面试官：如何来设计动态扩容的分库分表方案？ 面试官心理剖析： 这个问题主要是看看你们公司设计的分库分表设计方案怎么样的？你知不知道动态扩容的方案？
【导语】 微博拥有超过3.76亿月活用户，是当前社会热点事件传播的主要平台。而热点事件往往具有不可预测性和突发性，较短时间内可能带来流量的翻倍增长，甚至更大。如何快速应对突发流量的冲击，确保线上服务的稳定性，对于提供全微博数据托管的服务部门数据库团队来说既是机遇又是挑战。本文尝试从一线DBA的视角管窥微博热点事件背后的数据库运维应对之道。 背景&挑战 背景 正是图1这条微博动态，让一个平常的国庆假期变得不同寻常，微博刚一发出就引爆网络，它将明星CP动态推向了舆论的高潮，并霸占微博热搜榜好几天，也正是因为这
源码系列 手写spring mvc框架 基于Spring JDBC手写ORM框架 实现自己的MyBatis Spring AOP实战之源码分析 Spring IOC高级特性应用分析 ORM框架底层实现原理剖析 手写Spring MVC框架实现 手把手分析Mybatis源码实现 高手进阶之手写Mybatis框架 高可用/分布式/高性能 实践一个高并发转盘抽奖 构建无切入性业务系统监控平台 Netty+websocket实现及时同通信 写一个数据库动态扩容方案以及MyCat实践 SOA架构及微服务架构的原理
本项目包含一个可构建的Nacos Docker Image,旨在利用StatefulSets在Kubernetes上部署Nacos
其实收到jd的面试邀请的时候，我真心有点小激动。因为在地理位置上，jd应该是最合适我也是最想去的。但是我在看到方向的时候其实心里有很多的问题，也做好了被拒的准备。
每年一次的双十一大促临近，因此上周末公司组织了一次技术交流闭门会，邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛，一起探讨了一些大促稳定性保障相关的技术话题。
今天我就给大家讲一下我们这边做的数据库运维的自动化平台，他是怎么样子的。首先我会给大家简单介绍一下我们做平台的背景，以及平台的一些技术架构，以及针对我们DBA和开发的需求的全套解决方案。 首先是背景，我们为什么要做RDS，在做RDS之前其实我们也有一套自己的自动化系统，可是我们有了这套自动化系统我们发现有了之后我们DBA还是很忙，每天忙于工单处理，大表DDL，集群搭建，扩容，数据迁移等等。这些东西不能说没有价值，但是对于DBA来说，每一次的重复操作，都会让这个价值指数级下降，并且不能带来成长。所以我们对这些
1、hashMap的2倍扩容机制为什么是2倍 2、在java8和java7中，hashMap的hash函数有什么不同 3、100个数字排序怎么做？100万个数字排序怎么做？ 4、设计模式你了解哪些？说一说 5、valitile关键字你知道吗？ 6、synchrolzie关键字和Lock的区别你知道吗？为什么Lock的性能好一些？ 7、线程池的几种实现你知道吗？ 8、ArrayList和LinkedList你知道吗？你知道它怎么动态扩容的吗？ 9、数据库的事务你知道吗？acid特性； 10、Mysql中事务的
这个你必须面对的事，就是当你已经弄好分库分表方案，测试也通过了，数据能均匀分布到各个库和表里去，而且接着你还通过双写方案上了系统，已经直接基于分库分表方案在搞了。
数据库是企业核心业务运行的重要组成部分，数据是企业的生命线，如果数据库出现宕机、数据丢失或不可用等问题，将会对企业的生产、营销和决策产生难以预估的影响，因此，一套高可用的数据库架构对于企业来说至关重要，可以最大化保证业务稳定性和数据可靠性。腾讯云MySQL推出全场景高可用性架构（All-Scenario High Availability Architecture，AS-HAA），用户可根据实际业务需求、业务类型自行配置。
前言 京东物流极速的购物体验背后隐藏着怎样的秘诀？仓储和配送时效是其中最为关键的一环。京东物流超强仓配体系，特别是在电商行业中独有的仓储系统，在其中起到了决定性的作用。 当前京东的库房已经遍布全国，京东仓储管理系统（简称WMS系统）是最核心的生产系统，涵盖了从入库，复核，打包，出库、库存和报表等等环节。 而作为系统最后端的数据库，不仅仅承担着存储数据的任务，还是系统可用性的最后一道防线，如何保证仓储系统数据库的高性能和高可用，直接决定了库房生产是否能顺畅进行。 在本篇我们将会详细介绍京东物流仓储系统的数据
摘要：最近项目组里来了很多新人，对linux分区及各种应用使用的分区不了解，导致测试数据库时突然发现某一个分区被写满了，不得不重装OS.实在看不下去了，特此分享我的一些利用LVM实现动态扩容的心得，希望对大家有帮助。
网上对这些数据库介绍有些误导，流传各种说法，比如:流传OB基于MySQL、GaussDB 200/300 和openGauss有啥区别，没办法谁让当前国产数据库太多...
小伙伴们，大家新年好，今天给大家分享字节跳动抖音电商的面经，希望对小伙伴们有所帮助~
这应该是 MySQL 原理中最底层的部分了，我们存在 MySQL 中的数据，到底在磁盘上长啥样。你可能会说，数据不都存储在聚簇索引中吗？但很遗憾，你并没有回答我的问题。我会再问你，那聚簇索引在磁盘上又长啥样？
在数据库圈子，大家都知道2016年 Uber 干出来一件大事件，把 PostgreSQL 切换到了 MySQL，当时社区里一阵喧哗。这里想带着大家思考一下选择的背后。
首先我们来看下什么是Mycat: MyCat：开源分布式数据库中间件, 这里定义的很简单, 就是分布式数据库的中间件. 其实Mycat 是可以时mysql进行集群的中间件, 我们可以对mysql来分
数据仓库的数据体系严格、治理容易，业务规模越大，ROI 越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI 越低，但胜在灵活。
面试官：看你简历上写了熟悉集合相关内容，你了解HashMap吗？讲一下HashMap的put方法？
Mycat是什么 Mycat - 数据库分库分表中间件，国内最活跃的、性能最好的开源数据库中间件！ 一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品 Mycat关键特性 支持SQL92标准 支持MySQL、Orac
数据结构实现：ArrayList 是动态数组的数据结构实现，而 LinkedList 是双向链表的数据结构实现。
PolarDB Serverless脱胎于 PolarDB 团队发表在SIGMOD 2021的论文，是选取其中成熟的技术最终产品化的结果。我们借助两大核心技术，高性能全局一致性SCC和热备无感秒切，无论在跨机扩展还是跨机切换，都达到了业界领先的能力。PolarDB MySQL Serverless于去年底正式上线，目前已经有1000+用户开始上手使用。本文期望从实践角度，演示如何测试PolarDB Serverless的弹性能力。
本人3年开发经验、18年年底开始跑路找工作，在互联网寒冬下成功拿到阿里巴巴、今日头条、滴滴等公司offer，岗位是Java后端开发，最终选择去了阿里巴巴。
源码系列 手写spring mvc框架 基于Spring JDBC手写ORM框架 实现自己的MyBatis Spring AOP实战之源码分析 Spring IOC高级特性应用分析 ORM框架底层实现
目前，对于互联网海量数据的存储以及处理，按使用场景，分为OLTP（联机事务处理，比如即时交易，强调快速响应与处理）与OLAP（联机分析处理，比如BI，强调多维数据分析）。对于这些数据的存储，主要有两种解决方案，即基于SQL的关系型数据库，和NoSQL的非关系型数据库。 非关系型数据库在某些特定场景下有奇效，比如键值存储（redis,ROMA,Memcached）数据库应用在排行更新，会话保存，面向文档的数据库（mongoDB、couchDB）应用在日志记录，面向列的数据库（Cassandra、HBase）在博客中的应用。关系型数据库最大的问题在于速度与可扩展性上，而这些NoSQL数据库一般部署简单，支持扩展，而且速度极高。 但是，NoSQL目前还是只能做为关系型数据库在某些特定应用场景的补充，不能完全替代严谨规范的关系型数据库。
本文整理了阿里13个开源中件间产品的架构及功能介绍，结合阿里中间件团队的访谈及分享，涵盖了消息中间件、服务框架、数据层、应用服务器和大规模分布式稳定性平台等等。整体中间件在阿里生态中的分布，如下图所示：
data——>file（database）——>file system——>hard driver
大家可以从任何一个gii生成model类开始代码上溯，会发现：yii2的model层基于ActiveRecord实现DAO访问数据库的能力。
* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 一、前提 在一套非常老的系统上，有一套GreatSQL主从集群（1主1从），主从复制采用的是FILE+POS方式复制，磁盘使用紧张需要扩容，只能在该台机器上添加更大的磁盘，将原数据盘替换，也没有其他的机器资源替换。这套系统没有VIP，没有高可用切换工具，业务读写直连主节点，从节点可供读，允许有一定的延迟，全程磁盘扩容需要手动操作，以下方案步骤是模拟最快的方式去进行磁盘扩容。 二、整体思路是 在主节点机器上挂载一块新磁盘，在新磁盘上搭建一个新的从节点，旧从节点的主变为新从节点，最后将主节点与新从节点准备好配置文件后，关闭主节点，将新从节点使用新的配置文件重启，端口号为旧主port，新主实例顶替旧主成功。 三、模拟环境 主从架构 db01:master，172.17.135.81:3306 db02:slave02，172.17.134.225:3306 原主从db01 master复制数据到db02 slave02，现在在db01上搭建新的从节点slave01，并将slave01提升为新的主节点master02 db01：IP为172.17.135.81 master ：port 3306 slave01：port 3307 db02：IP为172.17.134.225 slave02：port 3306 四、以下操作为模拟切换流程 1）.在db01上master 数据放在磁盘 /data/ 使用xtrabackup工具备份并搭建db01 slave01 数据放在磁盘/data2/上 2）.改变db02 slave02 数据源为 db01 slave01（即db02 slave02 从db01-slave01同步数据），后期切换数据库 操作过程 01.停掉db02 slave02 复制线程 先停slave02目的是，slave02获取执行的binlog比db01 slave01上的binlog少，方便后续db02 slave02 追数据到db01 slave01 指定的位点
在项目初期，我们部署了三个数据库A、B、C，此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配，我们在Service服务层使用uid%3进行取模分片，从而将数据平均分配到三个数据库中。
本文讨论了分布式数据库在在线扩容方面的挑战， 详细解释了一般分布式数据库和 TiDB 在扩容机制上的不同。 一般分布式数据库在进行在线扩容时，需要重新平衡数据分布，可能会影响系统的可用性和 IO 消耗。 相比之下，TiDB 的存算分离架构使得扩容对业务影响较小。
计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出，在计算的过程中要不断的把输入累加到count上去，那么count就是一个state。
工作1-5年，当我们向老板提出加薪的时候，或者跳槽去“捡”offer的时候，我们底气够吗？
Serverless 数据库作为近几年云原生数据库领域的重要发展方向，自 2018 年 AWS 率先推出 Aurora Serverless MySQL 服务，打响 Serverless 数据库之战的第一枪以来，各大云平台厂商一直在该领域不断深耕探索。9 月 7 日，在 2023 腾讯全球数字生态大会云原生数据库技术演进与实践专场上，腾讯云数据库团队重磅发布了云原生数据库 TDSQL- C Serverless 2.0 版本。在这场分享中，腾讯云数据库产品经理陈昊老师介绍了腾讯云 TDSQL-C Serverless 独有的弹性伸缩方案，本文就以此为引，深度探索一下 TDSQL-C Serverless 的纵向弹性伸缩策略及稳定性。
本文主要分享腾讯智慧零售团队优码业务在MongoDB中的应用，采用腾讯云MongoDB作为主存储服务给业务带来了较大收益，主要包括：高性能、快捷的DDL操作、低存储成本、超大存储容量等收益，极大的降低了业务存储成本，并提高了业务迭代开发效率。 一、业务场景 腾讯优码从连接消费者到连接渠道终端，实现以货的数字化为基础的企业数字化升级，包含营销能力升级和动销能力升级。腾讯优码由正品通、门店通和会员通三个子产品组成。 更多信息可以访问腾讯优码官方网站获得： https://uma.qq.com/ 腾讯优码整体
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中，3月17日郑寒的分享已经结束，没来得及参与的小伙伴不用担心，以下就是直播的视频和文字回顾。
导读：快手基于Hive构建数据仓库，并把Hive的元数据信息存储在MySql中，随着业务发展和数据增长，一方面对于计算引擎提出了更高的要求，同时也给Hive元数据库的服务稳定性带来了巨大的挑战。本文将主要介绍Hive MetaStore服务在快手的挑战与优化，包括：
ArrayList 确切地说，应该叫做动态数组，因为它的底层是通过数组来实现的，当往 ArrayList 中添加元素时，会先检查是否需要扩容，如果当前容量+1 超过数组长度，就会进行扩容。
为帮助开发者更好地了解和学习分布式数据库技术，2020年3月，腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密，都在这！》，邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。本文将带来直播回顾第三篇《亿级流量场景下的平滑扩容：TDSQL的水平扩容方案实践》。
首先面试都是从小公司到大公司的过程，小公司主要为了练手，熟悉面试节奏，后面才去面大公司。尽量不要一开始就奔着大公司去，容易出现准备不足的情况。。。另外，算法是真的难！遇到的面试题也都记了下来，主要是php+go的部分面试题。部分问题附带答案，希望对大家找工作能有帮助。你要做的就是每天进步一点点。。。
本书暂定名称为《亿级流量网站架构核心技术——跟开涛学搭建高可用高并发系统》，如有好的书名建议欢迎留言，必当重谢。内容已交由出版社编辑，相信很快就会和大家见面。主要内容结构和目录如下所示：
vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。
如图，假设我们申请了4台数据库服务器，每台上面部署了8个数据库，每个数据库对于每张表分了32张表
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
