Vitess是用于部署，扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。它结合了NoSQL数据库的可伸缩性，并扩展了许多重要的MySQL功能。Vitess可以帮助您解决以下问题:
使用的CNCF项目包括：CNI、etcd、Harbor、Helm、Kubernetes、Vitess
近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。
继2018年1月份云原生计算基金会（CNCF）接受了首个开源存储项目Rook以来，CNCF又宣布接受了第二个基于云的存储项目Vitess。 Vitess是CNCF的第二个存储项目，且是第16个开源托管
前言：本文概述Vitess架构，如需了解更多信息，请在文章底部查看参考资料。本文基于笔者研究，可能与具体实践情况有所差异。
Vitess，作为海外最为知名的分库分表产品，一直以来在国内声音不多。近期抽空了解下这个产品，特分享出来。本文部分内容取自Vitess官网https://vitess.io。
https://github.com/vitessio/vitess/releases/tag/v4.0.0
去年11月，Vitess成为第八个毕业的CNCF项目，加入了Kubernetes、Prometheus、Envoy、CoreDNS、containerd、Fluentd和Jaeger等一系列令人惊叹的项目。为了说明这个里程碑，我从Vitess的共同创造者Sugu Sougoumarane的大脑中选取了一些花絮，让他分享我们是如何走到今天，我们面临的障碍，我们前进的方向。
Vitess自2011年以来一直为YouTube的所有数据库流量提供服务，目前已被许多企业采用，以满足其生产需求。
说明：Vitess是一个数据库集群系统，通过广义分片对MySQL进行水平扩展。通过封装分片路由逻辑，Vitess允许应用程序代码和数据库查询保持与数据在多个分片上的分布无关。使用Vitess，您甚至可以根据需要增加分割和合并分片，原子切换步骤只需几秒钟。自2011年以来，Vitess一直是YouTube数据库基础架构的核心组件，并且已经发展到包含数以万计的MySQL节点。
自2009年以来，Square为小企业提供了快捷方便的信用卡支付服务。四年前，该公司通过其Cash App扩展到p2p交易领域。在经历了一些稳步增长之后，该应用在2016年人气飙升，短短几个月就拥有了数百万用户，并登上了应用商店下载量的榜首。问题？“我们有一个很大的单体的几十万行代码，这是建立在单一的MySQL数据库的假设上；它从一开始就没有被设计成可伸缩的。”工程经理Jon Tirsen说。随着用户的不断增加，公司不得不为数据库投入越来越昂贵的硬件；同时，Tirsen的三人团队需要替Cash App的可伸缩性问题想出一个长期解决方案。“因为我们有增长轨迹，我们真的需要很快很快的解决它，接受我们产品方面的挑战。”他说。
本文最初发表于 scaleyourapp.com 网站，经原作者 Shivang Sarawagi 授权由 InfoQ 中文站翻译分享。
Vitess 引入了一种运行模式迁移的新方法：非阻塞的、异步的、预定的online DDL。通过 online DDL，Vitess 简化了模式迁移过程，它获得了操作开销的所有权，并为用户提供了一个简单、熟悉的界面：标准的 ALTER TABLE 语句。
Vitess对数据库的可伸缩性有自己的看法。有些观点很少有争议，比如应该如何通过复制提供持久性，但是我发现一个有趣的建议是每个MySQL服务器250GB。
● 原子性：一个事务对状态的改变是原子的，要么都发生，要么都不发生，这些改变包括数据库的改变、消息以及对转换器的操作。
来源：InfoQ 中文站翻译分享 作者 | Shivang Sarawagi 、译者 | 张卫滨、策划 | 辛晓亮 YouTube 是仅次于谷歌的第二大热门网站。在 2019 年 5 月，每分钟会有超过 500 小时的视频内容上传到该平台。 该视频共享平台有超过 20 亿的用户，每天有超过 10 亿小时的视频被播放，产生数十亿的浏览量。这些都是令人难以置信的数字。 本文会对 YouTube 使用的 数据库 和后端数据基础设施进行深入讲解，它们使得该视频平台能够存储如此巨量的数据，并能扩展至数十亿的用户。 那
Flink CDC [1] 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。
十多年前，与当时的大多数 Web 应用程序一样，GitHub 也是一个使用 Ruby on Rails 开发的网站，它的大部分数据都保存在 MySQL 数据库中。
🌟 大家好，我是猫头虎博主！今天，我们要探讨的是2014年2月2日在FOSDEM举办的Go Devroom系列精彩演讲。这一天对Go社区来说意义重大，共有13场精彩的演讲在一个爆满的房间里进行。让我们一起来回顾这些激动人心的演讲，看看Go在这个重要的开发者大会上有哪些亮点展示！
这段时间团队在梳理mysql使用上的一些痛点（分库分表、读写分离、权限控制、监控告警、日志审计等），也调研了业内一些mysql中间件的实现，这里把对问题域的思考，以及常见中间件整理沉淀一下
译自 Embracing Database Deployments in CI/CD Practices with Git 。
如果你使用过 Google 或 YouTube，那么你很可能已经访问过分片数据。分片通过将数据分区存储在多个服务器上，而不是将所有内容放在一个巨大的服务器上，以实现扩展数据库的目的。这篇文章将介绍数据库分片的工作原理、思考如何给你自己的数据库分片，以及其他一些有用的、可以提供帮助的工具，尤其是针对 MySQL 和 Postgres。
对大多数开发人员而言，SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统（即 RDBMS）并不陌生。RDBMS 的基本架构原则已历经了数十年的发展。而 MongoDB、Cassandra 等 NoSQL 解决方案，则是在本世纪初为满足数据分布可扩展的需求而提出的。
15年前，GitHub作为一个Ruby on Rails应用程序开始，只有一个MySQL数据库。从那时起，GitHub已经发展了其MySQL架构，以满足平台的扩展和弹性需求，包括构建高可用性，实现测试自动化和分区数据。今天，MySQL仍然是GitHub基础设施的核心部分，也是我们选择的关系数据库。
GitHub分享了他们将自己1200+节点、300+TB数据存储的MySQL集群从5.7升级至8.0的故事
在我们深入了解如何进行升级之前，让我们先从 10,000 英尺的高度看一下我们的 MySQL 基础设施：
随着交流机会的增多(集中在金融行业, 规模都在各自领域数一数二), 发现大家对 Docker + Kubernetes 的接受程度超乎想象, 并极有兴趣将这套架构应用到 RDS 领域. 数据库服务的需求可以简化为:
AI 前线导读： 一年一度由世界知名科技媒体 InfoWorld 评选的 Bossie Awards 于 9 月 26 日公布，本次 Bossie Awards 评选出了最佳数据库与数据分析平台奖、最佳软件开发工具奖、最佳机器学习项目奖等多个奖项。在最佳开源数据库与数据分析平台奖中，Spark 和 Beam 再次入选，连续两年入选的 Kafka 这次意外滑铁卢，取而代之的是新兴项目 Pulsar；这次开源数据库入选的还有 PingCAP 的 TiDB；另外Neo4依然是图数据库领域的老大，但其开源版本只能单机无法部署分布式，企业版又费用昂贵的硬伤，使很多初入图库领域的企业望而却步，一直走低调务实作风的OrientDB已经慢慢成为更多用户的首选。附：30分钟入门图数据库(精编版) Bossie Awards 是知名英文科技媒体 InfoWorld 针对开源软件颁发的年度奖项，根据这些软件对开源界的贡献，以及在业界的影响力评判获奖对象，由 InfoWorld 编辑独立评选，目前已经持续超过十年，是 IT 届最具影响力和含金量奖项之一。 一起来看看接下来你需要了解和学习的数据库和数据分析工具有哪些。
原文链接：https://planetscale.com/media/one-million-queries-per-second-with-mysql?page=%2Fresources&widge
今天我们来看 Orchestration & Management 编排和管理 层最后一个核心项目 - Linkerd。从严格意义上来说，我们应称它为Linkerd2，区别于原来的1.0版本。
哈啰出行作为阿里系共享单车的头部企业，在江湖中的知名度还是有的，而今天我们就来看一道哈啰 Java 一面中的经典面试题：当数据表中数据量过大时，应该如何优化查询速度？
首先数据库技术发展的基础还是在业务推动的背景下，能够实现相关的技术保障。业务需求的提升必然会在数据量，访问量等方面有更高的要求，而映射到数据库层面就不是简单的扩容和添加资源了，我们有时候更需要弹性，需要快速实现，需要更高的性能。这些都是摆在我们面前的问题，而不仅仅是DBA团队。 所以早期的很多数据库，从一主一从，一主多从的架构，逐步演变到了读写分离，分库分表，然后就是分布式。而同时从很多层面来说，行业内的方案真是百花齐放，记得前几天还和同事聊，说如果对比一下Oracle和MySQL,
随着交流机会的增多（集中在金融行业，规模都在各自领域数一数二），发现大家对 Docker + Kubernetes 的接受程度超乎想象, 并极有兴趣将这套架构应用到 RDS 领域。数据库服务的需求可以简化为：
目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。
MySQL Fabric具有分片功能，在同一个分片内又可以含有多个数据库，并且由Fabric自动挑选一个适合的作为主数据库，部署成本较高，另外需要应用端来适配改造。
在个人项目中运行 MySQL，甚至在年轻公司中运行 MySQL，与在市��已经建立并且“呈现指数增长”业务中运行 MySQL 大不相同。在高速业务环境中，流量可能每年增长数倍，环境变得更加复杂，伴随的数据需求迅速增加。扩展 MySQL 与其他类型的服务器大不相同，主要是因为数据的有状态性质。将其与 Web 服务器进行比较，后者的广泛接受的模型是在负载均衡器后面添加更多服务器通常是您需要做的全部。
mysql分布式数据库中间件对比 目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。 什么是中间件 传统的架构模式就是 应用连接数据库直接对数据进行访问，这种架构特点就是简单方便。 但是随着目前数据量不断的增大我们就遇到了问题: 单个表数据量太大 单个库数据量太大 单台数据量服务器压力很大 读写速度遇到瓶颈 当面临以上问题时，我们会想到的第一种解决方式就是 向上扩展(scale up) 简单来说就
所谓的“大表”指的是一张表中有大量的数据，而通常情况下数据量越多，那么也就意味着查询速度越慢。这是因为当数据量增多时，那么查询一个数据需要匹配和检索的内容也就越多，而检索的项目越多，那么查询速度也就越慢。
CNCF，英文全称为Cloud Native Computing Foundation，中文译为“云原生计算基金会”, 构建可持续生态系统，并围绕一系列高质量开源项目促进社区的发展，本文大概介绍下几个主要的项目。
MySQL 资源列表，内容包括：分析工具、备份、性能测试、配置、部署、GUI 等。 分析工具 性能，结构和数据分析工具 Anemometer - 一个 SQL 慢查询监控器。 innodb-ruby - 一个对 InooDB 格式文件的解析器，用于 Ruby 语言。 innotop - 一个具备多种特性和可扩展性的 MySQL 版 ‘top’ 工具。 pstop - 一个针对 MySQL 的类 top 程序，用于收集，汇总以及展示来自 performance_schema 的信息。 mysql-statsd
据介绍，GitHub 使用 MySQL 来存储大量关系数据，因此在不影响网站服务级别目标 (SLO) 的情况下升级主机集群（1200 多台 MySQL 主机）绝非易事。其团队表示，为了升级到 MySQL 8.0，他们规划、测试和升级本身总共花费了一年多的时间，并且需要 GitHub 内部多个团队的协作。
SOAR(SQL Optimizer And Rewriter)是一个对SQL进行优化和改写的自动化工具。 由小米人工智能与云平台的数据库团队开发与维护。
shlomi-noach 发起维护的 MySQL 资源列表，内容覆盖：分析工具、备份、性能测试、配置、部署、GUI 等。
自2019年12月发布1.0版本以来，社区一直在积极构建一个全面的开源低延迟变更数据捕获(CDC)平台。在过去的三年里，我们扩展了Debezium的产品组合，包括用于Oracle的稳定连接器、社区主导的Vitess连接器、增量快照的引入、多分区支持等等。在社区活跃贡献者和提交者的帮助下，Debezium成为CDC领域事实上的领导者，部署在多个行业的许多组织的生产环境中，使用数百个连接器将数据更改从数千个数据库平台输出到实时流。
做完准备工作后就开始启动server，定义如下：包含listener、handler和sessionManager三部分
作者：Deepthi Sigireddi。嘉宾博客文章最初在PlanetScale的博客发表。
随着各国政府通过数据本地化法律，具有管辖权的数据库集群变得越来越重要。通常，支持数据本地化意味着重新设计应用程序的架构，并对新特性的交付进行打击。此外，将现有数据库迁移到驻留在多个位置的数据库将成为操作上的挑战。
https://github.com/dolthub/go-mysql-server是用golang实现的基于内存的mysql server。主要应用于两个场景：作为golang单测的mysql替换，作为内置的基于内存的数据库。MySQL Fake 常见实现方式有两种：SQLite 以及 go-mysql-server。因为大家都基本遵循了 SQL 92 标准，在没有用到比较复杂的，或者 MySQL 特有的一些语法特性时，我们可以用 SQLite 来作为一个平替。但是SQLite底层是C语言实现的，github.com/mattn/go-sqlite3仅仅做了cgo的一层封装。用 SQLite 来存取数据时，你会发现跟 MySQL 不同，它只依赖一个文件进行读取和写入，非常轻量级。我们可以在单测执行结束的时候清理掉这个文件即可。SQLite 还提供了内存的模式，这样我们就能完全不依赖存储，直接用 SQLite 来验证我们的语句是否正确。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
