Fusion-NewSQL是由滴滴自研的在分布式KV存储基础上构建的NewSQL存储系统。Fusion-NewSQ兼容了MySQL协议，支持二级索引功能，提供超大规模数据持久化存储和高性能读写。
最近与同行科技交流，经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。
第一次知道数据库，是在大学时的数据库课程，那个时候的数据库特指关系型数据库。到后面工作后，才知道除了MySQL，Oralce这类关系数据库之外，还有NoSQL。 印象中，当时NoSQL由于优秀的性能和扩展性，发展迅速。但技术并非一成不变，二者可以相互借鉴。 待NoSQL潮水褪去，NewSQL出现，就像是是NoSQL和SQL在易用性和可扩展性上的平衡。
互联网在本世纪初开始迅速发展，互联网应用的用户规模、数据量都越来越大，并且要求7X24小时在线。
对大多数开发人员而言，SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统（即 RDBMS）并不陌生。RDBMS 的基本架构原则已历经了数十年的发展。而 MongoDB、Cassandra 等 NoSQL 解决方案，则是在本世纪初为满足数据分布可扩展的需求而提出的。
曾几何时，“并发高就分库，数据大就分表”已经成了处理 MySQL 数据增长问题的圣经。
大家好，我是PingCAP CEO刘奇。今天我将和大家分享一下如何构建一个NewSQL数据库。 首先，来介绍下我自己。和你们当中很多人一样，我是一名开源Hacker，一名架构工程师，并长期致力于创建新一代数据库。我曾投身于以下几个开源项目的工作，包括TiKV、TiDB 和Codis，这些项目都已在Github上发布。今天，我的演讲将涉及下列话题： 简要介绍NewSQL； 如何建立一个NewSQL数据库； 以及roadmap。 ▌为什么我们需要一个新的数据库？ 在正式开始前，我先问一个
关于昨天 Spanner 的文字，有人问 NewSQL 为什么会起名为 New，Spanner 的应用场景又是怎样的？那么这篇就顺着大数据的历史继续聊。
传统关系型数据库在诞生之时并未考虑到如今如火如荼的移动、社交以及大数据负载类型，同时也并不适合处理极端规模处理任务。不过大家不必担心，十六家专业企业已经为我们带来他们各自的次世代NoSQL与NewSQL选项。
今年算是 PG 针对其他传统数据库fight比较激烈的一年，也算是开始，后面的戏还长着呢，从气势上看，有些数据库，听闻在今年各种大小的数据库会议上，已经没有了声音，加上裁员的风波，人气低落。
1 差点崩溃 多年前，我在一家第三方支付公司做研发副总，那个时候公司刚好要上线第四代收单平台，我的工作就是推动新平台上线。 第一代收单平台数据库用的是 Oracle，随着公司交易量的持续猛增，Oracle 已经很难支撑了。 到了新平台全面采用微服务架构，从架构上最大化的减轻数据库的压力，主力数据库也从 Oracle 切换到了 Mysql。 当时公司每天的交易额在上百亿，日订单量也在百万级，虽然使用了分库分表，但后期数据库压力仍然巨大。 为减轻数据库压力，频繁水平切数据、扩容，数据库工程师都快崩溃了。 那个
HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。
本文的主角是 etcd。名称 “etcd” 源自两个想法，即 unix “/etc” 文件夹 和 “d” 分布式系统。“/etc” 文件夹是用于存储单个系统的配置数据的位置，而 etcd 用于存储大规模分布式的配置信息。因此，分配了 “d” 的 “/etc” 就是 “etcd”。
尽管层次数据库如今在大型机上依然被广泛使用，但关系数据库（RDBMS）（SQL）已经占领了数据库市场，并且表现的相当优异。我们存的钱不会跑到别人的账户，我们预定机票可以确保我们在飞机上有一个专属的座位，而且我们也不会因为没有做过的事而受到责备等等。关系数据库的数据完整性是因为它遵循了ACID（原子性，一致性，独立性以及持久性）原则。关系数据库技术可追溯到上世纪70年代。 那么，现在有什么变化呢？Web技术开启了这次变革。如今，许多人在亚马逊上买东西。但关系数据库并不是设计用来处理亚马逊上每秒大规模的交易
尽管层次数据库如今在大型机上依然被广泛使用，但关系数据库（RDBMS）（SQL）已经占领了数据库市场，并且表现的相当优异。我们存的钱不会跑 到别人的账户，我们预定机票可以确保我们在飞机上有一个专属的座
1.安装epel源： yum -y install epel-release 2.安装pip： yum -y install python-pip 3.清缓存： yum clean all 4.升级pip： pip install --upgrade pip 5.安装pymssql： pip install pymssql 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import pymssql 5 6 class MSSQL:
下边来简单做一个分表的插件，根据主键ID分，实现单数入<表名>表双数入<表名_1>表
作者 | Daniel Nichter 译者 | Sambodhi 策划 | 褚杏娟 Daniel Nichter 是《高效 MySQL 性能》（Efficient MySQL Performance）一书的作者，该由 O’Reilly 出版，目前尚无中译版本。Nichter 在本文中又对书中第五章中关于分片的问题进行了讨论。 《高效 MySQL 性能》（Efficient MySQL Performance）第五章论述了分片问题，这个问题很难写，但并不是因为技术原因。关于这一问题，让我多说几句
单体数据库时代，随着系统交易量的不断上升，数据库读写性能出现了严重下降。我们可以借助分库分表中间件，比如mycat、shardingjdbc来实现分库分表，缓解单库的读写性能。但是分库分表中间件并不支持事务，如果要保证数据一致性，就需要借助于分布式事务中间件，比如阿里巴巴的seata。后来分布式数据库逐渐成为解决数据一致性的选择，目前分布式数据库产品已经比较成熟，支持ACID事务，本文就来聊一聊分布式数据库。
以支付宝用户为例，8亿；微信用户更是10亿。订单表更夸张，比如美团外卖，每天都是几千万的订单。淘宝的历史订单总量应该百亿，甚至千亿级别，这些海量数据远不是一张表能Hold住的。事实上MySQL单表可以存储10亿级数据，只是这时候性能比较差，业界公认MySQL单表容量在1KW以下是最佳状态，因为这时它的BTREE索引树高在3~5之间。
数据库是软件世界里的基础。它是现实世界的投射，反应了开发者对现实世界的思考以及对其的抽象；一旦决定了数据库选型，数据库便会对软件/应用造成深远影响，它决定了开发者对数据的处理方式。
Raft 是一种分布式一致性算法，在Newsql代表性数据库TiDB 集群的多种组件中，PD 和TiKV 都通过Raft 实现了数据的容灾。
李飞飞，现任阿里巴巴集团副总裁、高级研究员，阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
特来电新能源有限公司是创业板第一股特锐德（300001）的全资子公司，主要从事新能源汽车充电网的建设、运营及互联网的增值服务。特来电颠覆了传统充电桩的模式，世界首创了电动汽车群智能充电系统，获得 336 项技术专利，以“无桩充电、无电插头、群管群控、模块结构、主动防护、柔性充电”的特点引领世界新能源汽车充电的发展，系统的鉴定结论为：“产品世界首创、技术水平国际领先。主动柔性充电对电池寿命可以延长 30% 左右，电池充电的安全性可以提升 100 倍以上。”
<数据猿导读> 在去年的Strata+Hadoop World大会中，巨杉数据库作为唯一的中国参展商在大会上做了展览和演讲，在本次《数据猿巅峰思享会》现场，王涛以“大数据和数据库的未来趋势”为主题再次
关系数据库历史悠久，可以找到靠谱的DBA，保证关系数据库稳定性，安全性，完整性和性能，同时可以保证监控和分析关系数据库的瓶颈及设计的合理性。成熟的关系数据库有着自己完善的生态圈，用于保证高可用，数据备份，性能检测分析等成熟的工具。
为什么用关系型数据库？最常见的理由是别人在用，所以我也得用，但是这个并不是理由，而是借口。
马上消费金融于 2015 年 6 月营业，截止到 2020 年 1 月，历经 4 年多风雨，总注册用户数 8000 万，活跃用户数 2500 万，累计放贷 2900 多亿元人民币。公司于 2018 年 6 月增资到 40 亿，成为内资第一大的消费金融公司。
当当架构部总监分享分布式微服务数据库访问框架Sharding-JDBC的设计与实现。 互联网领域数据库面临的问题 我们在互联网领域数据库面临的问题主要有高可用、存储稳定性要求高、并发访问频繁和数据海量
MySQL无疑是RDMS数据库中开源、免费的扛把子，从db-engines.com排名上可以看出，除Oracle外，长期占据第二把交椅。
此前，金融信息化建设主要依托原有集中型 IT 架构进行维护扩展，系统规模及复杂程度呈指数级增长，各类瓶颈逐渐暴露，日益增长的数字金融需求同旧式的系统架构缺陷之间的矛盾愈加凸显。
一觉醒来，就发现有人给我微信上发消息，通知我说数据库创业圈子里，又出来一件牛逼大了的事情。 我一看，原来是PingCAP放大招了，PingCAP在美国加州硅谷从甲骨文公司挖了Sunny Bains入职。 这位Sunny Bains的背景，大体上就是在印度上完了中学，在澳大利亚墨尔本上完了本科，然后在澳洲的CTI工作了一段时间，之后就来到美国的甲骨文公司了。 他在甲骨文公司从2006年一直干到现在，最近加盟PingCAP。之前在甲骨文负责的就是InnoDB。坦白讲，我对这位Sunny Bains大神不熟。恕我
回味过去，展望未来，开始分布式数据库探索之旅，首先了解历史，本文大致梳理一下数据库发展过程，从1970年到2018年，数据库的发展过程，仅供参考，交流和学习，感谢您阅读！
陈某的知识星球开通了，一个相互交流的技术圈子，陈某会在星球中定期分享干货，如果你也想和球友一起打卡学习进阶，戳链接加入
本文是《极客时间》-《TiDb极简入门》的学习笔记。传送门：https://time.geekbang.org/opencourse/videointro/100089601
本文由微众银行数据库负责人胡盼盼撰写，介绍了微众银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进，以及 TiDB 在微众银行核心批量场景的应用。
The Google File System (2003) MapReduce: Simplified Data Processing on Large Clusters (2004) Bigtable: A Distributed Storage System for Structured Data (2006)
Mybatis-Plus本身并没有提供分表查询的功能，但可以通过增加插件、自定义SQL来实现分表查询。下面分别介绍几种实现分表查询的方法：
分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。余军讲师为你讲解分布式数据库在金融行业的创新实践。 余军 PingCAP 高级技术总监，金融行业首席架构师；开源软件的忠实爱好者，负责金融行业基于 TiDB 产品的解决方案、产品架构咨询和建设规划。主要工作经历：富麦信息科技有限公司 CTO ，中
编者注：本系列选择行业分析报告进行分享，与读者共同分析分享数据库行业的最新进展与动态。关注“数据和云”公众号回复：下载 。可以找到获得下载链接。 中金公司在2022年1月发布了一篇报告：《数据库系列报告开篇：技术路径复盘及展望》，报告中很多的总结和分析，对数据库行业做出了非常详细的分析，在这里我们摘录其中一些观点和大家分享，详细报告可以下载阅读。 报告的核心观点是： 数据库的过去：技术架构演进的背后是四股创新⼒量 1）数据模型的变迁 2）分析型需求的兴起 3）分布式架构的演进 4）开源思潮的流⾏。 数据库
TiDB是 PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。
很多小伙伴在日常接触中接触国产数据库很少，大部分在开发应用上使用的是由甲骨文，微软等公司提供了MySQL，SQLserver。普通程序员很少能用到newSQl数据库，TiDB就是一种newSQL数据库，在大趋势下，向国际对接是避免不了的，但也存在一个问题，近期看到新闻国外某知名数据库厂商宣布称“暂停在俄罗斯的所有业务”，相信很多国内小伙伴的心情，绝不是隔岸观火，而是细思恐极。数据库产品一直都是国内人员的焦点话题，面对现如今全球的“非常时期”，国产数据库到底能不能支棱起来呢？今天呢我就带领大家认识国产数据库TiDB数据库。为什么要介绍TiDB呢，看图说话。
送过不少技术大会的免费票：北京的，上海的，深圳的... ，这次，广州的来了。 疫情之下，线下组织一场技术大会太难了，很多大会要么取消，要么无限期延期，要么转战线上了。为了技术的交流，为了技术的传播，为了技术的氛围，艰难之下，依然有孤勇者。 相比传统门票动辄几千块的技术大会，这个大会，门票只有几十，实在是业界良心。刷脸找举办方要了一些免费票，送给大家。 画外音：见文末。 事件：Gdevops全球敏捷架构运维峰会 地点：广州 时间：6月17日 话题方向：云原生、数据库、架构、存储，运维、金融科技等 一些话题大
技术选型是由技术方向和业务场景 trade-off 决定的，脱离业务场景来说技术选型是没有任何意义的，所以本文只是阐述了伴鱼技术团队数据库选型的过程，这并不是 MySQL、MongoDB 和 TiDB 之间直接的比较，只能说明 TiDB 更适合伴鱼的业务场景和技术规划，另外由于 TiDB 是非常新的数据库技术，所以这也能体现出伴鱼技术团队对新技术的态度、技术后发优势的理解、成本与效率的衡权和技术生态与红利的思考。
在考虑分库分表之前，我们先来探讨下分库分表是解决什么问题的一类技术。从大的方向上看，分库分表是解决两类问题：一是资源承载问题，二是开发架构问题。
内容来源：2017 年 11 月 18 日，百度数据库架构师严龙在“第七届数据技术嘉年华”进行《百度NewSQL-CockroachDB》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方、演讲者以及微信公众号——CockroachDB（微信id：CockroachDB）审阅授权发布。 阅读字数：3621 | 10分钟阅读 摘要 本次交流主要包括开源 NewSQL 数据库 Cockroach DB 关键技术分析以及 Cockroach DB 在百度内部的应用和实践。 嘉宾
「我们已经用起来了」，是我们最喜欢听到的话，简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始，我们将通过「相信开放的力量」系列深度案例分享，从业务的角度，看看一个数据库为各行业用户带来的业务价值。 在双十一来临之际，PingCAP 走访了平安金管家开发团队总经理毛小波及其团队同事，结合分布式数据库技术的应用和前瞻实践，分享他们在数字创新的思考和见解，希望可以给大家一些启发。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
