最近与同行科技交流，经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。
大家好，我是PingCAP CEO刘奇。今天我将和大家分享一下如何构建一个NewSQL数据库。 首先，来介绍下我自己。和你们当中很多人一样，我是一名开源Hacker，一名架构工程师，并长期致力于创建新一代数据库。我曾投身于以下几个开源项目的工作，包括TiKV、TiDB 和Codis，这些项目都已在Github上发布。今天，我的演讲将涉及下列话题： 简要介绍NewSQL； 如何建立一个NewSQL数据库； 以及roadmap。 ▌为什么我们需要一个新的数据库？ 在正式开始前，我先问一个
数据库是软件世界里的基础。它是现实世界的投射，反应了开发者对现实世界的思考以及对其的抽象；一旦决定了数据库选型，数据库便会对软件/应用造成深远影响，它决定了开发者对数据的处理方式。
传统关系型数据库在诞生之时并未考虑到如今如火如荼的移动、社交以及大数据负载类型，同时也并不适合处理极端规模处理任务。不过大家不必担心，十六家专业企业已经为我们带来他们各自的次世代NoSQL与NewSQL选项。
单体数据库时代，随着系统交易量的不断上升，数据库读写性能出现了严重下降。我们可以借助分库分表中间件，比如mycat、shardingjdbc来实现分库分表，缓解单库的读写性能。但是分库分表中间件并不支持事务，如果要保证数据一致性，就需要借助于分布式事务中间件，比如阿里巴巴的seata。后来分布式数据库逐渐成为解决数据一致性的选择，目前分布式数据库产品已经比较成熟，支持ACID事务，本文就来聊一聊分布式数据库。
Fusion-NewSQL是由滴滴自研的在分布式KV存储基础上构建的NewSQL存储系统。Fusion-NewSQ兼容了MySQL协议，支持二级索引功能，提供超大规模数据持久化存储和高性能读写。
尽管层次数据库如今在大型机上依然被广泛使用，但关系数据库（RDBMS）（SQL）已经占领了数据库市场，并且表现的相当优异。我们存的钱不会跑到别人的账户，我们预定机票可以确保我们在飞机上有一个专属的座位，而且我们也不会因为没有做过的事而受到责备等等。关系数据库的数据完整性是因为它遵循了ACID（原子性，一致性，独立性以及持久性）原则。关系数据库技术可追溯到上世纪70年代。 那么，现在有什么变化呢？Web技术开启了这次变革。如今，许多人在亚马逊上买东西。但关系数据库并不是设计用来处理亚马逊上每秒大规模的交易
此前，金融信息化建设主要依托原有集中型 IT 架构进行维护扩展，系统规模及复杂程度呈指数级增长，各类瓶颈逐渐暴露，日益增长的数字金融需求同旧式的系统架构缺陷之间的矛盾愈加凸显。
目前“大数据”( Big data)已成为一个炙手可热的名词。从表面上看，其表示数据规模的庞大，但仅仅从数据规模上无法区分“大数据”这一概念和以往的“海量数据”(Massive data)和“超大规模数据”(Verylarge data)等概念的区别。
最近看一本书，铃木敏文的《零售的哲学》，里面提到一个很有意思的观点，711核心使命是提供便利，围绕便利场景，提供一系列食品、ATM服务等，而不是和超市去PK货物品种。 联想到常见的NOSQL数据库和传统关系型数据的区别也有点类似；传统关系型数据库发展了几十年，就像超市一样，功能非常多，非常完善，也是进入到各个行业中去。NOSQL从一出生就是带着解决关系数据中的某些场景的不突出/不擅长的使命。 另外一些新数据库又思考着突破NoSQL的场景的限制，想着同时解决OTLP/OLAP，也有诞生了NewSQL或者HTA
本文是《极客时间》-《TiDb极简入门》的学习笔记。传送门：https://time.geekbang.org/opencourse/videointro/100089601
李飞飞，现任阿里巴巴集团副总裁、高级研究员，阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
在考虑分库分表之前，我们先来探讨下分库分表是解决什么问题的一类技术。从大的方向上看，分库分表是解决两类问题：一是资源承载问题，二是开发架构问题。
MySQL无疑是RDMS数据库中开源、免费的扛把子，从db-engines.com排名上可以看出，除Oracle外，长期占据第二把交椅。
NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的一类统称，它采用的数据模型并非传统关系数据库的关系模型，而是类似键/值、列族、文档等非关系模型。
送过不少技术大会的免费票：北京的，上海的，深圳的... ，这次，广州的来了。 疫情之下，线下组织一场技术大会太难了，很多大会要么取消，要么无限期延期，要么转战线上了。为了技术的交流，为了技术的传播，为了技术的氛围，艰难之下，依然有孤勇者。 相比传统门票动辄几千块的技术大会，这个大会，门票只有几十，实在是业界良心。刷脸找举办方要了一些免费票，送给大家。 画外音：见文末。 事件：Gdevops全球敏捷架构运维峰会 地点：广州 时间：6月17日 话题方向：云原生、数据库、架构、存储，运维、金融科技等 一些话题大
长期以来，企业技术管理者面临着IT架构“自己搭建”还是“外部购买”的两难选择，而随着云数据库和数据库即服务（DBaaS）技术的不断成熟，管理者又多了一个选项——“租赁”。 企业采用云计算的理由多种多样，但都不会主要考虑在云端存储数据。撇开数据共享的安全性和一致性不谈，企业把内部部署的数据迁移到云端的过程也绝非易事。但是对于一些数据密集型应用而言，租赁云架构就变得很有吸引力。 如果云数据库和相关的应用程序分离，就会淹没在数不清的分布式系统里。不过市场调研公司
回味过去，展望未来，开始分布式数据库探索之旅，首先了解历史，本文大致梳理一下数据库发展过程，从1970年到2018年，数据库的发展过程，仅供参考，交流和学习，感谢您阅读！
在自己工作的领域中，发现快乐是我坚持做技术的动力。而技术域其实就是一个画圆的过程，当你发现你的圈圈画得越大，需要求知的东西也就越多。每天必须保持一种持续学习，和与技术死磕的精神才能促使我们不断前行。我们不断前行，时代也在不断变化和发展。本文由变化看发展，从移动通讯发展的历程同步透视数据库能力的变迁，进而预测5G时代将会给数据库带来的重大变革。
编者注：本系列选择行业分析报告进行分享，与读者共同分析分享数据库行业的最新进展与动态。关注“数据和云”公众号回复：下载 。可以找到获得下载链接。 中金公司在2022年1月发布了一篇报告：《数据库系列报告开篇：技术路径复盘及展望》，报告中很多的总结和分析，对数据库行业做出了非常详细的分析，在这里我们摘录其中一些观点和大家分享，详细报告可以下载阅读。 报告的核心观点是： 数据库的过去：技术架构演进的背后是四股创新⼒量 1）数据模型的变迁 2）分析型需求的兴起 3）分布式架构的演进 4）开源思潮的流⾏。 数据库
很多小伙伴在日常接触中接触国产数据库很少，大部分在开发应用上使用的是由甲骨文，微软等公司提供了MySQL，SQLserver。普通程序员很少能用到newSQl数据库，TiDB就是一种newSQL数据库，在大趋势下，向国际对接是避免不了的，但也存在一个问题，近期看到新闻国外某知名数据库厂商宣布称“暂停在俄罗斯的所有业务”，相信很多国内小伙伴的心情，绝不是隔岸观火，而是细思恐极。数据库产品一直都是国内人员的焦点话题，面对现如今全球的“非常时期”，国产数据库到底能不能支棱起来呢？今天呢我就带领大家认识国产数据库TiDB数据库。为什么要介绍TiDB呢，看图说话。
关系数据库历史悠久，可以找到靠谱的DBA，保证关系数据库稳定性，安全性，完整性和性能，同时可以保证监控和分析关系数据库的瓶颈及设计的合理性。成熟的关系数据库有着自己完善的生态圈，用于保证高可用，数据备份，性能检测分析等成熟的工具。
当前，正由IT时代进入DT时代，随着移动互联网、物联网的发展，企业正产生大量的数据，而数据的存储和组织离不开数据库技术，更多的公司意识到了数据能够为公司带来商业利益，于是如何管理和利用好数据已经变得越来越重要。
Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中。
1. Hadoop 的神话正在破灭 IBM leads BigInsights for Hadoop out behind barn. Shots heard IBM has announced the retirement of the basic plan for its data analytics software platform, BigInsights for Hadoop. The basic plan of the service will be retired in a month, o
1. Hadoop 的神话正在破灭 IBM leads BigInsights for Hadoop out behind barn. Shots heard IBM has announced the retirement of the basic plan for its data analytics software platform, BigInsights for Hadoop. The basic plan of the service will be retired in a mont
为让更多数据库从业者了解数据库领域的最新研究成果，熟悉更多行业前沿发展趋势，腾讯云数据库将举办系列“DB · 洞见”直播活动，打造数据库技术交流平台，邀请学界及腾讯技术大咖，解读数据库基础技术创新趋势，分享数据库技术创新成果。 在第二期的“DB · 洞见”直播活动中，我们邀请到了腾讯云数据库高级工程师韩硕进行主题为“基于LSM-Tree存储的数据库性能改进”的分享。 LSM-Tree（Log Structured Merge Tree）是数据库领域内较高效的key-value存储结构，被广泛应用于工业界数
作者介绍：林锦，腾讯云数据库团队高级工程师，曾任云计算初创公司系统架构师，从事分布式系统研发7年，2017年加入腾讯云，从事NewSQL研发工作，目前主要负责CynosDB for PostgreSQL开发工作。
上文讲到，查询分离的方案存在三大不足，其中一个就是：当主数据量越来越大时，写操作会越来越缓慢。这个问题该如何解决呢？可以考虑分表分库。
2022年度Gdevops全球敏捷运维峰会，将于6月17日以广州为起点正式开启！ 与大家携手走过的第7个年头，Gdevops始终坚持输出技术干货、传播前沿理念与实战经验。本次广州站峰会，除了致力于帮助大家解决运维、数据库、金融科技等领域的老大难问题以外，Gdevops还希望与产学研界技术同仁一起探索云原生时代、数字化转型背景下的新趋势、新挑战和新解法。 时间：2022年6月17日 地点：广州阳光酒店 指导单位：上海市软件行业协会、上海市计算机行业协会 学术指导单位：中国信息通信研究院云计算与大数据研究所
温卫斌，就职于中国民生银行信息科技部，目前负责分布式技术平台设计与研发，主要关注分布式数据相关领域。
1. Who we are 腾讯TEG云架构平台部数据库&块存储团队为腾讯自研业务和腾讯云提供业界领先的云原生数据库CynosDB/CDB、块存储CBS和文件存储CFS服务。在这里，你有机会洞察到腾讯面向用户的国民级应用的数据存储奥秘，比如QQ、微信红包等。在这里，你有机会参与腾讯面向企业的腾讯云这艘航空母舰的数据存储技术底座。在这里，你还可以与前沿科技携手共行，为腾讯AI等业务构建全新数据存储能力。在这里，你可以和MariaDB基金会董事会成员、Oracle原厂工程师、国产数据库/存储知名架构师一
◆ 分表分库 上文讲到，查询分离的方案存在三大不足，其中一个就是：当主数据量越来越大时，写操作会越来越缓慢。这个问题该如何解决呢？可以考虑分表分库。 这里先介绍一下真实的业务场景，而后依次介绍拆分存储时如何进行技术选型、分表分库的实现思路是什么，以及分表分库存在哪些不足。 接下来进入业务场景介绍。 ◆ 业务场景：亿级订单数据如何实现快速读写 这次项目的对象是电商系统。该系统中大数据量的实体有两个：用户和订单。每个实体涵盖的数据量见表3-1。 表3-1 数据量 某天，领导召集IT部门人员开会，说：“根据市场
在数据库领域，回顾2017这一年，精彩纷呈，热点不断，而且不乏标志性的事件发生。 如Oracle提出的自治数据库这样的概念，把数据库技术带入一个新世界。其实AI技术应用于数据库由来已久，如AI技术调优数据库的性能、AI技术优化SQL、AI技术自动创建数据库索引（Learned Index）等。但是能把AI和数据库结合使之进入大众视野的，还非“自治数据库”莫属。 再如NDBC（中国计算机学会数据库学术年会）庆祝四十华诞、阿里入股MariaDB、国内类Aurora架构的产品争相发布、数据库事务处理等核心技术
CynosDB源于单词Cynosure，是古希腊神话中北极星的名字，就是北天小熊座最亮的一颗星，现译为引人注目的人或物、天生的焦点。
作为一名程序猿，如今“大数据”， “AI”，这些词每天都会被媒体360度无死角轰炸我们，让我们很容易浮躁焦虑，但不得不承认，真是因为媒体的传播与吹捧，才推动了整个行业在飞速发展。每次动笔写文章，不带上几个高大上的词汇，都显得对不起他们。 📷 做过平台的小伙伴们，肯定了解DaaS（Data as a Service）数据即服务。谈到DaaS，首先总会去思考该怎么去选型，怎么去存储数据。而谈到存储就不得不提到数据库。数据存储适当，才能够在上层做深入数据分析。 📷 谈到百花齐放的数据存储 除了传统的关系型数据库M
近些年，传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大，各种NewSQL系统上线使用，运维逐渐跟不上业务发展，各种矛盾暴露的更加明显。在业务的驱动下，美团点评DBA团队经历了从“人肉”运维到工具化、产品化、自助化、自动化的转型之旅，也开始了智能运维在数据库领域的思考和实践。
第一次知道数据库，是在大学时的数据库课程，那个时候的数据库特指关系型数据库。到后面工作后，才知道除了MySQL，Oralce这类关系数据库之外，还有NoSQL。 印象中，当时NoSQL由于优秀的性能和扩展性，发展迅速。但技术并非一成不变，二者可以相互借鉴。 待NoSQL潮水褪去，NewSQL出现，就像是是NoSQL和SQL在易用性和可扩展性上的平衡。
引言：设计数据存储方案时，Feed流、IM消息、订单等一些典型业务场景的，都有比较多的技术文章和教学课程；在线Excel场景下的文章却很匮乏，所以把自己近期对在线Excel存储选型的一些思考写下来，和大家一起交流。
对大多数开发人员而言，SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统（即 RDBMS）并不陌生。RDBMS 的基本架构原则已历经了数十年的发展。而 MongoDB、Cassandra 等 NoSQL 解决方案，则是在本世纪初为满足数据分布可扩展的需求而提出的。
互联网在本世纪初开始迅速发展，互联网应用的用户规模、数据量都越来越大，并且要求7X24小时在线。
当你提到数据库，就不得不提Oracle。整个数据库行业，谈论技术无出Oracle其右者，Oracle浸淫数据库领域多年，早已将这个行业吃透。几乎所有的数据库，不管是商用数据库还是开源数据库，都是照着Oracle模式在走，包括交易模型中的数据处理等层面更是如此。
关于昨天 Spanner 的文字，有人问 NewSQL 为什么会起名为 New，Spanner 的应用场景又是怎样的？那么这篇就顺着大数据的历史继续聊。
今年算是 PG 针对其他传统数据库fight比较激烈的一年，也算是开始，后面的戏还长着呢，从气势上看，有些数据库，听闻在今年各种大小的数据库会议上，已经没有了声音，加上裁员的风波，人气低落。
上世纪60年代，网状和层状数据库揭开了数据库系统发展的帷幕；1970年，来自IBM实验室的Edgar F. Codd发表了《大型共享数据库数据的关系模型》论文，提出基于集合论和谓词逻辑的关系模型，为关系型数据库技术奠定了理论基础。之后关系型数据库快速发展，并为整个数据库生态培育了坚实肥沃的发展土壤。
作者介绍： 那海蓝蓝，腾讯金融云数据库技术专家，熟悉PostgreSQL、MySQL、Informix等数据库内核技术，著有《数据库查询优化器的艺术》、《数据库事务处理的艺术》，在业界皆享有“里程碑”式的评价。小编0.7，毕业于北京邮电大学，MySQL社区Oracle Contributor，目前就职于腾讯TDSQL团队，研发分布式数据库。大米，毕业于中国人民大学，目前就职于腾讯TDSQL团队，研发分布式数据库。 责编：仲培艺 在数据库领域，回顾2017这一年，精彩纷呈，热点不断，而且不乏标志性的事件发生。
数据是企业的核心资产，数据库作为数据的载体，承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢？我们邀请到了数据库领域的各位大咖，为您详解目前主流数据库的技术，以及在各行业的应用实践。 活动时间 8月24日 周六 13:00-18:00 活动地点 广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码 议题介绍 PostgreSQL各版本功能演进 及未来版本特性展望 演讲嘉宾：张文升 -《Post
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
