云数据库技术发展趋势
云数据库技术发展趋势
引言
数据库技术发展已达半个世纪之久，云时代开始以后，我们可以从全新的视角审视数据库等基础技术的过去和未来。
基于云计算，包括数据库在内的IT基础技术发生从技术形态到线上线下融合的大幅变化，数据库技术呈现从传统集中式到云时代分布式迁移替换的趋势，这也给国产数据库赋予机遇与挑战。
Gartner报告分析指出，云数据库市场地位正在上升，2023年预测全球数据库市场规模将超过1000亿美元，其中云数据库市场份额预计将达到55%。根据Gartner 2023年报告，2022年AWS DBMS应收超过Oracle等传统老牌数据库藏厂商。而我们认为，云数据库的发展，目前正在经历从第一阶段“数据库上云，即从数据库到云数据库”，到第二阶段“从云数据库到云原生数据库”的变革，分布式云原生数据库是大势所趋。
所以，云数据库做了什么得到了市场的认可？未来数据库发展趋势是什么？我们可以如何在新机遇下的云融合时代把握技术创新的脉搏？近日，腾讯云数据库TDSQL研发总经理潘安群在2024 GOPS全球运维大会上，围绕“云数据库技术发展趋势”进行了相关分享。
一、云时代的IT基础设施形态演变
随着云计算的发展，整个IT基础技术翻天覆地的变化体现在几个方面：
IT设施部署，从过去的零散化走向今天的集中化、规模化。过去，每一个企业自建各自的数据中心等IT基础设施，包括服务器、网络到操作系统、数据库等，形成企业市场上零散化的IT设施模式。而今天基于云计算服务，企业IT设施呈现集中化、规模化效应，对效率、性能、成本的要求提升。
IT服务交付，从过去的软件交付模式走向服务交付模式。过去购买商业化软件，或者是使用开源软件产品，基本是通过商业化或开源的方式进行分发，而现在完全变成一个个服务的形式进行交付。这带来的变化是，用户不需要再盘算该购买几台服务器，而是在具有数据库使用需求时，直接云上使用即可。
开发方式，将呈现从过去业务进行底层的开发以及调用底层API等操作的模式，转向SaaS化、Severless模式的服务。在云上，开发者可以使用各种各样的SaaS服务。无论从效率、基础技术能力等方面来说，这都是一个巨大的变化。
数据形式及应用场景从单一结构化走向多样化。过去，数据形式或应用场景其实相对单一，以传统数据库为例，场景主要集中在了比如金融、运营商、政务等传统行业领域。随着互联网、移动互联网、产业互联网的发展，各个行业也正逐步加速其电子化、信息化发展趋势，应用服务形式呈多样化发展，使得当前行业的数据形式及应用场景也越来越多样化，并对底层数据库能力提出更多的要求和挑战。过去，行业场景中更多以结构化的数据为主，关系型数据库可以支撑极大部分场景需求，现在我们可以看到涌现出了许多如NoSQL、Graph图数据库等各种类型的数据库，NoSQL同时还可以细分KV型、文档型等多种类别，而且整体数据库类型还有持续增加的趋势。这是非常合理的现象。也就是说，对于未来数据库来说，其自身发展也会呈现多样化的、而且是融合、创新的趋势。我们知道，按照传统经验来说，如果一个技术产品是单一的形态，那么追求的是尽量做到通用化，然而，在当前多样化需求的趋势下，技术应用层面需要进行各种权衡和取舍。
性价比是云厂商的基础
IT设施的云化发展基础下，云计算厂商为客户提供的最核心价值在于服务与性价比的提升。包括客户可以基于云计算设施获取更优秀的性能、稳定性、安全表现，以及通过规模化的优势，实现硬件成本、研发成本、服务成本的降低，整体实现技术升级与性价比提升。
因此，云时代的技术发展与需求演进，指引未来云数据库技术朝向单一引擎极致化、多引擎智能融合一体化、服务交付等关键趋势发展。
二、云时代数据库发展趋势
单一引擎极致化
云计算时代，如果实现了规模化以后，还不能实现成本降低的话，是不可接受的。云计算要帮助提升整个社会资源利用率，性能成本需要控制到最低。
对于腾讯云的服务来说，我们需要考虑的是如何能够保证客户以最便宜的价格买到最高级的服务。
我们希望把一个引擎做到非常极致。通过云服务，我们已经积累了成千上万个客户的小需求，对于规模化的云服务来说，它们相当于一个大需求。在云服务的打磨中，我们将其做到极致。这样通过一个单一引擎，就能尽可能地，尤其为云上长尾客户，更加能够以更低的成本，提供更优质、极致的技术服务。因此，我们将会有多个技术极致的单一引擎。
多引擎智能融合一体化
在单一引擎极致化的基础上，我们如何给客户提供最佳的解决方案？业务形态的多样化，单一数据库包打天下的时代已经过去，多引擎化成为必然趋势。
基于这套理念，腾讯云数据库打造了一套完整的数据库服务体系。这个体系里面，针对在线交易、实时分析、海量计算等关键行业场景，都具有对应的极致单引擎能力。
与此同时，我们不希望让用户陷入选择，我们希望对客户来说，多即是一。
多模态技术引擎的现状必然对开发者选型带来选型、开发应用上的困难——即如何能够在保证适应不同的场景下，同时获得足够高的性能表现，这也是当前数据库发展面临的一个困境。为了解决这个问题，未来我们希望是不需要用户来进行这些复杂的选择，而是系统基于AI智能调度、serverless、SaaS化服务平台和智能管控等解决方案，来彻底实现多引擎的智能、统一标准化服务。从底层的角度看，未来开发者无需感知具体的产品选型，无需关心多引擎的差异，而是能够快速实现研发及服务的全链路打通，比如在做数据分析的时候，系统能够自动帮助调度性能最好、事务交易一致性得到保障的方案。
服务交付
因此，在此基础上，未来云数据库服务的趋势还是交付方式的融合，以包括软硬件一体化、私有云与公有云平台融合等多种产品和服务交付方案，能够让客户在敏感业务和运营成本之间实现更加精细化管理。
云数据库的天花板由调度决定
过去，我们可能认为数据库的天花板在于优化器。而今天，对云数据库而言，更关键的是数据库的调度能力，包括计算层的调度和数据层面的调度，以及最后的资源层面的调度。
数据的智能调度
腾讯云数据库，存储与计算支持五层调度能力：
● 1）计算类型：AP、TP、Streaming
● 2）库表：根据数据亲和性调度
● 3）存储类型：行、列、内存表、日志等
● 4）数据冷热：冷、温、热
● 5）容灾调度：根据容灾需求，跨中心、跨城
云数据库应用中，我们日常需要处理的场景非常多，比如计算层场景包括在线交易、AP处理、流式计算等，数据本身也包含冷数据、热数据需要做不通的存储处理。整体而已，云数据库技术需要应对各种各样的场景，我们需要进行整合，在性能和成本之间实现平衡。
资源调度：成本最大优化
对云数据库而言，其所能用到的资源池越大、调度空间越大，应用成本就能做得越低，服务性价比会更高。因此，资源调度能力提升、资源利用率提升，是未来云数据库关键能力。
更强大的资源调度能力，意味着更低的资源空闲率，这是腾讯一直秉承的理念——单一引擎做到极致，多引擎智能一体化，同时在资源调度能力提升的基础上，使用更大的资源池，来为客户提供更优质的云服务。
这个理念也在实践中得到验证：TDSQL在2023年TPCC测试中，以 8.14 亿的 tpmC 和每 tpmC 成本 仅1.27 元人民币的评测成绩，实现 tpmC 和性价比双榜世界第一。这个成本约为传统厂商的1/3。
数据库没有弯道超车，即使在云计算时代下的换道超车，我们也希望走一走传统厂商走过的路，同时选择打榜，是因为产品上的多年打磨，场景上的持续突破，我们觉得是时候对自身能力做一个阶段性总结与展示。
云数据库应用实践：智能运维平台化
腾讯有一个理念叫“大系统小做，小系统大做”。就是说一些看起来比较小的工具，但实际上我们希望把它做成平台化的基础能力，用这些基础能力推动整个系统的自动化。数据库智能运维DBBrain就是一个典型实践。
云数据库应用，具有数据体量大、事务繁多、关联分析困难等挑战。从成本，以及保障数据库安全稳定的角度考虑，我们不可能依赖大量的人力来进行数据库运维。数据库从人工/半自动化运维、到自治运维的发展是必然趋势。
以金融行业为例，调研数据显示，金融机构在数据库产品选型中，最看重的前三大因素分别为稳定性、安全性和性能，占比达到 80.4%、72.6%和 59.6%。
智能运维体系：全链路自动化
智能运营体系应该具备哪些能力？基于腾讯云海量时间，腾讯云数据库智能运维沉淀以下几大方面能力：
值得一提的是，腾讯云数据库智能运维全链路分析，可以为客户构建一个全局视图 ：
最后需要指出的是，仅仅做好数据库自己的事情是不够的，需要推动业务优化改造，形成数据库应用的良性循环。腾讯云数据库智能运维，通过全链路分析，为每条SQL语句加上业务标签，实现驱动基础业务提升、业务研发精准优化的良性循环。
三、腾讯实践：
做国有大行敢用放心用的数据库体系
当前，国内两家国有大行，已基于TDSQL进行银行核心系统分布式改造，并将核心系统从国外IBM DB2等数据库上下移至TDSQL国产分布式架构。这是国产云数据库的里程碑式突破。
目前，TDSQL也进行了开源，并向开放原子开源基金会捐赠OpenTenBase，希望越来越多的开发者可以有更多机会参与到国产数据库的技术、生态建设中来，通过开源共创的方式，与上下游产业链以及开发者共同打造繁荣数据库技术生态。
-- 更多精彩 --