最近,数据库领域“奥林匹克”成绩张榜,在数据库“决策支持类”性能测试 TPC-DS 中:腾讯云数据库 TDSQL 以超强性能(7260万 QphDS)和超高性价比(37.52元/kQphDs)登上榜首——比原世界纪录保持者强282%、省37%!
数据库的领域没有弯道超车,这样的提升背后,底层的技术实现都做了哪些功课?本篇文章将为你揭秘!
关注腾讯云开发者,一手技术干货提前解锁👇
在此跟各位腾讯云的开发者读者们汇报一下,腾讯云数据库 TDSQL 现已登顶数据库 OLAP 和 OLTP 场景的双榜世界第一!
去年,腾讯云数据库 TDSQL 在数据库“事务处理类”性能测试 TPC-C 中刷新世界记录,登顶榜首。
近日,在最新发布的数据库“决策支持类”性能测试 TPC-DS 中,腾讯云数据库 TDSQL 以7260万分、37.52元同时刷新性能和性价比纪录,登顶世界第一。
给不清楚背景的大家介绍一下:
TPC-DS 是一个针对数据库管理系统分析性能的基准测试,它模拟一个大型零售商销售数据的在线数据分析(OLAP)场景,通过 99 个不同类型的分析任务,考察底层数据库的处理耗时、并发性能和导数性能等指标,是数据库产品分析处理能力和技术先进性的世界级标准。
在本次测试中,TDSQL 99个复杂分析任务单任务平均耗时 4 秒以内,领先榜单第二名一倍;多任务并行计算平均耗时 8 秒以内,领先两倍,以 7260 万分的性能评分,将决策支持类榜单纪录提升282%。在复杂任务处理能力大幅提升的基础上,TDSQL 将每1000评分的价格相比同类产品减少1/3,同时刷新 TPC-DS 性能与性价比纪录。
外行看热闹,内行看门道。在数据库的极致场景中,实现百分比级别的性能提升已是不易,而将性能翻倍的同时,还能做到成本下降,这背后就不是简单的硬件堆料、软件调优所能实现的了。
怎么做到的?
联机分析处理(OLAP)场景下,如何充分发挥每个算力单元的极致潜力,以及确保每个任务之间不等待和阻塞,一直是数据库领域的重点攻关方向。
TDSQL 本次打榜的核心要求是,使用尽可能少的资源,在 10TB 数据量下,做到各项计算任务的秒级响应。
这背后的三个核心优化方向,就是 TDSQL 自研的三大技术能力:更合理的分布式交互、更高的并行资源利用率和单核性能的极致优化。
TDSQL 的分布式交互能力是通过自研的 MPP(大规模并行处理)执行框架实现的。
该框架优化了主流 OLAP 数据库应用中的“pull”模型,解决了数据传输中的“拥堵”问题。在设计上,TDSQL 采用了自底向上的数据推送方式,替代了传统的自顶向下的数据请求方式,每个节点主动推送所需数据,而不是等待上层节点请求。这种设计允许查询分片之间的充分解耦,使得分片间的通信和配合更加高效,从而确保所有计算任务能够全速顺畅运行。
TDSQL 在并行计算方面的能力是通过自研的并行执行框架实现。
该框架彻底去除了并行进程间的阻塞依赖,使得 CPU 利用率提高至95%以上。TDSQL 通过细粒度的任务分解和动态资源调度,确保每个 CPU 核心都能被充分利用。TDSQL 采用了数据并行、任务并行和管道并行等多维并行策略,这些策略协同工作,使得大规模数据处理任务能够以极高的效率执行。
此外,TDSQL 还优化了内存管理和 I/O 操作,进一步降低了并行计算中的延迟。这种设计使得 TDSQL 在处理大规模数据集时,能够显著提升性能,尤其是在复杂的数据分析任务中表现突出。
对于单核极致性能的追求,TDSQL 团队自主研发了列式存储和向量化执行引擎。
列式存储优化了数据的物理存储方式,使得数据按列存储,提高了数据压缩比和数据读取效率。向量化执行引擎则利用现代 CPU 的 SIMD 指令集,实现了单条指令处理多条数据,显著提升了数据处理速度。TDSQL 通过深度优化算法和数据结构,以适应新一代 CPU 的特性,实现单核效率的倍数提升。
这种极致的性能优化,使得 TDSQL 在处理大规模数据分析任务时,能够以更少的资源消耗实现更快的处理速度。
基础软件的国产化从来没有一蹴而就,数据库的场景下也从来不存在弯道超车。
TDSQL 在去年和今年的两次打榜,是在产品的多年打磨,场景上的持续突破的积累下,一次对自身能力的阶段性总结与展示。
TDSQL 在创立之初,便服务于腾讯内部客户,如微信支付、腾讯广告等业务,提供强一致高可用、功能完备的夯实基础能力。在第二阶段走出腾讯,面向企业客户,自研 MPP 架构,实现了 TP+AP 的融合架构。在攻坚金融行业的第三阶段,TDSQL 做到了平滑迁移前提下的极致性能。
十年磨一剑,一剑震九州。
在国内的技术环境里,对国内技术产品做到世界顶级的希望是一种朴素的追求,没做到就是没做好。然而这其中的技术挑战有多难,或许也只有亲历者才能略知一二。
腾讯云 TDSQL 的打榜登顶,并不意味着 TDSQL 在极致性能、产品优化、服务提升上已经做到完美,而是激励着我们不断去突破自我,为中国乃至世界客户提供更优质的企业服务。
-End-
原创作者|腾讯云开发者
评论区留下你对 TDSQL 的祝福,我们将选取点赞本文并且留言评论的 5 位读者,送出腾讯云开发者定制发财按键1个(见下图),11月8日中午12点开奖。
📢📢欢迎加入腾讯云开发者社群,享前沿资讯、大咖干货,找兴趣搭子,交同城好友,更有鹅厂招聘机会、限量周边好礼等你来~