前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >情况说明:国产拿了数据库世界第一

情况说明:国产拿了数据库世界第一

作者头像
腾讯云开发者
发布2024-11-01 09:56:58
1320
发布2024-11-01 09:56:58
举报
文章被收录于专栏:【腾讯云开发者】

最近,数据库领域“奥林匹克”成绩张榜,在数据库“决策支持类”性能测试 TPC-DS 中:腾讯云数据库 TDSQL 以超强性能(7260万 QphDS)和超高性价比(37.52元/kQphDs)登上榜首——比原世界纪录保持者强282%、省37%!

数据库的领域没有弯道超车,这样的提升背后,底层的技术实现都做了哪些功课?本篇文章将为你揭秘!

关注腾讯云开发者,一手技术干货提前解锁👇

01、OLAP 、OLTP:双料世界第一

在此跟各位腾讯云的开发者读者们汇报一下,腾讯云数据库 TDSQL 现已登顶数据库 OLAP 和 OLTP 场景的双榜世界第一!

去年,腾讯云数据库 TDSQL 在数据库“事务处理类”性能测试 TPC-C 中刷新世界记录,登顶榜首。

近日,在最新发布的数据库“决策支持类”性能测试 TPC-DS 中,腾讯云数据库 TDSQL 以7260万分、37.52元同时刷新性能和性价比纪录,登顶世界第一。

给不清楚背景的大家介绍一下:

TPC-DS 是一个针对数据库管理系统分析性能的基准测试,它模拟一个大型零售商销售数据的在线数据分析(OLAP)场景,通过 99 个不同类型的分析任务,考察底层数据库的处理耗时、并发性能和导数性能等指标,是数据库产品分析处理能力和技术先进性的世界级标准。‍

在本次测试中,TDSQL 99个复杂分析任务单任务平均耗时 4 秒以内,领先榜单第二名一倍;多任务并行计算平均耗时 8 秒以内,领先两倍,以 7260 万分的性能评分,将决策支持类榜单纪录提升282%。在复杂任务处理能力大幅提升的基础上,TDSQL 将每1000评分的价格相比同类产品减少1/3,同时刷新 TPC-DS 性能与性价比纪录。

外行看热闹,内行看门道。在数据库的极致场景中,实现百分比级别的性能提升已是不易,而将性能翻倍的同时,还能做到成本下降,这背后就不是简单的硬件堆料、软件调优所能实现的了。

怎么做到的?

02、三大自研技术能力

联机分析处理(OLAP)场景下,如何充分发挥每个算力单元的极致潜力,以及确保每个任务之间不等待和阻塞,一直是数据库领域的重点攻关方向。

TDSQL 本次打榜的核心要求是,使用尽可能少的资源,在 10TB 数据量下,做到各项计算任务的秒级响应。

这背后的三个核心优化方向,就是 TDSQL 自研的三大技术能力:更合理的分布式交互、更高的并行资源利用率和单核性能的极致优化。

TDSQL 的分布式交互能力是通过自研的 MPP(大规模并行处理)执行框架实现的。

该框架优化了主流 OLAP 数据库应用中的“pull”模型,解决了数据传输中的“拥堵”问题。在设计上,TDSQL 采用了自底向上的数据推送方式,替代了传统的自顶向下的数据请求方式,每个节点主动推送所需数据,而不是等待上层节点请求。这种设计允许查询分片之间的充分解耦,使得分片间的通信和配合更加高效,从而确保所有计算任务能够全速顺畅运行。

TDSQL 在并行计算方面的能力是通过自研的并行执行框架实现。

该框架彻底去除了并行进程间的阻塞依赖,使得 CPU 利用率提高至95%以上。TDSQL 通过细粒度的任务分解和动态资源调度,确保每个 CPU 核心都能被充分利用。TDSQL 采用了数据并行、任务并行和管道并行等多维并行策略,这些策略协同工作,使得大规模数据处理任务能够以极高的效率执行。

此外,TDSQL 还优化了内存管理和 I/O 操作,进一步降低了并行计算中的延迟。这种设计使得 TDSQL 在处理大规模数据集时,能够显著提升性能,尤其是在复杂的数据分析任务中表现突出。

对于单核极致性能的追求,TDSQL 团队自主研发了列式存储和向量化执行引擎。

列式存储优化了数据的物理存储方式,使得数据按列存储,提高了数据压缩比和数据读取效率。向量化执行引擎则利用现代 CPU 的 SIMD 指令集,实现了单条指令处理多条数据,显著提升了数据处理速度。TDSQL 通过深度优化算法和数据结构,以适应新一代 CPU 的特性,实现单核效率的倍数提升。

这种极致的性能优化,使得 TDSQL 在处理大规模数据分析任务时,能够以更少的资源消耗实现更快的处理速度。

03、打榜不是目的,成功没有捷径

基础软件的国产化从来没有一蹴而就,数据库的场景下也从来不存在弯道超车。

TDSQL 在去年和今年的两次打榜,是在产品的多年打磨,场景上的持续突破的积累下,一次对自身能力的阶段性总结与展示。

TDSQL 在创立之初,便服务于腾讯内部客户,如微信支付、腾讯广告等业务,提供强一致高可用、功能完备的夯实基础能力。在第二阶段走出腾讯,面向企业客户,自研 MPP 架构,实现了 TP+AP 的融合架构。在攻坚金融行业的第三阶段,TDSQL 做到了平滑迁移前提下的极致性能。

十年磨一剑,一剑震九州。

在国内的技术环境里,对国内技术产品做到世界顶级的希望是一种朴素的追求,没做到就是没做好。然而这其中的技术挑战有多难,或许也只有亲历者才能略知一二。

腾讯云 TDSQL 的打榜登顶,并不意味着 TDSQL 在极致性能、产品优化、服务提升上已经做到完美,而是激励着我们不断去突破自我,为中国乃至世界客户提供更优质的企业服务。

-End-

原创作者|腾讯云开发者

评论区留下你对 TDSQL 的祝福,我们将选取点赞本文并且留言评论的 5 位读者,送出腾讯云开发者定制发财按键1个(见下图),11月8日中午12点开奖。

📢📢欢迎加入腾讯云开发者社群,享前沿资讯、大咖干货,找兴趣搭子,交同城好友,更有鹅厂招聘机会、限量周边好礼等你来~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-11-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云开发者 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 01、OLAP 、OLTP:双料世界第一
  • 02、三大自研技术能力
  • 03、打榜不是目的,成功没有捷径
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档