首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >TDSQL 在微信支付数据密集型应用落地实践

TDSQL 在微信支付数据密集型应用落地实践

作者头像
腾讯云数据库 TencentDB
发布于 2021-08-30 06:40:18
发布于 2021-08-30 06:40:18
6830
举报

日前,腾讯云数据库开源产品TDSQL PG版(开源代号TBase)宣布推出重磅升级——经过一年半的打磨,上万张表访问场景下,内存占用节省60%;查询性能提升百倍;SQL语句兼容性增强。同时,大力提升原有数据库版本在分布式场景下的易用性。

TDSQL PG版是一款具备HTAP能力、经过腾讯多年持续投入研发的数据库产品,是腾讯云数据库团队在开源的 PostgreSQL 基础上研发的企业级分布式HTAP数据库管理系统,能够提供成熟的一站式解决方案。腾讯云数据库技术总监李跃森介绍到,“在首次开源的10天内,TDSQL PG版的Star数就达到了500多个。开源不久,就受到了欧洲航天局、国家天文台,以及医疗健康、零售等各个行业用户的青睐。”

作为新一代分布式企业级数据库管理系统,TDSQL 一直以来都应用于微信支付核心系统,支持微信支付实现高性能、高可用、数字化应用。近年来,微信支付基于TDSQL PG版构建数据密集型应用,实现单表数据轻松突破TB级海量存储,TDSQL PG版高吞吐、高并发,自动扩容的能力,充分满足了微信支付的业务场景需求。

那微信支付应用TDSQL PG版的过程中经历了哪些故事?TDSQL PG版在微信支付系统中又有哪些典型应用案例呢?

1

微信支付与TDSQL PG版的陪跑历程

“如果要用一个形容词来描述微信支付与TDSQL PG版的关系,那就是‘你侬我侬’。”腾讯高级工程师万志颖在介绍微信支付案例时表示,“TDSQL PG版为我们提供武器,微信支付则为TDSQL PG版提供了充足的试炼战场。”

以微信支付的商户服务平台为例,该平台主要是为千万级的商家提供帐单明细下载及帐单复杂条件查询及统计分析的平台。最开始,平台使用开源MySQL作为底端存储。但随着京东等大商户的接入,交易笔数逐步提升,数据增长单机存储容量受限,微信支付遇到严重的容量瓶颈和性能瓶颈。在当时的技术背景下,微信支付迫切需要一个好的解决方案,于是就选择了TDSQL PG版。

TDSQL提供的解决方案很好地解决了微信支付遇到的问题。在容量问题上,TDSQL提供了海量数据存储的在线线性扩容能力;在大商户的数据倾斜问题上,TDSQL基于双KEY分布等机制解决了数据存储均匀分布的问题;在分页查询性能问题上,TDSQL提供了基于Index only scan索引的相关优化方案,解决了传统web应用分页场景中总条数查询耗时高的问题。

“在交易系统基础上的更进一步应用的过程中,我们发现TDSQL PG版相关特性十分适合用于数据仓库中的维表存储,于是在2021年微信支付基于TDSQL PG版搭建了数据仓库的维表管理系统,使其成为大数据生态中的重要组件。”万志颖介绍。

2

TDSQL PG版在微信支付的应用实践

近年来,TDSQL PG版助力微信支付构建数据密集型应用,持续拓展应用场景,在多个领域体现出比较优势,保证了业务的稳定性和连续性。在此以报表系统和维表系统为例介绍TDSQL PG版在微信支付的应用实践。

微信支付报表系统中,存在两种典型的读写模型:一种是基于spark离线计算平台周期性写入,比如一天写入一次,每次写的数据很少,但也有可能写的数据量是十亿级或者百亿级。另外一种是通过消息队列的方式进行实时写入来构建实时报表。因为写入端是大数据系统,每次写入的数据量极其巨大,因此对底层数据存储的写入性能要求比较高。相比于开源MySQL,TDSQL PG版在并行写入方面有明显优势,具备更好的并行写入性能及吞吐能力,可以大幅降低我们数据入库完成时间,也能够支撑实时报表等场景的需求。

在报表页面读取数据方面,TDSQL PG版相比较开源MySQL具备更为丰富的索引类型支持。例如微信支付有一个业务场景是从百亿级数据中模糊检索商户名称,在引入TDSQL PG版前该场景的查询耗时接近17秒,优化之后该场景的耗时直接降到50毫秒以内,性能实现了极大提升。

截至目前,TDSQL PG版已经累计承载了微信支付3600+报表的数据写入、存储和读取,报表打开时间均能稳定控制在3秒以内,为整个报表平台的性能带来极大的改善。

微信支付还基于TDSQL PG版来构建维表系统。维表是描述一个事物的不同角度,比如性别上的男和女,写代码时的枚举值也可以认为是一种维表。接下来就以枚举值为例阐述微信支付如何基于TDSQL PG版来构建维表系统。

微信支付所有系统的枚举值都是基于履约建表系统进行统一的录入,目前总共有2700+枚举值的数据,下游的OLTP数据仓库中的计算任务以及报表系统、运营系统都会读取这些枚举值。如果上游对枚举值进行了修改或者新增,而下游得不到感知,这就会给整个系统的稳定性造成严重后果。

为了解决这类问题,微信支付基于TDSQL PG版打通了OLTP系统与OLAP能力融合的维表系统,在OLTP维表管理系统中录入或更新维表数据后,不论是在在线业务中、Spark计算中或者是报表系统中,都能实时引用最小的枚举值数据参与计算。与此同时,数据使用方也可以直接在数据仓库中看到每个枚举值字段的枚举值,不需要一层一层去查询,枚举值管理的复杂性得以控制,降低了相应的质量风险,达到金融领域应用的要求,极大的提高了我们的维护效率。

在整体运营上,目前微信支付在TDSQL PG版的存储量已经达到400TB+,每秒的请求量超过24万次,99.6%的请求基本上耗时都可以控制在10毫秒以内,充分满足了微信支付的在性能和稳定性上的高要求。

TDSQL是腾讯云企业级分布式数据库,旗下涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,提供业界领先的金融级高可用、计算存储分离、数据仓库、企业级安全等能力,同时具备智能运维平台、Serverless版本等完善的产品服务体系。

截至2020年,TDSQL已对外服务数千家金融政企机构,同时广泛覆盖游戏、电商、移动互联网、云开发等泛互联网业务场景,助力新零售、教育、SaaS、广告等超过4000家行业客户进行数字化升级。

点击 阅读原文 有惊喜~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-08-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云数据库 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
技术创作特训营|“超级码力”技术闯关大挑战🚧
编程世界如同一场闯关小游戏,你是一名勇敢的开发者,迎难而上,突破一道道关卡,最终达成目标,赢得胜利。旅途中,困难、挫折、障碍无处不在,就像游戏中的谜题与陷阱,时刻考验你的智慧与毅力。但闯关的精髓不在于躲避挑战,而在于直面困境,快速学习、灵活应对,将每一个障碍化为前行的垫脚石,迈向更高的目标。
腾讯云开发者社区
2025/06/28
1.7K9
原创分享计划2025年4月特别激励活动
腾讯云开发者社区是腾讯云面向开发者打造的技术交流型社区,每月有1200W 用户访问社区学习技术、解决问题。为鼓励更多优质技术内容的输出与沉淀,社区面向腾讯员工发
腾讯云开发者社区
2025/04/02
4571
⚙️技术创作特训营 | 33 天实现自己的 AI 进化论💻
恭喜各位作者,请以上获奖作者在截止兑换前填写收货问卷完成兑奖。届时我们会通过社区站内信息提醒或微信沟通的方式提醒您填写,请留意。如有任何问题联系腾讯云开发者社区助理(微信号:yun_assistant)咨询。
腾讯云开发者社区
2025/03/07
84.2K15
21天技术创作挑战赛 | 2025重启人生特辑⏰ 这一次,我要夺回属于我的一切!🙋
作者获奖名单公布: 写口碑好文获奖 经过社区顾问团从创新性、实用性、可借鉴性、代码规范度等这几个维度的评分以及阅读数、点赞数、评论数、收藏数等维度的指标,综合
腾讯云开发者社区
2024/12/20
73.2K30
【玩转 EdgeOne】征文活动重磅来袭!速来参与赢好礼!
当你准备新游开服,想要玩家快速登陆稳定畅玩;当你需要电商跨境,担心被黑产刷单被客户薅羊毛;当你打算文娱出海,发现音视频卡顿直播延时问题频频出现...
腾讯云 EdgeOne
2023/09/21
1.5K0
【玩转 EdgeOne】征文活动重磅来袭!速来参与赢好礼!
【腾讯技术创作狂欢月】 第2期,写技术文章,赢丰富激励!
腾讯云开发者社区技术创作公益讲座【腾讯技术创作特训营第二季】第二期开启!腾讯云开发者社区联动小红书带来《AI大爆炸时代的创作“开挂”指南》讲座(点击前往回顾)。
腾讯云开发者社区
2024/05/30
2.8K6
腾讯混元大模型代码能力全面升级,体验实践赢 Airpods
国产大模型进入长跑期,从参数至上转向实用优先。 9月7日,在2023腾讯全球数字生态大会上,腾讯混元大模型正式亮相,并宣布通过腾讯云对外开放。到目前,腾讯已有上
腾讯云开发者社区
2023/12/18
1.8K8
【玩转 Cloud Studio】有奖调研征文,千元豪礼等你拿
腾讯云开发者社区联合腾讯云 Cloud Studio 团队发起【玩转 Cloud Studio】有奖调研征文活动,想听听你玩转的独门秘籍,更有机械键盘、鹅厂公仔、CODING 定制公仔等你来拿!
腾讯云开发者社区
2022/08/08
9.2K34
原创分享计划特别激励活动
激励活动汇总 原创分享计划2025年4月特别激励活动(进行中) 原创分享计划2025年3月特别激励活动(已结束) 原创分享计划2025年2月特别激励活动(已结束
腾讯云开发者社区
2020/04/28
3.7K5
原创分享计划特别激励活动
原创分享计划8月特别激励活动
腾讯云开发者社区是腾讯云面向开发者打造的技术交流型社区,每月有1200W 用户访问社区学习技术、解决问题。为鼓励更多优质技术内容的输出与沉淀,社区面向腾讯员工发
腾讯云开发者社区
2024/08/05
4200
腾讯混元大模型招募产品测评官,多重好礼等你来赢!
腾讯混元大模型是由腾讯全链路自研的实用级大模型,拥有超千亿参数规模、预训练语料超2万亿tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。腾讯已将大模型技术深度应用到多个业务场景中,包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等在内的超百个业务和产品,已经接入腾讯混元大模型测试。
腾讯云开发者社区
2023/10/11
5.5K1
云开发 Copilot |首批玩家征集令!互动抢¥800元京东卡,赢新款蛇年鹅
作者获奖名单公布: 奖项 作者UID 作者昵称 获奖作品 最佳创作奖 10671860 努力的小雨 圆梦:借助云开发 CloudBase实现我的游戏开发梦想 卓
腾讯云开发者社区
2024/11/20
307.4K14
《云安全最佳实践-创作者计划》火热征文中,发布文章赢千元好礼!
腾讯云开发者社区联合腾讯云安全中心团队发起【云安全最佳实践-创作者计划】有奖征文活动,想听听你玩转的独门秘籍,发布文章赢千元好礼!
腾讯云开发者社区
2022/09/09
10.5K32
【21天技术创作挑战赛】2024好事接龙特辑🐲
作者获奖名单公布: 好事佳作获奖 经过社区顾问团从创新性、实用性、可借鉴性、代码规范度等这几个维度的评分以及阅读数、点赞数、评论数、收藏数等维度的指标,综合得出
腾讯云开发者社区
2024/11/08
25.2K8
【腾讯技术创作狂欢月】“码”上创作 21 天,分 10000 元奖品池!
腾讯云开发者社区技术创作公益讲座【腾讯技术创作特训营】升级回归!本季旨在联结一切能让开发者技术创作更轻松 | 更高效 | 更优质 的伙伴团队,打破技术创作高不可
腾讯云开发者社区
2024/04/12
3.6K12
【腾讯技术创作狂欢月】“码”上创作 21 天,分 10000 元奖品池!
腾讯云MCP头号玩家征集令|分享实践方案,赢SWITCH游戏机!
作者获奖名单公布: 奖项 作者UID 作者昵称 获奖作品 卓越贡献奖 7288866 六月的雨在Tencent 腾讯云COS MCP Server + Code
腾讯云开发者社区
2025/04/30
8.6K1
原创分享计划4月特别激励活动
腾讯云开发者社区是腾讯云面向开发者打造的技术交流型社区,每月有1200W 用户访问社区学习技术、解决问题。为鼓励更多优质技术内容的输出与沉淀,社区面向腾讯员工发
腾讯云开发者社区
2024/04/01
5010
原创分享计划4月特别激励活动
腾讯21天技术日志挑战赛,等你来战!
腾讯云开发者社区技术创作公益讲座【腾讯技术创作特训营第二季】第3期开启!腾讯云开发者社区带来《内容IP:技术人的最终归宿?》讲座(点击前往回顾)。本期我们讨论了
腾讯云开发者社区
2024/07/18
4.9K16
【2023腾讯·技术创作特训营】第二期作品提交区 | 发文瓜分价值10000元奖池, 新手友好
腾讯云开发者社区技术创作公益讲座【2023腾讯·技术创作特训营 第2期 | 技术人如何用创作技能开启职业新爆发点?】已完结。4位创作行家从不同视角,手把手教你成为新一代技术 KOL(您可滑动到帖子末尾查看干货回放视频和讲师PDF材料)。纸上得来终觉浅,唯有实践出真知。本次面向所有领域开发者征集不限命题技术文章。
腾讯云开发者社区
2023/09/14
7.8K25
【2023腾讯·技术创作特训营】第二期作品提交区 | 发文瓜分价值10000元奖池, 新手友好
【玩转 EdgeOne】征文活动重磅来袭!速来参与赢好礼!
当你准备新游开服,想要玩家快速登陆稳定畅玩;当你需要电商跨境,担心被黑产刷单被客户薅羊毛;当你打算文娱出海,发现音视频卡顿直播延时问题频频出现...
腾讯云开发者社区
2023/09/14
5.8K18
【玩转 EdgeOne】征文活动重磅来袭!速来参与赢好礼!
推荐阅读
技术创作特训营|“超级码力”技术闯关大挑战🚧
1.7K9
原创分享计划2025年4月特别激励活动
4571
⚙️技术创作特训营 | 33 天实现自己的 AI 进化论💻
84.2K15
21天技术创作挑战赛 | 2025重启人生特辑⏰ 这一次,我要夺回属于我的一切!🙋
73.2K30
【玩转 EdgeOne】征文活动重磅来袭!速来参与赢好礼!
1.5K0
【腾讯技术创作狂欢月】 第2期,写技术文章,赢丰富激励!
2.8K6
腾讯混元大模型代码能力全面升级,体验实践赢 Airpods
1.8K8
【玩转 Cloud Studio】有奖调研征文,千元豪礼等你拿
9.2K34
原创分享计划特别激励活动
3.7K5
原创分享计划8月特别激励活动
4200
腾讯混元大模型招募产品测评官,多重好礼等你来赢!
5.5K1
云开发 Copilot |首批玩家征集令!互动抢¥800元京东卡,赢新款蛇年鹅
307.4K14
《云安全最佳实践-创作者计划》火热征文中,发布文章赢千元好礼!
10.5K32
【21天技术创作挑战赛】2024好事接龙特辑🐲
25.2K8
【腾讯技术创作狂欢月】“码”上创作 21 天,分 10000 元奖品池!
3.6K12
腾讯云MCP头号玩家征集令|分享实践方案,赢SWITCH游戏机!
8.6K1
原创分享计划4月特别激励活动
5010
腾讯21天技术日志挑战赛,等你来战!
4.9K16
【2023腾讯·技术创作特训营】第二期作品提交区 | 发文瓜分价值10000元奖池, 新手友好
7.8K25
【玩转 EdgeOne】征文活动重磅来袭!速来参与赢好礼!
5.8K18
相关推荐
技术创作特训营|“超级码力”技术闯关大挑战🚧
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档