腾讯云TDSQL团队与国内外高校合作的3项研究成果成功入选ICDE 2025。这些成果聚焦数据库隔离性验证、在线事务检测和跨地域事务处理等实际应用中的技术难点。本文将围绕跨地域分布式事务处理场景中,如何提升事务处理性能这一核心议题展开探讨。
标题:GeoTP: Latency-aware Geo-Distributed Transaction Processing in Database Middlewares
作者:庄琪钰,史心悦,刘爽,卢卫,赵展浩,陈育兴,李彤,潘安群,杜小勇
单位:中国人民大学,腾讯
关键词:分布式事务,跨域网络,可串行化,中间件
GeoTP技术通过去中心化准备机制、延迟感知调度及启发式优化,显著提升了地理分布式场景下的分布式事务处理性能,实验验证其性能提升最高达17.7倍,是跨空间域场景中分布式事务处理技术的前沿探索。其轻量化的设计无需修改数据库内核,可快速集成至现有中间件,适用于腾讯云的金融跨境支付、全球电商订单处理等高并发场景。
// 技术背景与行业痛点
在全球化业务场景中,数据库中间件(如Apache Shardingsphere、ScalarDB)承担着跨地域异构数据库的无缝连接任务。然而,高网络延迟和长锁竞争时间严重制约系统效率,传统方案(如Carousel、Natto等)没有充分考虑跨空间域网络时延差异性,导致资源浪费和性能瓶颈;其次它们没有考虑异构引擎,因此无法直接应用于异构多源数据库场景。
// GeoTP的核心创新
在跨空间域场景中,事务处理的性能瓶颈主要由两个因素造成:①由于多轮的跨域网络通信,分布式事务的执行时延较长;②分布式事务的持锁时间较长,与之存在冲突的单机事务的执行时间较长。为此,GeoTP 针对性地提出了三项关键技术:
1. 去中心化准备机制
分布式事务通常采用两阶段提交策略来保证事务的原子性,这引入了至少两轮跨域网络通信。为了减少分布式事务的执行时延,GeoTP提出了去中心化准备机制,通过隐式触发准备阶段,减少50%的广域网(WAN)通信轮次,降低分布式事务延迟。
2. 时延感知调度
分布式事务需要等待所有子事务返回后才能进入下一阶段,而跨域网络时延的巨大差异导致各子事务执行时间不均衡,造成不必要锁持有时间过长,严重影响系统并发性能。为了解决这一问题,GeoTP提出了时延感知调度,根据跨域网络差异性动态调整子事务的执行时间,优先调度低延迟数据源任务,缩短锁持有时间。确保锁释放时间不变,提升系统并发能力。
3. 高竞争负载优化
在高冲突场景中,子事务的本地执行时间不可忽略,单纯考虑网络时延调整并不准确。GeoTP结合实时统计管理热点数据访问信息,设计启发式算法预测子事务的本地执行时间并修正时延感知调度机制,进一步减少高冲突场景下的不必要锁持有时间,提高系统的并发能力。
基于YCSB和TPC-C基准测试,GeoTP在Apache Shardingsphere与ScalarDB上的表现远超同类方案:
● 吞吐量 :相比ScalarDB+提升3.22倍,对比传统中间件Shardingsphere(SSP)提升17.7倍。
● 延迟优化 :平均延迟降低66.6%,p99延迟减少84.3%,且对网络波动具备强鲁棒性。
● 异构兼容 :在MySQL与PostgreSQL混合场景下,性能优势持续保持。
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有