本文为您介绍 TDSQL-C MySQL 版基于 LibraDB 引擎实现的全新功能:只读分析引擎。
说明:
背景
TDSQL-C MySQL 版作为云原生数据库产品,在支撑高并发、强一致、企业级数据库特性上做了非常多的优化工作。其基于 TXSQL 引擎支持了高性能的在线事务处理能力。但是,除了利用数据库服务于高 QPS 的在线事务外,很多业务系统还需要对数据进行挖掘,利用数据库进行数据分析,以帮助企业进行更好的业务决策,推动业务的迭代创新,快速适应市场环境的变化。
传统数据库为了支持高性能的在线事务处理能力,并且保证业务查询的稳定性,通常在存储结构上选择了行式存储,在执行模型上选择了火山模型,这使得其无法高效的服务分析类查询。当然,部分业务为了能够支持事务以及分析的混合负载选择了“传统数据库 + 数据仓库的解决方案”,但是这种方案为客户带来了高昂的维护成本,需要客户自己构建数据库到数据仓库的 ETL 工具,并且数据的实时性以及一致性也得不到很好的满足。
因此,腾讯云原生数据库 TDSQL-C MySQL 版全新支持了只读分析引擎功能,为用户提供高效且实时的数据分析服务。
什么是只读分析引擎
只读分析引擎是 TDSQL-C MySQL 版支持的全新功能,此功能基于 LibraDB 引擎实现,基于只读实例提供服务。其可插拔式的引擎设计可以实现灵活的创建以及销毁,同时为用户提供海量数据处理与高效实时的复杂分析能力。
功能优势
高速分析引擎 LibraDB
LibraDB 引擎支持以非常低的执行时延从 TB 级数据中完成复杂查询分析,让您的业务分析系统可以高效地从海量数据库中及时获取到有用的信息。LibraDB 引擎支持向量化引擎、大规模并行执行等针对分析类查询的加速特性,无论是在超大表的多表 JOIN、数据聚合和排序,还是复杂嵌套 SQL 等查询场景,LibraDB 引擎都能提供出色的性能体验。
可插拔式分析引擎
LibraDB 引擎兼容 MySQL 协议和语法,用户无需修改业务逻辑,可以直接将复杂的查询语句放置于 LibraDB 中执行,同时亦可根据业务的实际情况选择是否开启只读分析引擎,并且在无需分析加速的时候,可随时关闭只读分析引擎,以达到控制成本的目的。
实时列存数据加载能力
通过 LibraDB 引擎内置的数据同步组件,可快速将 TDSQL-C MySQL 版中的存量数据加载至只读分析引擎中。同时在完成数据加载后,亦可实时同步在读写实例中对数据的所有变更,使行列数据变得实时一致。另外,针对传统列式存储在高并发数据更新与删除的场景中数据变更低效的问题,LibraDB 引擎也提供了在高并发数据更新场景下的列式存储能力,可以支撑实时的数据同步,以达到0延时的效果。
指定数据加载能力
作为传统的只读实例而言,所有的主库数据均需要同步到从库中。但是对于只读分析引擎而言,可以支持指定对象加载到分析引擎中,而不是一定要求所有的对象。用户可以指定需要使用只读分析引擎加速的库表,或者有数据分析价值的库表加载到只读分析引擎中进行数据分析,灵活控制只读分析引擎所占用的磁盘大小。
超高数据压缩率
基于列式存储的结构,提供超高数据扫描性能的同时,还能够同时提供平均4 - 5倍的压缩率,大幅度降低存储的成本。
完善的云上托管能力
无需运维复杂的 ETL 逻辑,无需关心数据库的后端运维,通过全托管的产品设计,让您获得开箱即用的数据分析能力体验。同时,通过全面监控功能,从 TXSQL 到分析引擎,从链路层到存储层,精心筛选出核心指标,为您去繁化简,让您能迅速通过关键指标了解实例健康情况,为业务系统的使用提供有效的优化指引。除此之外,您还可以自定义阈值告警,提前防范可能出现的异常情况。
适用场景
只读分析引擎旨在为用户提供实时的高性能数据分析,以帮助用户解决自行构建 ETL 工具同步数据的复杂运维难题。通过只读分析引擎的功能,用户可以轻松地一键化地构建数据分析实例,以作为业务决策的依据,充分发挥数据的价值。
报表分析、实时看板
面向企业内部分析和管理者的报表系统,可以及时、实时地查看到业务系统线上的运行情况;或者面向业务运营的数据分析业务。此类业务场景中的查询 SQL 复杂,且查询模式不固定,需要较高的吞吐,同时线上数据较多,使用只读分析引擎可满足业务在此类场景下的实时性与高性能。
用户画像、行为分析
在广告业务、游戏运营场景下,经常会需要针对用户行为、用户画像进行深度分析,分析后的结果用于实时的经营决策。此类场景数据量大、需要及时返回数据分析结果,查询 QPS 较高,使用只读分析引擎,用户可以在此类场景中快速获得需要分析的数据,用于用户行为分析,以作为精准推送相关业务的决策依据。
实时数据仓库
在电商大促订单的数据分析、物流行业的运单分析、金融行业的绩效分析、指标计算、直播质量分析、广告推送分析、智能驾驶舱、探针分析场景下亦可使用只读分析引擎以获取超高的复杂查询性能。
大数据对账、批量计算
在一些在线业务中,特别是与金钱有关的业务场景中,需要定时对数据进行统计合并的对账计算,在传统的行式数据中进行数据批量计算对账效率低,资源消耗高,无法快速的达到业务预期。通过借助只读分析引擎的超强并发计算能力,可以以极高的效率来完成业务需求。