首页
学习
活动
专区
圈层
工具
发布

DBPlusEngine 1.7.2 发布:数据安全闭环与联邦查询突破

版本导读

DBPlusEngine 1.7.2 的核心价值,集中在数据安全闭环与联邦查询突破两条主线。

数据安全方面,版本围绕加密 SQL 算子全支持、性能损耗极致压缩、密文存储膨胀率大幅压降、数据防篡改和应用账户级免改造脱敏持续增强。分布式查询方面,DBPlusEngine 1.7.2 以联邦查询承接 Data Fabric 的数据虚拟化访问思路,让跨源关联聚合查询在无需复制数据的前提下,回到统一 SQL 体系中完成。

DBPlusEngine 1.7.2 正式发布

DBPlusEngine 1.7.2 聚焦两个企业级数据库难题:数据安全闭环和跨源关联聚合查询落地。

数据安全进入核心系统,关键在于建立一条可持续运营的安全链路:敏感数据在存储层加密保存,在使用层支持密态查询与计算,在访问层通过账户级脱敏控制最小可见范围,在可信层通过完整性校验识别篡改风险。DBPlusEngine 1.7.2 围绕这条链路持续增强,让敏感数据既能被保护,也能在核心业务中安全使用。

联邦查询的价值,在于让分散在不同分片、不同数据源类型、不同业务域中的数据,通过统一 SQL 入口完成关联、聚合、校验和计算。DBPlusEngine 1.7.2 以联邦查询承接 Data Fabric 的数据虚拟化访问思路,让跨源关联聚合查询在不以数据复制为前提的情况下转化为可直接使用的业务能力。

DBPlusEngine 作为 Apache ShardingSphere 原厂企业版,1.7.2 继续沿着这两条路径增强,把数据安全能力和分布式查询能力同时推向企业级生产场景。

原厂企业版:以 ShardingSphere 原厂能力支撑企业级生产落地

DBPlusEngine 是 Apache ShardingSphere 原厂企业版产品,基于 ShardingSphere 同源技术体系持续演进,面向企业核心系统提供生产级增强能力。

Apache ShardingSphere 以开放、可插拔的 Database Plus 架构为基础,提供分片、读写分离、分布式事务、SQL 联邦、数据加密、数据脱敏、审计和可观测等数据库增强能力。DBPlusEngine 在承接 ShardingSphere 原生架构与核心能力的基础上,进一步面向企业级场景强化复杂 SQL 支持、数据安全治理、跨源查询、异构数据库适配和生产兼容能力。

在企业核心系统中,数据库增强能力需要同时满足安全性、兼容性、稳定性和可治理性要求。敏感数据治理需要覆盖加密存储、密态查询、账户级脱敏和完整性校验;分布式数据访问需要覆盖跨分片关联、跨数据源类型关联、跨业务域聚合与校验;存量系统接入还需要兼顾历史 SQL、数据库方言、国产数据库适配和上线风险控制。

DBPlusEngine 1.7.2 围绕这些生产级要求继续增强。作为 ShardingSphere 原厂企业版,DBPlusEngine 的价值在于将开源内核能力、原厂技术理解和企业级产品增强整合在同一套体系中,为行业客户提供更确定的核心系统升级路径。

数据安全闭环:从免改造加密走向企业级安全治理

Apache ShardingSphere 开源版提供了数据加密和数据脱敏的基础能力,也奠定了数据库免改造加密的技术路径。通过 SQL 解析、路由、改写和结果归并,应用可以在尽量少改造业务代码的前提下,对敏感字段进行加密存储和透明访问。这也是 ShardingSphere 在数据安全领域形成影响力的重要基础。

然而,企业核心系统对数据安全的要求更高。

在实际应用场景中,基于等值查询和模糊查询的免改造加密只是起点。大量业务 SQL 会涉及比较运算、范围查询、排序分组、数学运算、自定义函数、子查询、视图和存储过程。开源基础能力在复杂 SQL 算子覆盖、极致性能优化、密文存储膨胀控制、数据防篡改、应用账户级脱敏等方面,仍然难以完整覆盖客户对核心系统的要求。

DBPlusEngine 作为 Apache ShardingSphere 原厂企业版,最了解开源产品能力的不足,也正是在这些生产级要求上进行增强。1.7.2 进一步补齐数据安全闭环能力:加密 SQL 算子全支持、性能损耗极致压缩、密文存储膨胀率大幅压降、数据防篡改、应用账户级免改造脱敏。

加密 SQL 算子全支持

企业级加密改造的核心系统中的 SQL 承载着查询、过滤、关联、分组、排序、聚合、表达式计算和报表统计等复杂业务语义。加密字段一旦无法参与这些 SQL 计算,应用层就会被迫重写查询逻辑,改造成本迅速放大。外采系统、老旧系统和缺少源码的系统,尤其难以或无法承受这类改造。

DBPlusEngine 1.7.2 全面增强加密 SQL 算子全支持能力,让敏感数据在加密状态下可以参与任何复杂 SQL 计算。应用侧无需感知字段是否加密,无需重写 SQL,无需改造业务逻辑,即可满足数据安全合规存储的要求。

这意味着,外采系统、封闭系统和历史遗留系统全部可以在不修改源码、不改业务 SQL 的前提下推进敏感数据加密治理。对企业来说,这才是“免改造加密”真正进入核心系统的关键。

性能损耗极致压缩

加密能力进入核心业务链路后,性能开销会直接影响交易吞吐、响应时延和系统容量规划。对于高并发、低延迟场景,性能损耗控制能力决定了敏感数据治理能否从合规要求转化为可生产运行的系统能力。

按照当前产品压测口径,DBPlusEngine 1.7.2 将加密 SQL 的性能损耗控制在 5% 以内,将不加密 SQL 的性能损耗控制在 1% 以内。

这一指标为核心交易链路提供了更明确的上线预期。应用系统推进敏感数据改造时,可以在安全合规、业务性能和系统稳定性之间取得更可控的平衡,降低从试点系统推广到核心系统的性能风险。

密文存储膨胀率大幅压降

敏感字段加密后,密文长度会直接影响存储成本、备份成本和容量规划。对于大规模数据表,密文存储膨胀率会在长期运行中持续放大资源压力。

DBPlusEngine 1.7.2 对密文存储开销进行了紧凑存储的优化,进一步降低加密后带来的存储膨胀。膨胀率从开源版的100%~300%降低至15%。

这类优化对大规模敏感数据治理非常关键。它不仅影响数据库容量,也会影响备份、归档、迁移、容灾和长期运维成本。密文存储膨胀率被有效压降后,企业可以在更可控的资源成本下推进敏感字段加密改造。

支持数据防篡改

企业数据安全治理需要解决的不只是访问过程中的可见性问题,还包括数据在存储、流转和使用过程中的可信问题。

DBPlusEngine 1.7.2 通过数据完整性校验能力,为敏感数据建立可验证的可信机制。当关键业务数据发生异常变更或潜在篡改时,系统可以通过完整性校验发现风险,帮助企业从“数据可保护”进一步走向“数据可验证”。

对于高合规场景,数据防篡改能力可以用于关键业务流水等重要数据的可信校验。它与加密、脱敏共同构成数据安全闭环,让数据在存储、访问和使用过程中保持持续可信。

应用账户级免改造脱敏

企业级脱敏治理的关键,是按照真实业务身份动态控制数据可见范围。

传统数据库账户通常只能表达系统到数据库之间的访问身份,难以承载应用内部的用户、角色、组织、岗位和业务场景。核心业务系统需要应用账户级脱敏能力:同一条 SQL、同一张表、同一个字段,在不同应用用户访问时,可以返回不同的数据展示结果。

DBPlusEngine 1.7.2 支持自动读取应用系统的账户信息,并基于应用账户上下文进行差异化脱敏。业务系统无需改造 SQL,也无需额外改造权限逻辑,就可以将应用侧身份信息映射到统一的数据脱敏策略中。

这意味着,企业可以在不改造业务代码的前提下,实现面向不同用户、角色和访问场景的“千人千面”数据展示。脱敏策略不再局限于数据库账户,而是能够贴近真实业务身份体系,最大限度降低敏感数据暴露面。

联邦查询突破:从跨库访问走向跨源关联聚合

Apache ShardingSphere 开源版提供了联邦查询的基础能力,为分布式数据访问打开了统一 SQL 入口。通过联邦查询,开发者可以在开源体系中验证跨库查询、跨节点访问和结果归并等基础能力,也为后续跨源查询能力演进奠定了技术路径。

企业级跨源查询对联邦查询能力提出了更高要求。在生产环境中,跨库访问只是起点。真实业务往往需要跨分片 SQL 关联查询、跨数据源类型关联查询、跨业务域校验、跨源聚合计算和迁移比对。开源基础能力在 SQL 算子覆盖、执行引擎并发能力、内存风险控制、关联算子实现、跨源聚合和结果归并等方面,仍然难以完整覆盖企业大规模生产环境的要求。

具体来看,企业级联邦查询通常会遇到四类能力缺口

SQL 算子支持度不足:复杂跨源查询通常涉及复杂谓词、聚合、排序、分组、子查询、表达式以及多类关联查询场景,需要更完整的 SQL 算子支持能力。企业级场景还要求具备更高的 SQL 兼容度,确保应用侧可以稳定接入。

执行引擎并发能力不足:跨源查询涉及多数据节点、多执行片段和多结果集合并,执行链路的并发调度能力直接影响查询吞吐、响应时延和系统资源利用率。面对高并发跨源查询,基础执行能力很难支撑大规模生产负载。

内存风险控制不足:跨源关联和聚合场景下,大量中间数据可能进入内存,带来明显资源压力,极端情况下会影响系统稳定性。生产级联邦查询需要具备更完善的内存管理和磁盘交换能力,避免大数据量查询导致内存被打爆。

核心算子实现深度不足:不同的关联算子、聚合算子和结果归并策略会直接影响复杂查询执行效率。算子实现深度不足时,部分 SQL 即使能够执行,也难以在性能上满足生产环境要求。

这些能力缺口决定了联邦查询能否从技术验证走向生产可用。DBPlusEngine 1.7.2 的增强重点,正是围绕算子、执行、资源和跨源访问四条链路展开:先补齐开源基础能力的生产化短板,再面向跨分片、跨数据源类型和 Data Fabric 式数据虚拟化访问场景提供完整能力。

开源产品能力补全

DBPlusEngine 正是在这些生产级要求上进行增强。1.7.2 进一步补齐联邦查询生产化能力:跨分片 SQL 关联查询全支持、跨数据源类型关联查询全支持、执行引擎分布式并发能力增强、内存管理与磁盘交换能力增强、关联算子和跨源聚合能力增强。

企业版已经针对开源版联邦查询的关键生产化短板完成系统补齐。

在执行层,DBPlusEngine 采用更强大的分布式并发执行方式,将跨源查询拆分为可并行调度的执行片段,显著提升多数据源、多分片场景下的查询吞吐能力。

在资源层,DBPlusEngine 优化了联邦查询过程中的内存管理,并支持通过磁盘空间进行交换,降低大数据量跨源关联、聚合和结果归并带来的内存风险,避免查询数据量放大后触发内存崩溃。

在算子层,DBPlusEngine 补齐了大量联邦查询算子,尤其强化了关联算子、聚合算子和结果归并策略,在 SQL 支持完善度和复杂查询执行性能上实现显著提升。

这些能力共同推动联邦查询从技术验证走向大规模生产可用。企业可以在不复制数据、不集中搬迁数据的前提下,通过统一 SQL 入口完成跨分片、跨数据源类型、跨业务域的数据关联、聚合和校验。

跨分片 SQL 关联查询全支持

分库分表解决了单库容量和吞吐问题,也带来了跨分片查询的新复杂度。

核心业务对象通常不会天然落在同一个分片中。订单、账户、客户、交易、账单、渠道等数据在拆分之后,仍然需要进行关联查询、核对分析和统一视图构建。传统做法往往依赖应用层多次查询再合并结果,业务代码会被迫承接大量数据访问细节。

DBPlusEngine 1.7.2 强化跨分片 SQL 关联查询能力,让分片后的数据继续通过统一 SQL 入口完成关联和计算。业务系统可以减少跨分片查询拼装逻辑,把分布式数据访问复杂度收敛到数据库增强层。

跨数据源类型关联查询全支持

企业数据库环境长期处于异构状态。交易型数据库、分析型数据库、多模数据库等数据库经常同时存在于同一套企业架构中。

异构环境下的跨源查询难度更高。不同数据库在 SQL 方言、数据类型、函数语义、执行能力和结果表达上存在差异。应用侧直接处理这些差异,会导致代码复杂度持续上升,也会增加后续迁移和运维成本。

DBPlusEngine 1.7.2 强化跨数据源类型关联查询能力,通过统一 SQL 入口承接不同数据源之间的关联、聚合和校验需求。企业可以在不改变原有数据分布的情况下,形成跨数据库类型的数据访问能力。

Data Fabric 的数据虚拟化访问思路

DBPlusEngine 1.7.2 的联邦查询能力,可以放在 Data Fabric 的数据虚拟化访问思路下理解。

Data Fabric 的核心意图,是让分散在不同系统、不同实例、不同数据库类型中的数据,在统一治理和统一访问入口下被连接起来。它强调对分布式数据的统一发现、统一访问、统一关联和统一计算。

DBPlusEngine 1.7.2 在这里承担的是数据虚拟化访问层能力。通过联邦查询,系统可以在不以跨源复制和集中搬迁为前提的情况下,直接从多个数据源提取数据,并完成跨分片、跨数据源类型的关联查询和计算。

过去,跨库关联查询、跨系统校验和迁移比对通常依赖应用侧拼装、ETL 同步,或者把数据复制到统一存储后再计算。应用侧拼装会把跨库逻辑写进业务代码;ETL 同步会带来链路延迟和额外存储成本;统一存储更适合分析型场景,对在线查询、迁移校验和轻量跨库协同并不总是合适。

DBPlusEngine 1.7.2 的联邦查询能力,让企业可以在保留原有数据分布的前提下,获得统一的数据访问能力。跨源关联聚合查询由数据库增强层承接,应用系统无需把跨库逻辑大量写入业务代码,也无需为了每一个查询场景建设额外的数据复制链路。

行业级大规模应用场景

DBPlusEngine 面向高复杂度、高稳定性要求、高合规要求的企业级数据库场景。

在金融、运营商、国央企、制造、消费等行业,大规模核心系统往往同时面临敏感数据保护、历史 SQL 兼容、国产数据库适配、跨库查询、分布式改造和生产运维治理等多重压力。

这些行业场景有一个共同点:数据库能力已经从单点功能走向系统工程。DBPlusEngine 的价值,就在于把 ShardingSphere 开源内核能力、企业级增强能力和生产落地经验放在同一套产品体系中。

从开源内核到企业级增强:DBPlusEngine的产品定位

DBPlusEngine 与 Apache ShardingSphere 的关系,可以直接概括为:DBPlusEngine 是 Apache ShardingSphere 原厂企业版产品。

Apache ShardingSphere 提供开放、可插拔、社区共建的 Database Plus 技术内核,适合开发者、社区用户和技术验证场景。DBPlusEngine 在同源技术基础上,进一步面向企业生产环境强化复杂 SQL 支持、数据安全治理、跨源查询、异构数据库适配和生产兼容能力。

因此,DBPlusEngine 的价值并不是替代开源技术,而是将 ShardingSphere 技术体系与企业级产品增强、原厂技术理解和生产落地经验结合起来,为核心系统提供更确定的升级路径。

结语

DBPlusEngine 1.7.2 的价值,可以归结为一句话:在数据安全和跨源关联聚合查询两条关键路径上,推动 ShardingSphere 技术体系更稳妥地进入企业级生产场景。

对已经采用 ShardingSphere 技术体系的客户,DBPlusEngine 提供了一条原厂企业版升级路径。对正在推进敏感数据治理、数据分片、跨库查询、在线迁移和核心系统低改造的客户,1.7.2 提供了更聚焦的产品能力组合。

企业数据库升级很少只涉及一个技术点。真正难处理的,往往是安全、SQL、跨源查询、异构数据库和生产兼容同时出现。DBPlusEngine 1.7.2 继续沿着这条路径向前,把开源内核能力转化为更适合企业生产环境的产品能力。

如需产品咨询或交流,可邮件联系:biz@sphere-ex.com。

或者长按识别下方二维码回复关键字“产品咨询”,与解决方案专家做进一步沟通和技术交流。

长按识别回复“产品咨询”

觉得文章对你有帮助,欢迎评论转发点赞~

关于 SphereEx

北京思斐软件技术有限公司(SphereEx)由全球知名开源项目 Apache ShardingSphere 核心团队创立。

SphereEx 以 ShardingSphere 为基石,进化为企业版的革新产品 DBPlusEngine,致力于为企业提供面向新一代数据架构的数据库增强引擎,提供企业级、云原生、智能化的数据即服务(DAS)、免改造数据安全平台、双轨并行数据总线及新一代数据智能体等产品和服务,满足大规模数据分布式、数据安全加密合规、信创数据库替换及数据智能化的多种核心场景。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/Ow0NIFwle1ZASziDYcXjNwcA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。
领券