海量数据融合互通丨TiDB 在安徽省住房公积金监管服务平台的应用实践

导读

安徽省住房公积金监管服务平台通过整合全省 17 家公积金中心的数据，致力于实现数据共享、规范化管理与高效数据分析。为了应对海量数据处理需求，安徽省选择 TiDB 作为底层数据库，利用其分布式架构和 HTAP 能力，实现了快速的数据分析与治理。TiDB 的高效性能提升了平台的数据处理能力和查询效率，为全省公积金数据的统一管理与共享提供了有力支持。

本文将详细介绍 TiDB 在平台中的应用与实际效果，以及 TiDB 如何帮助安徽省提升数据分析和治理能力。

安徽省住房公积金监管服务平台是一个集成了全省 17 家公积金中心数据的监管服务平台，此平台主要目标是构建一个省级住房数据平台，以满足国家数据标准，规范并统一省内住房公积金数据的应用。此外，它还需要与住建部的全国公积金数据共享平台以及省大数据局对接，以便实现省级数据的共享，并且能够为省数据共享提供可靠的数据支撑。

为实现全省公积金数据统一数据服务，提升公积金数据标准化、规范化、数据共享和服务能力能力，安徽公积金将 TiDB 作为安徽省住房公积金监管服务平台底层数据库。经过上线实践证明，TiDB 为安徽省住房公积金在海量数据融合互通、数据核查治理、数据分析时效性等方面带来了显著价值。

海量数据融合互通，基础架构面临挑战

平台功能介绍

目前安徽省住房公积金监管服务平台已具备一系列功能模块，包括首页、运营分析、统计报表、智慧大屏、数据治理、风险检查和系统管理。

其中，运营分析主要用于从不同维度分析公积金业务指标，统计报表则负责生成、填报和查询住建部规定的报表，同时也支持省级用户的报表导入、核对和更新。智慧大屏提供了综合和业务两大类可视化展示，而数据治理模块则涵盖了传数统计、数据检核和人工数据核对等功能，以确保数据的质量。风险检查方面，平台不仅支持公积金中心的自我检查，也支持省厅的检查，并可以根据需要添加新的检查模型。在系统管理上，平台提供了机构、岗位、角色和用户管理，以及数据字典和菜单管理等工具。另外，平台还具有年报功能，允许各公积金中心编辑和导出年度报告，并支持中心上传自定义的年报。

安徽省住房公积金监管服务平台需要提供以下功能：

1. 数据采集：从安徽省各市和安徽省公积金业务系统采集数据，包含公积金交易、转账等明细信息。
2. 数据分析：基于各市公积金上报业务明细数据进行统计分析，如根据根据公积金交易明细数据计算公积金核心经验业务指标，基于业务数据进行报表可视化展示等。
3. 数据加工治理：需要对各市级公积金上报数据进行统计、校对，并对上报数据进行统一建模加工形成统一的数据标准，确保数据规范和统一标准，以便提供与各市、外省以及全国公积金交换和共享数据。
4. 数据共享上报：安徽公积金数据规范之后需要再往全国公积金共享平台上报数据。

数据库技术选型要求

为了实现安徽省住房公积金监管服务平台上述功能要求，解决全省 17 个公积金系统海量数据融合互通能力，提升数据分析效性和数据加工治理等生产环境面对的痛点，安徽省住房公积金监管服务平台启动了原生分布式数据库的测试选型，具体的要求包括：

1. 数据扩展：需要数据库具备海量数据存储、汇聚和计算能力，实现多市海量数据汇聚和全省数据融合互通
2. 数据分析：需要数据库具备高性能数据分析能力，实现高性能经营指标分析、报表可视化展示和智慧大屏等业务
3. 数据加工治理：需要数据库具备高效数据加工能力，实现高效数据治理、统一建模等业务
4. 高可用：需要数据库具备多副本数据存储能力，提高关键海量数据完整性和高可用能力
5. 自主可控：需要数据库具备自主可控能力，确保业务连续性和自主可控

经过多轮对比测试和业务场景的验证，TiDB 满足了本次技术选型的所有指标。安徽省住房公积选择将 TiDB 作为国家免疫规划信息系统的底层数据库。

HTAP 架构赋能，TiDB 助力高效数据治理

经过多轮对比测试和业务场景的验证，TiDB 满足了本次技术选型的所有指标。安徽省住房公积金选择将 TiDB 作为安徽省住房公积金监管服务平台的底层数据库。

当前使用了 7 台 16vc/64G 服务器，其中 3 台服务器做 TiFlash 节点，使用 TiDB HTAP 能力一栈式支持数据分析、高并发数据汇聚和高效数据加工等能力。

系统架构图

<center>系统架构图</center>

目前所有应用模块已成功迁移到 TiDB 集群上，目前该系统已正式上线运行，全省 16 个市加安徽省公积金业务系统均与安徽省住房公积金监管服务平台的正式环境实现了对接，目前数据量接近 1 TB，经营指标、报表展示、智慧大屏等查询业务均在秒级别完成，显著提升了数据分析和查询效率。

总结与展望

结合系统的实际运行效果，总结 TiDB 为安徽省住房公积金带来的收益如下：

1. 海量数据处理：TiDB 使用存算分离架构，计算和存储节点都可以按需扩展。目前已经存储接近 1 TB 数据。
2. 高效数据分析：TiDB HTAP 能力单个 SQL 可以在多台服务器上并行计算，并且可以使用 TiFlash 列存做列存分析计算。经营指标、报表展示、智慧大屏等查询业务均在秒级别完成，提升了数据分析效率。
3. 数据加工治理：利用 TiDB 分布式和 HTAP 能力，结合应用数据治理模块拆批能力，实现超大数据量高效数据治理能力，统一全省数据标准。
4. 高可用：利用 TiDB 多副本和 Raft 金融级数据强一致性性，提升了数据高可用能力。
5. 自主可控：TiDB 为自主可控的开源数据库产品，满足自主可控需求。

安徽省住房公积金监管服务平台的成功实践证明了 TiDB 在处理海量数据、提升数据分析效率以及保障数据高可用性方面的卓越能力。

通过整合全省 17 家公积金中心的数据，平台实现了数据的统一管理和高效共享，为省级数据治理和全国公积金数据交换提供了坚实的技术支撑。TiDB 的分布式架构和 HTAP 能力不仅满足了平台当前的业务需求，还为未来的数据扩展和功能升级奠定了基础。