“湖南水文大数据综合库及大数据平台建设”项目获评“2021年度中国水文大数据技术应用样板工程”。
2021年12月17日,由中国信息协会大数据分会主办,信息化观察网、国润互联信息技术研究院共同承办的“2021中国大数据技术应用大会”在北京召开。会议以“以数见智 数智共生”为主题,旨在全面推动中国大数据产业做实做深,让大数据应用与更多的业务场景相结合。
此次会议邀请了政府单位和组织、国企央企、大型企业等用户代表做了深入的主旨演讲,增进不同区域、不同行业之间的交流与协作。
图丨中国工程院院士沈昌祥发表演讲
同时,本次会议发布了“2021中国大数据应用样板100例”项目名单。由艾力泰尔承建的“湖南水文大数据综合库及大数据平台建设”项目中应用数据清洗、数据汇集、数据融合分析、数据服务以及可视化产品定制等创新技术解决了水文数据现状复杂性、缺陷性的问题。被此次大会评选为“2021年度中国水文大数据技术应用样板工程”。
图丨艾力泰尔企业代表上台领奖
水文数据问题现状
水文数据具有海量大数据特征,但与之相对的是数据现状有复杂性、缺陷性等问题,例如:数据属性不完整;重复采集,重复存储;整合困难;时效性差,使用不方便,手工报表多;数据质量差等现实问题。随着水利信息化建设的逐步深化,各项业务应用的逐步开展,数据资源融合不足的矛盾表现得也越来越突出。
建设成果
01
湖南水文大数据综合库
将分散于各水文业务系统的数据资源根据水文业务需求,按照同类型整合,不同类型融合的原则,进行统一清洗、整理和汇总,最终形成全局一致、协调统一的数据资源池。
02
湖南水文综合数据库监视大屏
实时记录同步过程中产生的异常,进行大数据平台用户的日常访问量统计更新,做到大数据平台运行情况“一屏总览”。
03
水文大数据云平台
水文大数据云平台包含大数据平台管理系统、数据自动同步系统、分布式存储系统、数据加工与处理系统。
大数据平台管理系统拥有自动化安装、中心化管理、系统集群监控、报警等功能。涵盖了分布式文件存储组件、数据流处理组件等十几类功能组件。
数据自动同步系统能够实时监控各业务系统每张表的数据变化情况,自动触发增量数据的抽取同步任务。
分布式存储系统可对大规模数据集提供可靠的存储功能,通过多服务器,分布式的存储和计算,计算资源的规模能够按需增长,保障水文业务数据中心持续稳定发展。
数据加工与处理系统可针对现有业务数据库构建水文业务数据产品服务,形成数据集市。
04
数据资源服务管理系统
本系统可以提供数据库连接的管理、元数据管理、数据资源目录管理、数据资源共享管理等功能。
05
数据集市典型产品
通过动态可视化配置的方式获取数据配置产品;可配置出表格、图表等各种展示形式;提供多种数据分析方法。
领取专属 10元无门槛券
私享最新 技术干货