首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

4万余名师生数据怎么整?实地探访新加坡国立大学!

全文2735字,预计阅读5分钟

智慧校园,更需要“智慧”治理!

图文无关

近年来,随着智慧校园建设的推进,如何管理庞大、复杂的数据资产逐渐成为高校信息化部门需要解决的重要问题之一。而主数据系统作为一种先进的数据治理架构,或将成为高校数据基础设施建设的理想选择

新加坡国立大学(NUS)作为亚洲首屈一指的世界级顶尖大学,其智慧校园建设尤其是在数据治理方面所取得的成果,就非常值得其它高校借鉴学习。

2019年年底,我们有幸对NUS的IT团队进行了实地访问,向他们请教了该校在数据治理过程中的各方面情况。本文将为大家介绍这次访问中所了解到的重点内容。

接下来,就让我们一起走进NUS,看看NUS的IT部门如何利用主数据系统完成数据治理。

01

为何高校需要数据治理?

在解释什么是主数据系统之前,我们先来谈谈为什么高校需要进行数据治理。

其实,绝大多数高校,尤其是历史悠久、学生规模庞大、建设水平较高的院校,都会或多或少面临以下两个技术和数据方面的问题

系统多、数据多

随着信息化和数据化技术的不断革新,各大高校的业务系统都经历了从无到有、从简单到复杂的变化过程。这些业务系统大多是以服务业务部门为中心,自下而上搭建起来的,缺乏自上而下的统一规划,长此以往,学校内部就累积起数量众多、关系复杂的系统群。

而一些需要在各个业务中分享使用的数据(主数据) ,则会被分散至各个业务系统进行分别管理,各系统之间的数据不互通,标准也不统一,不仅造成大量数据冗余,还严重增加了相关部门在使用数据时的工作量和工作负担

在NUS整个智慧校园系统的550余个业务系统中,就日常流转着涉及4万余名师生员工的、容量超过2PB(超过2,097,152GB)的庞大业务数据。可想而知,如果没有一个有效的数据治理方法,治理这些系统和数据将是一个多么可怕的工作量。

系统集成复杂

在高校中,各个业务系统并非单独运转,往往由多个业务部门共同管理、使用,例如学籍信息可能是由学校招生部门负责提供,教学教务部门负责维护,最后还需要被就业部门查看。

于是,各个系统在建立之初就会根据当时的业务逻辑进行系统集成,久而久之,随着业务系统的增加,一个复杂的网状数据系统结构就逐渐形成了,成为摆在高校IT部门面前的一个令人头疼、但又需要处理的问题

加州大学伯克利分校在数据治理前的“网状集成”

02

什么是主数据系统

主数据系统就是为了解决以上“两多一复杂”的问题而出现的一种数据架构方式

它既像一个共享的数据仓库,将各个业务系统中的数据统一起来进行管理,以便数据在各个业务系统之间顺利流转,也像“梳线器”一样,统一管理各个系统集成的接口,避免出现“网状集成”。

NUS目前就选择使用主数据系统来治理学校的数据,但懂行的朋友们可能知道,主数据系统也并非一个新概念,存在不同模式。NUS又选择哪种模式呢?

总体而言,目前常见的主数据系统模式可分成“消息同步型主数据系统”(OLTP)和“数据分析型主数据系统”(OLAP)。

其中,前者在生产制造业的ERP系统中已得到广泛应用,其原理是,首先将各个业务系统的数据进行标准化,然后统一存储在主数据系统中,当某个应用系统对数据进行修改时,就会直接“同步”修改主数据系统中的数据,然后再由主数据系统将修改结果实时同步给其他业务系统,从而实现数据的统一和同步。

这种模式虽然可以克服系统集成比较复杂的弊端,有利于提高系统的可拓展性,但如果应用在高教领域,势必会带来一些问题

一方面,由于高校内部业务部门之间的职责交叉复杂,不同部门对数据的管理和理解方式各有不同,一旦将数据录入、修改权力分散下去,如无法有效统一大家录入、修改的标准,将很可能导致数据错误和系统故障频发,再加上实时同步型系统数据修改之后又难以恢复,便容易带来比较严重的数据污染。

另一方面,这种模式需要较高的管理成本和维护成本,且随着系统数量及业务逻辑的增加,复杂度也是非线性激增,不适于在高校推行。

消息同步型主数据系统

“数据分析型主数据机制”不仅是一种主数据模式,还是一种数据治理的机制

在此模式下,各个业务系统分别管理各自“分管”的权威数据,例如学籍管理系统拥有学籍信息的管理权限,而财务系统只有学籍信息的查看权限,而不能修改,再由数据仓库统一将各个系统数据整合,提供给其他系统调用查看。

通过这种数据治理机制,各个分管部门就实现了对业务系统中相应权威数据的管理,有利于确保数据的统一性和权威性。各个分管部门也能既快速解读响应政策变化,又能将权威的数据准确无误地分享给使用部门。

NUS的IT部门就采取了这种主数据系统。得益于这种数据机制,该校也能在不断发展壮大的同时,快速响应业务变化。

数据分析型主数据系统

03

新加坡国立大学如何应对

主数据系统建设过程中遇到的挑战

选择适用于高校使用的主数据系统,并非意味着万事大吉。在建设主数据系统的过程中,NUS的IT团队同样也遭遇了不小挑战

在访问过程中,他们同我们分享了其中两大主要挑战。

来自业务系统厂商的挑战

如同大多数高校一样,NUS在信息化建设过程中,也采购了由许多不同厂商所提供的业务系统。由于不同厂商的业务标准和数据标准并不统一,他们向NUS提供的业务系统在与主数据系统进行集成对接时,就产生了很多的不一致问题

不过,NUS的IT部门并不认为这是一个系统建设问题,他们将其视为数据治理问题,认为只要采用科学合理的数据治理,问题就会迎刃而解。为此,他们出台统一的数据管理政策(NUSDMP),给各个厂商提供统一的数据治理解决方案,并要求厂商严格执行,从而解决了各业务系统数据标准不一致的问题。

另一方面,为了将一些建设时间较早、如今已无厂商维护的系统,以及学校学生搭建的系统,集成到主数据系统上,NUS组建了超过百人规模的IT部门,一方面用于联合厂商进行系统集成,另一方面则从事数据基础设施的基本维护,开发数据管道,整合研究人员收集数据等工作,并为在校师生提供日常技术支持。

法律法规方面的问题

在访谈中,NUS的IT团队还专门提到,鉴于欧盟出台的《一般数据保护条例》(GDPR)已正式生效,他们在处理来自欧洲留学生的数据时,就遇到不小麻烦。

随着其他国家和地区对国民用户数据安全重视程度的不断提升,我们相信,类似欧盟GDPR的法律法规还会出台,这需要引起每一个招收培养国际留学生高校的重视。

04

结语

从国际范围来看,NUS无论是在主数据系统建设还是在数据治理政策上,都走在前列,其中一些理念和思路具有借鉴学习价值:

自上而下的整体建设方案。只有顶层规划,统一标准,让所有业务有一个统一的“大脑”(主数据系统),才能真正实现“数据多跑路,师生少跑腿”,实现让信息化系统高效为学校服务的业务目标

选择主数据系统建设方案时,要充分考虑高教领域业务复杂、变动频繁的特点

信息化建设固然重要,但强有力的数据治理才是“核心”,只有重视治理,才能避免出现“建而不用”“不如不建”等问题

本期作者

方略研究院北京研究分站 陈可佳 谭彦卿

一读EDU编辑部

文章不错,点个“在看”吧!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200519A0RREI00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券