数云原力大会｜汪广盛：2023数据管理的十大新趋势

5月6日，由国家金融与发展实验室金融科技研究中心学术指导，北京立言金融与发展研究院、神州控股、神州信息、神州数码集团共同主办的2023数云原力大会“数据资产•金融核心竞争力”主题论坛在京盛大举办。作为全球金融科技大会系列论坛之一，本次活动大咖云集，DAMA主席汪广盛分享了《2023数据管理十大新趋势》，为数据管理发展带来新的的思考与启发。

趋势一：数据项目和数据团队的价值需要自身来证明

数据管理和数字化转型的工作已经开展多年，然而失败的比例很高，部分完成了的项目效果也不是很明显。数据和数据团队的价值到底如何来实现，又如何评估？

2023年，公司将更加重视评估数据项目的投资回报率（ROI）。数据和数据团队考核的指标将开始成为主流。我们将看到数据团队开始开发评估指标来衡量其价值。这包括数据的业务价值（data monetization)，使用度量，例如数据使用（例如，DAU、WAU、MAU和QUA），页面浏览量或花费在数据资产上的时间，以及数据产品的应用情况，满足数据消费者的d-NPS分数，数据宕机等业务连续性指标，还有数据质量的评估等。

趋势二：现代数据架构越来越普遍

现代数据架构并非新的概念，但其影响决定了我们未来的趋势。其核心的一点是语言计算，DCMM是国内首创，在推动我国数字化转型方面做了相当多的工作。最近EDM委员会、DAMA、谷歌在做线上的数据管理的评估体系，对于DCMM、DAMA经典的基于线下的数据评估体系带来了深刻的影响。

趋势三：分布式趋势

集中式的还是分布式？从数字政府的角度看，我们所有的数据都是集中式的，一是这种数据重复存储的成本大大提升了；二是数据完全集中的难度很大，成本很高。于是市场出现了分布式的声音，即数据可以实时抓取、实时分析，但数据不是由某一个集中化的数据团队来负责，而是仍存储在各个地方，由各个部门来负责的——这就是数据民主化。目前来看，美国和欧盟分布式的数据存储和处理的方式越来越多了，特别是数据编织（Data Fabric）落地特别多，数据网格（Data Mesh）落地不是很多，但是这种趋势已经很明显。我相信中国也将很快朝着这个方向发展。

趋势四：主动型元数据管理

主动型元数据管理是可能性的趋势。2021年 8月，Gartner把元数据管理从有关技术象限图中取消了，取而代之的是主动型元数据管理。这标志着传统的元数据管理方法的终结，并开启了对元数据的新思考方式。元数据本身正在成为大数据，Snowflake和Redshift等计算引擎的技术进步（比如弹性等）使从元数据中获取智能成为可能，这种方式在几年前是难以想象的。现在元数据不止是作为查询的工具，它还影响到生产系统，如数据的热点在哪、数据的安全属性是什么样等。

趋势五：基于AI的自动化管理

AI最初是基于管理数据质量提出来的。我们不能仅凭数据的准确性来评估数据的质量，还有其他纬度沟通可以评估，我们希望原数据的管理有AI的系统，包括数据系统、数据的分类分级等等。

自动化不仅仅发生在数据质量上。我们可以看到数据管理行业越来越多的流程变得自动化。公司需要开箱即用的解决方案，可以使它们的一些任务自动化。现在，我们看到人工智能和元数据使许多流程自动化，随着公司越来越多地接受数据民主化，它们将需要自动化许多数据管理流程，并为业务用户提供简单的控制。

趋势六：数据可观测性

数据可观察性是组织根据收集的信息了解数据状态的能力。它通过自动化监控系统来提供这种理解，几乎没有人工干预。具有数据可观察性的组织可以识别有关其整个数据系统的数据质量问题、异常、模式更改等。数据可观测性的好处包括：监测数据系统的质量，几乎没有领域知识；在实现之后，用户可以监控全局并以最小的努力预防问题；主动检测问题并通知下游用户(在问题影响下游系统之前)；可以处理更复杂的数据系统，并识别领域专家可能没有想到的问题。

趋势七：低代码或者无代码

我们以前至少需要20人在一年的时间建立数据仓库，现在有可能30分钟可以完成。通过使应用程序更简单(需要更少的编码)，可以让更多的用户和角色使用数据管理流程。有了像Fivetran这样的自动化数据管道工具和像dbt Labs这样的转换工具，提取和转换不再需要一行代码。今天的现代数据堆栈很容易设置，现收现付，即插即用！像Fivetran和Snowflake这样的工具可以让用户在不到30分钟的时间内建立数据仓库。

趋势八：数据确权

“数据二十条”以解决市场主体遇到的实际问题为导向，创新数据产权观念，淡化所有权、强调使用权，聚焦数据使用权流通，创造性提出建立数据资源持有权、数据加工使用权和数据产品经营权“三权分置”的数据产权制度框架，构建中国特色数据产权制度体系。数据上升到生产要素后，确权问题就显得特别重要。针对精准确权，我们与清华大学推出了的相关方法论。

趋势九：数据价值评估

数据作为生产要素需要完善数据价值评估的体系，不仅仅是完善数据价格、定价系统，还要考虑数据资产入财务报表等问题。

趋势十：数据处理的伦理及合规

随着AIGC的发展，针对AIGC庞大数据量，如何进行底层数据架构成为很重要的课题。其中涉及数据的合规、可信、交易监管等问题，都值得进一步探索。

相｜关｜回｜顾