大数据系列之数据质量浅探

先看一下数据质量管理的定义：

数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

再为了更好的了解数据质量管理，请软件测试从业者简单的问自己几个问题：

1. 所在企业或团队或自己是否有意识的、或是无意识进行了数据质量保证工作？（例如是否有在管理上、流程上、技术上、目标上等维度进行考量）

2. 在你的职业生涯中，是否有因数据问题导致线上环境出现长时间的中断、崩溃等等？

3. 在你的职业成长规划中，你是否有规划或已经准备积累数据质量保证相关的知识和技术能力？

对于很多软件测试从业者来讲，在工作中几乎时时刻刻要面对亿万记录的数据量，但大都未有意识的去考虑数据质量问题，但却又时时被坏、脏等数据带来的隐患、问题折磨

数据质量的保证不简单的技术问题，必然涉及以下几个方面：

码字不易，点点点下我，以示支持哈

1. 首当其冲的是企业管理因素

主要指企业对数据质量的重视程度、人员素质及管理机制等方面可能造成的数据质量问题、隐患等

如果企业或团队压根就不重视，那一切都免谈了。

2. 其次则是作业流程

这里的作业流程既是指数据质量保证日常工作的作业流程，也是指数据处理作业流程。即既要规避人为的操作不当，亦要规定技术处理的流程以免因系统作业流程不当导致数据质量隐患、问题。

3. 技术因素

这里主要是在实际的数据处理各技术环节的异常所带来的数据质量问题，例如数据创建、获取、传输、装载、使用、维护、存储等等环节

是软件测试从业者可以大发挥的地方，尤其是把技术与测试的结合，会产生无穷的力量

4. 元数据或是说信息因素

这里有两个大的方面，一是人对数据的理解，二是数据本身。即人对数据的理解的偏差会导致数据质量隐患问题。

数据本身元属性的定义或变化频度异常等等导致的数据质量隐患问题。

可以加入我的永久免费知识星球一起讨论各种姿势和技术