大数据人人都知道，但你知道还有暗数据吗？一旦发掘，日进斗金！

大数据是现代的新石油！！！那些可以分析这些数据以获得可行见解的公司就是新的超级富翁！！！越来越多的公司正在理解这一事实，并在大数据分析方面进行投资。如此之多，在2017年这一数字已达到53％，与2015年的17％相比有了巨大的增长。

但是大数据是多种类型的。还有就是关键业务数据，这是最常见的业务分析，以完成自己的目标，增加他们的收入，等等，这是当我们认为大数据的那普遍浮现在脑海中的数据的  情形。另一种数据类型是ROT数据（冗余的过时和琐碎的数据）。顾名思义，此数据对于企业根本不重要，可以将其丢弃。

接下来，我们获得Dark Data。这是一个鲜为人知的大数据堂兄，没人听说过，没人能理解。因此，今天，我们将讨论黑暗数据，并试图了解其在大数据世界中的价值。首先，让我们解决一个基本问题，即什么是黑暗数据？

什么是暗数据？

大多数公司收集，处理和存储大量数据，这可能有助于他们将来改善其商品和服务。有一部新的三星手机？三星可能会收集您的使用情况数据。有一个Facebook帐户？Facebook会收集您的浏览数据，您的朋友列表等。几乎所有公司都是如此。收集完这些数据之后，数据分析便进入了画面！

但是，有很大一部分收集的数据无法使用常规数据分析进行分析。该数据被称为“黑暗数据”，具有大量未开发的潜力。虽然Dark Data可以为一家公司提供巨大的帮助，从而可以带来更高的利润和更多的业务增长，但大多数情况下，Dark Data只是存储在公司档案中，而没有进行太多分析。那是因为很难捕获，识别和准确分析的暗数据。

这里给出了一些黑暗数据的常见示例：试算表，看过后会被忽略的电子邮件附件和.zip文件，非活动和旧数据库，以前的员工详细信息，日志文件，分析报告和调查数据，旧版本的文件，个人数据添加项，例如项目注释。

所有这些暗数据示例都是遗留的项目，不再被视为重要项目。因此，当实际上可以挖掘极有价值的其他数据时，可以忽略此暗数据。

黑暗数据的不同维度是什么？

暗数据基本上分为3个维度，构成了不同类型的暗数据。现在，让我们看看它们是什么：

1.传统的非结构化数据

世界上将近80％的可用数据是传统非结构化数据。这是暗数据的一部分。世界上显然有很多暗数据！！！传统的非结构化数据基本上是基于文本形式的数据，没有以预定义的方式进行组织。这可以包括组织中的各种数据，例如电子邮件，办公文档，员工信息等，它们没有统一的结构。因此，分析这些数据以获得可行的见解对于组织而言是一项艰巨的工作。

2.非传统的非结构化数据

传统的非结构化数据主要是基于文本的形式，而非传统的非结构化数据则更加复杂！这些数据主要由实时应用程序（例如音频和视频文件）组成。由于实时数据的含义可能会随时间变化，因此这种形式的黑暗数据甚至更难以分析。如果不及时分析这些数据，那么它甚至可能失去其价值并过时。

3.深度网络数据

任何人都不容易访问深度网络中的数据。您真的不能使用Google来查看它！！！而且，这些深层网络数据是Dark Data的一部分，很难访问，更不用说分析了。据估计，深层网的尺寸大约是您通常探索的表层网的500倍。因此，深度Web数据中有大量未开发的潜力。

如何处理暗数据以获取最大利益？

如果大多数可用数据是可以为组织带来巨大利益的黑暗数据，那么问题是如何处理该黑暗数据以获得这些利益？这就是Dark Analytics的用武之地！！！Dark Analytics涉及捕获黑暗数据，释放其潜力，然后获得可行的商业智能。

其中最困难的部分是捕获暗数据。这是因为此数据不是结构化且统一的，因此需要使用经过修改的系统来捕获它。这些系统应该知道要查找的内容以及在何处查找。在识别并捕获了暗数据之后，使用大数据平台对其进行解锁并了解其秘密也同样重要。然后，可以使用此Dark Data创建商业智能解决方案，这将提高公司的生产率和收入。

但是，由于暗数据的复杂性，许多公司避免处理它。但是，如果公司真的想利用Dark Data的功能来增加利润并在业务中开辟新的领域，就必须改变这种态度。结合使用结构化和非结构化数据，公司可以真正获得难以想象的结果，就比如这将使数据分析的成本超出其应有的价值！！