大数据战略屡败谜团，谁才是罪魁祸首？

相信很多人都有这样一个疑问"为什么别人家的大数据战略都成功了，就我家失败了呢?"为了解答大家的疑问，我们和来自21家公司的22位高管进行了交谈，通过他们帮助客户管理优化数据、提升业务价值的经验，来告诉大家为什么你的大数据战略失败了。

图片来自网络

传统技术

取决于传统的系统。这是很基础也是很现实的问题，想要充分利用大数据系统，就必须具备主演的知识。所以，如何让现有员工学会使用这些数据是有条不紊实施大数据战略的先决条件。

无法处理遗留系统和新软件的流沙和技术债务。

愿意拥抱云。虽然有很多方法可以拥抱云，但是继续支持遗留企业系统是不可行的，他们不能随着数据的流入而扩大规模。

建立正确的骨干基础设施(即存储，传输，计算，故障转移)。从服务器获取数据进行分析。如何处理数据集。Scale, complexity, modeling。

当企业试图构建大型数据项目时，往往无法成功地执行。当然，这里面的原因也有很多，例如成本受到限制，缺乏合适的人才、想要重用现有的基础设施而忽略了敏捷过程。因此依赖大数据基础的业务通常在业务区域性或范围内的实现，最终很难实现回报投资或者是需要花费更多的时间来获得回报。而且有时候主观的活动也会受到思想和资源的限制，一个新的想法从诞生到执行也会经历冗长的拖延。除了之外，企业也常常因为复杂性而无法分析大数据，当然这也和缺乏数据分析师和其它IT专业人员解释数据有关。

缺少知识

他们不了解云。虽然他们会采用"基础设施即服务"的方式，但是他们由于不了解效益，所以效率并没有提高。而且很多企业会选择放弃自己的IT部门，将云管理外包给第三方提供商。例如Salesforce使用云实现可扩展性、性能和存储节省。弹性云支持伸缩，所以需要使用SQL servid4r network以及其它组件来即时扩展，现在大部分公有云厂商都提供cognitive 和 AI/ML。

虽然大数据的潜在利益会让每个人或每个公司感到兴奋，但是有一些共同问题确确实实在阻碍公司大数据发展：

技术很多，难以抉择;

缺乏技术人才。

采用通用数据格式的组织障碍。我们对早期采用大数据企业的建议是要时刻关注最新的技术，尤其是像Apache Flink这样的数据流技术，避免因为采用了过时的大数据技术而掉队。

企业更相信大数据的某些承诺，而对具体用例的理解不够，不同的业务部门或者特定的业务驱动程序都缺乏对业务的支持。对于数据湖、平台、云或者软件的选择是一个很复杂的决定，并且每天都会有新的解决方案出来。公有云中的工具集、技能集并不是最重要的，你可以根据用例和实现目标选择最佳工具。

客户了解大数据潜在好处的渠道可能大部分来自于竞争对手，但是如果大家都使用相同的工具、数据源、知识，那么谁都不会有所进步。所以挖掘新的人才和工具才是解决问题的关键。我看到很多这样的情况，因为项目进展不顺利，公司就放弃了大数据计划。想要成功实现大数据项目，首先就要战胜未知的恐惧，其次才是战胜其它的问题，例如，确保数据分析符合道德要求、法律的监管，发展数据科学领域的才能等等。

业务问题

从应用程序和用例开始你就是思考数据，不能把数据当成是事后处理。其实，成功的关键就是为应用奠定坚实的数据，注意底层数据存储和数据结构。

技术和解决方案的扩散。从hadoop开始，你需要了解不同的存储和流，在某些地方配置和管理开源组件可能会损坏项目的ROI，随意这里一定要了解问题的最佳解决方案是什么，开箱即用的解决方案可以减少配置和管理时间。

不了解大数据分析，所以一定要选择和应用衡量结果的工具和技术。对于可衡量的结果，公司必须对文档进行足够的严格性，并分析所要达到的目标。然后根据它们的能力来选择工具和技术，以满足或超过预期的结果。我看过太多没有事先准备而盲目选择，最终导致失败。

数据质量和管理

有能力了解数据。根据需要将数据从存储移到计算。

缺乏对元数据的关注——不全面地看待问题。

用于记录数据的系统。没有简单的方法来获得数据进行比较，数据孤岛、系统和模式中的不一致，这一切都要求我们规范化我们规范化所有系统和模式的数据。

最大的挑战之一是他们使用所有数据的能力，移动数据是非常昂贵和耗时的，因为如何将数据扶植到分析的地方是个大难题。

无组织或非结构化的数据收集和处理。对于NLG，特别是叙述性的输出往往局限于数据输入的清洁。

在Hadoop中无法同时扩展。带有单线程的查询引擎。安全性符合GDPR的能力。处理技术以删除记录。把数据放在适当的地方，地方管理员可以了解当地的法律，防止可能触犯法律的查询。

缓慢的、手工的和一次性的工作会被丢弃，例如花费太多时间来查找数据，没有权威共同的数据集，因为准备和清理数据的时间太长导致分析时间不足等等。

其他

复杂的技术堆栈，比如零售商需要考虑来自购物车的实时信息和用户之前12个月的购买历史记录，甚至需要将三、四个系统整合在一起。越多的移动部件约会导致更多的破坏和延迟，所以简化数据管道并获得更高可用性也是企业面临的大难题。

零售商需要来自购物车的实时信息和12个月的购买历史记录。将三个或四个系统缝合在一起。更多的移动部件导致更多的机会破坏和延迟。帮助简化数据管道以获得更高的可用性。数据架构师企业，以便它能够和准备扩展。