在电商平台落地大数据应用的6个场景2类服务12个框架

来啦，请坐。

我是老杨。如果你有强化管理能力，量化技术产出，提升技术效能，打造技术团队等需求，那么这套课程会为你揭开技术管理的神秘面纱，可以让“妈妈再也不用担心你的工作了”。

这是《数字化技术管理的方法和实践》第十一讲，技术创新的尝试一，大数据应用。

一句话解释下：作为技术团队，要每一天都想着创新，否则和咸鱼有什么分别？而大数据应用就是技术创新很有效的方式。

细心的同学会问：“这是技术管理的专栏，为何讲大数据应用？你脑子瓦特了吧？”

好吧，我来从技术汇报的两个场景讲起，来帮你分析下：

场景一，你激情澎湃的讲技术少花了多少多少钱，提高了多少多少效率；

场景二，你慢条斯理的讲技术创造了多少多少价值，赚了多少多少钱；

这俩哪个带感？？？我想很显然是场景二了，技术的终极目标之一就是让技术赋能到业务，让技术除了花钱之外还能够产生价值，也就是传说中的技术驱动业务。

无论你信与不信，这种化被动为主动的操作是非常必要的。那么这波666的操作该怎么去落地呢？归根究底还是为了把技术团队管理好，clear？让技术团队统一认识，不遗余力的落地一些大数据的应用。

那怎么实施呢？接下来直接上干货了，老杨把在电商中的大数据应用从产品和技术两个方面详细拆解下，给你做个参考，对你去落地大数据应用并让技术产生价值会有些许帮助。

我发现大数据的价值主要体现在数字化经营、精细化运营和个性化产品这三个方面，为了支持这三个方面业务，我倾情总结了一张产品架构图，告诉你该构建什么产品平台、产品模块以及提供什么数据服务，走着。

从上往下分为4层，依次是：用户层、场景层、工具+服务层和基础层。

1.用户层：是说大数据的使用者是用户、客户、运营人员和技术人员，当然也包括公司的管理层，可以说大数据就是一个辅助经营、指导运营以及支持全面的一个存在，这么重要的一个存在自然需要充分发挥其价值了。

2.场景层：是说用户在各种场景，进行的各种操作要么使用到大数据的服务，要么对大数据有反馈，总之大数据贯穿在各种场景中。

3.工具+服务层：是说用户通过数据Portal和数据API去使用大数据服务，那最核心的就是用户类的和商品类的服务了，如用户的特点是什么，行为是什么等。

4.基础层：是说技术上是靠什么支撑数据服务的，当然首先必须把数据采集到，然后进行存储，之后才是数据的计算、分析、建模、挖掘等，形成可以使用的数据，通过数据API提供出去。

那么产品架构清楚了，还是要落地到技术上去实现，我又倾情总结了一张技术架构图，告诉你该怎么去实现，该搭建什么样的架构，该使用什么技术平台，再来。

从上往下分为4层，依次是：服务层、计算层、存储层和采集层。

1.服务层：是说给用户使用的东东，一般就是一个数据Portal，如Tableau；还有数个数据接口。

2.计算层：是说数据的离线分析用Hive，近实时分析（秒级）用Spark Streaming，近实时分析（亚秒级）用Storm，还有一些聚类、分类等算法用SK learn等，经过这些计算、统计、分析之后，数据就会更加有血有肉。

3.源数据存储层：是说全量源数据、细节数据以及经过清洗的数据，存储在HDFS中。

4.采集层：是说业务数据和第三方结构化数据存储在mysql中，通过Sqoop抽取到HDFS中；各种行为数据、各种技术类的日志、各种补充的第三方数据都存储在日志文件中，通过Flume抽取到HDFS中。

最后，还是要强调一点，大数据技术的发展基本上是日新月异，技术架构也是要持续迭代，不用过多的追求新，但一定要追求卓越，持续提升大数据技术的价值，支持、驱动业务发展。

好，大数据应用告一段落了，还有一种技术创新很有效的方式就是人工智能了，这也是下一讲的主题，欢迎持续关注，下次见啦。