Flume＋Kafka＋Storm模拟应用日志的实时处理

模拟应用需求

采集订单系统应用打印的日志文件。

日志文件使用log4j生成，滚动生成。使用来监控文件名称，理解tail -f和tail -F的区别。

将采集的日志文件保存到Kafka中。

(source)输入：

(channel)存储：内存

(sink)输出：Kafka

config样例，

通过Storm程序消费Kafka中数据。

业务模拟：统计双十一当前的订单金额、订单数量、订单人数。订单金额/数量/人数(整个网站、各个业务线、各个品类、各个店铺、各个品牌、每个商品)。

环境配置

应用安装的一般流程：下载、解压、配置、分发。

在Flume官方网站下载Flume，解压Flume安装包，

配置Flume环境变量，

创建Flume配置文件，

准备模拟应用日志数据的目录，

通过脚本模拟生产应用日志数据，

打通所有流程，第一步，启动zk集群，

第二步，封装Kafka集群启动和停止的脚本，启动Kafka集群，

第三步，启动Flume客户端，监控日志数据生成，

第四步，创建一个topic并开启consumer，在客户端模拟消费，

第五步，执行应用日志数据生产脚本，

整合Storm程序的bug解决

服务端没有启动ZooKeeper，

本地调试Storm程序，本机没有配置kafka的解析，

放到Storm集群运行，相关环境和jar包冲突，把Storm相关的依赖去掉。

本文首发于steem，感谢阅读，转载请注明。

https://steemit.com/@padluo

微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。

数据分析

读者交流电报群

https://t.me/sspadluo

知识星球交流群

知识星球读者交流群