使用Kafka和Hadoop的ELK
使用Kafka和Hadoop的ELK
提问于 2016-07-26 07:55:10
我不是‘大数据’方面的专家:)
我的场景是几个EC2实例，而不是生成日志。
这些日志基本上是系统日志和应用程序事件(自定义日志)。
我想使用ELK堆栈来捕获日志，应用过滤器和显示数据。
在某些情况下，我希望将自定义事件发送到专用队列系统( rabbitMQ )以处理数据(推荐引擎)。
我的问题是，如果基本上，我只想解析24小时保留的日志，并使用Debian的日志旋转功能移动它们，为什么我要使用Kafka和Hadoop这样的工具？
非常感谢你的帮助！并为我糟糕的英语道歉^^
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-07-28 06:55:28
如果有人感兴趣，我已经用这种方式解决了：
1-为了使用默认的日志轮换，我选择使用云监控服务，基本上它从EC2中提取日志并将其存储在云中。
2-为了将数据推送到Logstash，我使用了Lambda服务，基本上它是一个可以执行Java、Javascript ( Nodejs )或Python代码的环境。它从CloudWatch获取流数据流，我选择通过一个小的Nodejs脚本将日志存储在S3上。
3- Logstash实例直接从S3消费日志，有一个用于此目的的插件输入。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/38579104
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号