ELK堆栈配置
我没有太多的经验，麋鹿堆栈，我基本上只知道基础。
- 一些东西，即文件拍获取数据并将其发送给logstash
- Logstash处理它并发送给它弹性搜索
- Kibana使用弹性搜索来可视化数据。
(我希望这是正确的)
我需要创建一个elk系统，其中来自三个不同项目的数据被传递，存储和可视化。
项目no1。使用MongoDB和我需要将所有的信息从一个表到基班纳。
项目no2。还需要使用MongoDB，我需要将所有信息从一个表中获取到kibana。
项目no3。使用mysql，我需要从数据库中获取几个表到kibana。
所有这三个项目都在同一台服务器上。
对于项目1和项目2，我需要数据流是常量的(也就是说，如果用户注册，我可以在kabana中看到)，但是对于Project no3。我只需要在需要生成报告时才需要数据(这个项目的功能类似于BI )。
因此，我的问题是如何创建一个麋鹿架构，从这3个来源获得输入，并能够结合成一个麋鹿项目。
我最好的猜测是：
项目No1 -> filebeat -> logstash
项目No2 -> filebeat -> logstash
项目No3 -> logstash
(这里的logstash是一个实例，然后输入到弹性中)
这是一种现实的做法吗？
我也无意中发现了redis，从它的外观看，它似乎可以将所有数据源合并为一个，然后将输出提供给logstash。
更好的方法是什么？
最后，我提到了file节拍，但据我所知，它基本上是从日志文件读取数据。这是否意味着我必须将所有数据库条目重写到日志文件中，以便将它们输入logstash，或者可以在没有中介的情况下将logstash点击到DB中。
我试着在网上寻找所有这些，但出于某种原因，在麋鹿堆初学者的问题上，互联网有点缺乏。
谢谢
回答 1
Stack Overflow用户
发布于 2021-02-15 13:26:55
File节拍用于将日志传送到logstash，您不能使用它从DB读取项。但是您可以使用logstash的输入插件从DB中读取。
从您所描述的情况来看，您需要一个具有3个管道的logstash实例(每个项目一个)
对于项目3，您可以使用Logstash输入插件连接到mysql，并根据"last_updated“列读取新的/更新的行。JDBC输入插件有一个cron混合值，允许您将其设置为定期运行，并使用您在配置中定义的SQL查询读取更新的行。
对于项目1-2，还可以在mongoDB中使用JDBC输入插件。git上还有一个mongoDB输入插件的开源实现。您可以检查这篇文章如何使用它这里。
(请参阅输入插件这里的完整列表)
如果这对您有效，并且您成功地设置了它，那么其余的将对所有三种配置都是相同的。即使用过滤器插件修改数据，使用弹性搜索输出插件将数据推送到弹性索引。
https://stackoverflow.com/questions/66214622
复制相似问题
腾讯云开发者
