多个日志源到logstash

文章/答案/技术大牛

发布

1回答

elasticsearch、logstash、filebeat

我设置了弹性节点的两个实例，一个是kibana实例，另一个是logstash节点实例。我的Linux服务器正在运行一个web服务(apache2)，我想从服务器上监视apache访问、错误日志和auth.log。我还有另一台Linux服务器在运行相同的服务，我也想监控它。我关注了，能够将apache访问日志输入到logstash中，然后输入到elastic search中，但是在同时输入apache访问日志、错误日志和身份验证日志时遇

浏览 15提问于2018-02-13得票数 0

2回答

在Elasticsearch中解析日志时FileBeat的用途是什么？

elasticsearch、logstash、kibana

我不理解为什么文件拍打是必要的，而我们有一个逻辑存储。

浏览 0提问于2018-10-26得票数 0

回答已采纳

2回答

从Logstash输出UDP

logstash

我有一些日志，我想使用logstash来整理。它将作为源服务器上的发货人的logstash代理前往中央日志服务器。我想使用UDP从发货人到中心日志，这样我就可以在记录器失败时完全隔离(我不希望70多个生产服务器以任何方式受到影响)。我所能看到的使用udp进行传输的唯一方法是使用syslog格式输出。有谁知道我可以从logstash本机输出UDP的方法吗？(文档中暗示了这一点，但我一定是在TCP方面遗漏了什么?)

浏览 3提问于2013-05-01得票数 3

回答已采纳

1回答

如何在logstash日志中识别filebeat源

logstash、filebeat

我在不同的应用程序上运行了多个filebeat服务，这些服务将日志发送到中央logstash服务器进行解析。有时，一些应用程序日志的格式不正确，因此在“logstash-plain.log”文件中会出现“parse error”。我遇到的问题是，我不能从logstash-Pla.log文件中识别出日志来自哪里(因为有大量的应用程序正在运行filebeat ) 有没有办法从logstash日志中追踪filebeat源？

浏览 24提问于2021-06-14得票数 0

1回答

还有什么更好:应用服务器上的logStash代理还是远程的kibana服务器？

log4j、logstash、kibana、elastic-stack

我有12个日志(log4j)文件，我想在Logstash/Kibana中索引。是否最好将每个log4j.xml文件修改为附加到本地主机上的单个logstash代理(1到1映射)，然后将其推送到运行Kibana的远程主机上的ElasticSearch？所以应用服务器上有12个日志存储代理。或是否最好将每个log4j.xml文件修改为附加到远程主机上匹配的logstash代理(1到1映射)，将其推入ElasticSearch (与Kibana运行在同一主机上)？

浏览 1提问于2015-06-12得票数 1

2回答

在python将新数据写入文件后，Logstash无法(读取和)存储文件中的日志数据

python、elastic-stack

我使用python脚本自动将日志写入一个特殊文件，该文件也是我的日志存储的源日志。上下文可以被正确地写入(由python编写)，但是在此之后，log存储不能再读取日志数据，甚至无法重新启动logstash。主要步骤是：启动elasticsearch(默认为conf )和logstash (conf显示如下)，logstash可以自动将所有数据(在源日志文件中)存储到elasticsearch，

浏览 3提问于2016-12-27得票数 0

回答已采纳

1回答

将Azure资源日志路由到多个日志分析工作区

azure、azure-eventhub、azure-log-analytics、azure-sentinel

我们正在Azure中构建日志记录，并且有多个需要访问日志的用户组。多个用户组需要一些日志，但并不是所有用户都应该能够访问所有日志。最后，我们认为我们希望为每个用户组(有些用户使用Azure Sentinel到of工作区)提供一个日志分析工作区，以容纳他们需要的日志。希望我们可以将所有日志发送到类似事件中心的地方，然后将日志从那里路由到不同的日志分析工作区，例如：

浏览 2提问于2021-03-03得票数 0

回答已采纳

2回答

如何防止旧日志从文件附加到日志存储？

elasticsearch、logstash、elastic-stack、filebeat

我正在使用filebeat从远程服务器获取日志，并将其发送到logstash，这样它就可以正常工作了。但是，当新日志被追加到源日志文件中时，文件节拍从一开始就读取这些日志，并将其发送到logstash和logstash，在elasticsearch中添加所有带有旧日志的日志，即使我们已经在elasticsearch中有了这些旧日志，所以这里会重复日志。因此，我的问题是如何将新添加的

浏览 1提问于2019-01-09得票数 0

回答已采纳

1回答

用于多种应用程序的集中式记录器

java、logging、spring-boot

是否有可能存储来自我的不同应用程序的日志，可能是用不同的语言，可以按时间戳将日志存储在单个文件中。

浏览 4提问于2017-05-24得票数 0

回答已采纳

1回答

前缀为"@“的ElasticSearch字段

elasticsearch

我在示例映射中看到了许多类似于@timestamp、@name等的字段。下面是一个例子： "properties" : { "@message" :

浏览 4提问于2014-02-28得票数 4

回答已采纳

2回答

ElasticSearch服务拥有日志

logging、elasticsearch、logstash、kibana

当使用/var/ log /syslog文件作为日志源时，所有操作都很好。如果我更改为另一个文件，则Kibana接口中不会显示任何数据。我试图调试应用程序，但没有在以下文件中找到有用的信息：/var/log/logstash/logstash.log有人知道在哪里可以找到ElasticSearch、Logs

浏览 5提问于2014-09-09得票数 1

回答已采纳

3回答

具有多个Logstash管道的Filebeat

logstash、filebeat

我将Filebeat配置为在一台主机上查看多个不同的日志，例如Nginx和我的应用服务器。但是，据我所知，您不能在任何一个节拍中有多个输出--因此我的filebeat.yml只有一个指向Logstash服务器的output.logstash指令。 Logstash有管道路由的概念吗？我在我的Logstash服务器上配置了几个管道，但不清楚如何从Filebeat中利用它，例如，我想要将Nginx日志发送到我的Logstash管道，用于N

浏览 35提问于2019-07-20得票数 2

回答已采纳

1回答

Filebeat:将日志从一个Filebeat实例发送到不同的Logstash实例

elastic-stack、filebeat

我正在尝试让我的Filebeat将日志传递到Logstash的多个实例。Filebeat可以有多个输出，但是它们是负载均衡的。我尝试使用以下命令设置filebeat： output.logstash.hosts: ["IP1:5044", "IP2:5044"] output.logstash.loadbalance: falseLoadbalance = false，当有多个主机时定义为默认值另外，我也尝试过

浏览 70提问于2019-07-04得票数 0

1回答

IIS 7、LogStash和刷新IIS日志

iis、logging、logstash

我使用LogStash将IIS日志导入到ElasticSearch中。这是通过将LogStash指向带有IIS日志的文件夹来完成的，该文件夹每天包含多个日志文件。目前，我不使用LogStash转发器(不确定它是否改变了什么)。问题是，直到当前日志被刷新到磁盘，LogStash才会等待，.which需要很多小时。命令"netsh http刷新日志缓冲区“什么也不做，只有2件事情需要刷新<e

浏览 0提问于2015-02-24得票数 0

1回答

OSSEC服务器或wazuh服务器到Logstash到Q雷达管道

logstash、ossec

在我目前的实验室设置中，安装了ossec代理并将日志发送到ossec服务器的windows机器和linux机器很少。在OSSEC服务器上，我通过syslog输出将日志转发到logstash。在logstash中，我没有做任何修改，我只是将收到的普通日志转发给Q雷达(我对其进行了验证)。它具有警报级别、规则和事件。但在qradar中，它显示的是单一的日志源，即logstash服务器。在logstash中，我将日志作为s

浏览 37提问于2018-12-17得票数 0

1回答

将grok筛选器与logstash和windows文件一起使用时出现问题

windows、logstash、kibana、logstash-grok

我正在尝试使用Logstash和grok筛选sql server错误日志。Logstash 1.3.3使用NSSM和JRE6作为windows服务运行。stdout { } embedded => true下面是日志文件内容的示例{ "

浏览 1提问于2014-01-31得票数 3

2回答

当日志源是文件时，Logstash如何判断log fie中的哪一行是新的？

logstash、elastic-stack

部署在docker中的SpringBoot网站，使用ELK作为日志堆栈。Logstash的数据源是website.log。我检查了Kibana的日志，发现日志是以行为单位的。Logstash正在监视website.log文件，并从该文件中读取内容作为数据源。虽然文件中已经有许多旧的行，但我想知道当website.log文件中有新行时，Logstash如何判断哪一行是新行，并只将新行发送到ElasticSearch？

浏览 28提问于2018-12-27得票数 0

回答已采纳

1回答

对数存储中的数据转换

sql、elasticsearch、logstash

我有一个数据源，一个只读的SQL服务器，通过组合来自这个服务器的表，我创建了一个日志，我需要上传它的弹性搜索。为此，我对数据源进行了API调用，然后在Logstash中进行数据转换，然后将其上传到ES。我想要的是最佳实践建议。

浏览 0提问于2019-05-28得票数 1

回答已采纳

1回答

将下载的日志文件重放到ELK服务器中

logging、log4j、elastic-stack

我们部署的系统收集“常规的”普通老式log4j日志文件。由于它是分布式系统，因此有5-10个这样的系统。当出现问题时，可以获取zip文件形式的日志文件。我发现了，它工作得很好。但是，这对我来说是新的，并且所有的示例都讨论了如何使用诸如filebeat之类的东西向ElasticSearch播放日志信息。我想知道是否有一种方法可以将现有的一组日志文件“重放”到这样的ELK容器实例中？或者这是我需要构建的东西？

浏览 1提问于2017-09-28得票数 1

2回答

使用Logstash+ logstash* forwarder+ kibana+Elasticsearch自定义日志*

elasticsearch、logstash、kibana

我配置了Logstash+日志转发器+ kibana + Elasticsearch。它可以处理系统日志，比如Apache错误日志和syslogs。现在，我有一个应用程序日志，如下所示，发信人: sender@domain.com create_time:清华Sep 4 2014 02:41:54收信人: automation@domain.com如何通过kibana读取上述日志文件。

浏览 3提问于2014-09-05得票数 0

点击加载更多