kubernetes通过filebeat到logstash的日志管理
Kubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它提供了一种便捷的方式来管理容器集群，并确保应用程序在不同的主机上运行时具有高可用性和可伸缩性。
Filebeat是Elasticsearch公司开发的一个轻量级日志数据收集器，用于收集、传输和处理日志文件。它可以监视指定目录下的日志文件，并将其发送到指定的目标位置，如Logstash、Elasticsearch等。
Logstash是Elasticsearch公司开发的一个开源数据收集引擎，用于收集、处理和转发各种类型的数据。它可以从不同的来源收集数据，并对数据进行过滤、转换和聚合，然后将数据发送到指定的目标位置，如Elasticsearch、Kafka等。
通过将Filebeat与Logstash结合使用，可以实现对Kubernetes集群中的应用程序日志进行集中管理和分析。具体的流程如下：
- 在Kubernetes集群中部署Filebeat DaemonSet：DaemonSet是Kubernetes的一种资源对象，用于在集群中的每个节点上运行一个Pod副本。通过部署Filebeat DaemonSet，可以确保每个节点上都有一个Filebeat实例运行。
- 配置Filebeat：在Filebeat的配置文件中，指定要监视的日志文件路径和目标位置。可以使用通配符来匹配多个日志文件。此外，还可以配置日志文件的解析方式、过滤规则等。
- 部署Logstash：在Kubernetes集群中部署Logstash实例，可以使用StatefulSet或Deployment等资源对象。Logstash实例将作为日志数据的接收端，对数据进行处理和转发。
- 配置Logstash：在Logstash的配置文件中，定义输入插件为Filebeat，输出插件为Elasticsearch等。可以对接收到的日志数据进行解析、过滤、转换等操作，然后将处理后的数据发送到指定的目标位置。
- 部署Elasticsearch：在Kubernetes集群中部署Elasticsearch实例，用于存储和索引日志数据。可以使用StatefulSet或Deployment等资源对象。
通过以上步骤，可以实现将Kubernetes集群中的应用程序日志收集、传输和处理到Elasticsearch中，以便进行日志分析、搜索和可视化等操作。
腾讯云提供了一系列与Kubernetes、日志管理相关的产品和服务，如腾讯云容器服务（Tencent Kubernetes Engine，TKE）、腾讯云日志服务（Tencent Cloud Log Service，CLS）等。您可以通过以下链接了解更多信息：
- 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云日志服务（CLS）：https://cloud.tencent.com/product/cls
相关·内容
1回答
我试图从KOPS集群中的运行舱收集日志。我在KOPS集群中运行filebeat，从我的pod(应用程序)收集日志，然后将这些日志传送到集群的外部，logstash服务在其中接受它们并将它们保存到一个文件中。
我注意到文件节拍总是用UTC时间戳生成日志，即使我的所有节点和豆荚都运行在SGT时区。
我在文件处理程序中设置了add_locale，但这没有帮助。
add_locale:格式:偏移量
节点时区
吊舱时区
完整文件-kubernetes.yaml
---
apiVersion: v1
kind: Namespace
metadata:
name: log
浏览 2提问于2021-01-15得票数 0
1回答
我有一个集群，在这里，我以demon服务的形式运行file节拍，下面是该集群的configmap。我只想从名称空间abc获取日志，但是我仍然从所有的名称空间获得日志，特别是我从文件节拍获得的日志占用了75%的空间。配置有什么问题吗？或者还有其他更好的方法去做？或者其他方法来停止从文件中获取日志？
kind: ConfigMap
metadata:
name: filebeat-config
namespace: kube-system
labels:
k8s-app: filebeat
data:
filebeat.yml: |-
filebeat.autod
浏览 7提问于2022-03-01得票数 0
目前我们正在处理持久化入口-nginx日志，我们实现了filebeat将日志放置到logstash，但是我们不能读取acces.log和error.log这条路径{/var/log/nginx/access.log.log}现在我们需要读取此路径的日志，请给出解决方案。
ingress nginx部署了如下清单文件
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-configmap
namespace: ingress-nginx
data:
filebeat.yml: |
filebeat:
c
浏览 14提问于2022-01-26得票数 0
我正在致力于siem soc的发展，我的实际问题是将我在Azure上的存储帐户中的日志恢复到部署在KUBERNETES上的pod上的Elasticsearch数据。所以我想知道正确的方法是什么。
有了filebeat，azureblod没有input，只有output
Logstash在没有代理的情况下似乎无法工作。
谢谢！
浏览 2提问于2018-07-31得票数 3
我正在使用filerob7.x收集日志数据，但我面临的问题是日志大小太大(每天100 so )。
现在，我正在考虑如何从源文件中收集错误级别日志。做这件事最好的方法是什么？
我正在使用file节拍发送日志到elasticsearch，它在Kubernetes集群中，我在这里关注的是，我应该使用kafka和logstash来定义规则吗？
请在文件节拍配置文件下面找到使用的文件：
{
"filebeat.yml": "filebeat.inputs:
- type: container
paths:
- /
浏览 2提问于2020-06-13得票数 0
回答已采纳
我使用麋鹿堆栈(elasticsearch，logsash，kibana)在Kubernetes (minikube)环境中进行日志处理和分析。为了捕获日志，我使用filebeat。日志被成功地从文件传输到elasticsearch，并且可以在Kibana查看。
我的问题是，我无法获得实际荚发出日志记录的荚名称。相反，我只得到文件节拍podname，它正在收集日志文件，而不是原始日志记录的pod的名称。
我可以从文件传输中获得的信息是(如在Kibana所看到的)
beat.hostname:这个字段的值是filebeat名称。
beat.name:值是文件节拍的荚名
主机:值是文件
浏览 1提问于2017-03-27得票数 4
回答已采纳
我想在运行在基于linux的虚拟机上的filebeat和运行在kubernetes中的logstash (通过入口暴露的logstash)之间建立连接。我已经在主机文件filebeat.yml：[""]中指定了logstash输出。我通过入口公开了多个服务，因此我也希望通过相同的入口资源公开logstash。连接到入口资源的主机为。我在filebeat.yml的证书授权密钥中使用与example.com相关联的TLS/SSL证书的.crt文件来保护filebeat和logstash之间的连接。在kubernetes上运行的logstash.yml中，我将输入指定为TCP类型，而
浏览 0提问于2019-07-30得票数 0
2回答
我在Kubernetes集群中使用了elasticserach 6.8和filebeat 6.8.0。我希望filebeat忽略某些容器日志，但这似乎几乎是不可能的:)。 这是我的自动发现配置 filebeat.autodiscover:
providers:
- type: kubernetes
hints.enabled: true
templates:
- condition:
contains:
kubernetes.namespace: bagmessage
config:
浏览 54提问于2019-06-14得票数 6
我在Kubernetes集群上运行了两个应用程序(Application1，Application2)。我想从我的应用程序中从Kubernetes集群之外收集日志，并将它们保存在不同的目录中(例如: /var/log/application1/application1-YYYYMMDD.log和/var/log/application2/application2-YYYYMMDD.log). )。
因此，我在Kubernetes集群上部署了一个filebeat，以便从我的应用程序(Application1、Application2)中获取日志，并在我想要保存日志文件的实例上运行logstash
浏览 8提问于2021-01-13得票数 1
回答已采纳
我有几个python程序在AWS EKS上的Kubernetes集群中作为POD运行。我希望Filebeat自动从标准输出中提取这些日志事件/消息，并将其发送到ELK。 当前文件节拍配置似乎不起作用 data:
filebeat.yml: |-
filebeat.inputs:
- type: container
paths:
- /var/log/containers/*.log
processors:
- add_kubernetes_metadata:
host: ${NODE_NAME
浏览 18提问于2020-07-18得票数 0
我在Kubernetes中安装了一个文件节拍的-> logstash -> elasticsearch -> kibana堆栈，其中包含了头盔图表：
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
helm install --name elastic --namespace monitoring incubator/elasticsearch --set client.replicas=1,master.replicas=2,data.replicas=1
浏览 1提问于2018-09-11得票数 4
我对elk stack是个新手。根据我对使日志从filebeat到logstash再到kibana的读取的理解，下面是步骤。 服务器设置:我在不同的节点上配置了filebeat，logstash，kibana。 步骤： 1. First start logstash.
2. Then start filebeat .
3. Registry is created on filebeat path / var/lob/filebeat/registry giving offset value once logstash acknowledges that data is read, other
浏览 20提问于2019-09-09得票数 0
回答已采纳
1回答
我有几个Apache Server日志，我想将它们解析到Kibana中进行可视化。现在，我已经尝试设置Elasticsearch + Kibana + Filebeat来摄取这些服务器日志。然而，Filebeat似乎占用了相当多的CPU使用量。 这些日志是静态的(我收集的旧日志)。因此，我不需要Filebeat主动监控功能。在这种情况下，有没有其他方法可以让我只将Apache Server日志导入Kibana一次？ 另外，顺便说一句，filebeat和logstash有什么不同？我读到logstash能够从日志中解析出更多信息，比如地理位置。然而，在尝试我的方法时，似乎filebeat的ap
浏览 17提问于2019-05-30得票数 0
回答已采纳
我有一个应用程序服务器，我在其中配置了filebeat(通过Chef)来提取日志并将其发布到logstash(一个单独的ELK服务器)，然后发布到ES和Kibana。
我已经将filebeat配置为仅处理/opt/app_ logs /*.log中的日志，但它似乎也在读取其他位置的日志，因为在/etc/filebeat配置目录中，我有自动生成的filebeat.full.yml和其他yml文件，并且它们似乎具有所有其他文件位置，因此由于有如此大量的日志，logstash.log的logstash服务在几分钟内就会耗尽内存。如何不自动生成其他yml文件？我尝试删除此文件，并尝试注释掉浏览程序中的
浏览 9提问于2017-01-13得票数 0
我将Filebeat配置为在一台主机上查看多个不同的日志，例如Nginx和我的应用服务器。但是，据我所知，您不能在任何一个节拍中有多个输出--因此我的filebeat.yml只有一个指向Logstash服务器的output.logstash指令。
Logstash有管道路由的概念吗？我在我的Logstash服务器上配置了几个管道，但不清楚如何从Filebeat中利用它，例如，我想要将Nginx日志发送到我的Logstash管道，用于Nginx，等等。
或者，有没有办法将Nginx的节拍路由到logstash:5044，并将我的应用服务器的节拍路由到logstash:5045。
浏览 35提问于2019-07-20得票数 2
回答已采纳
TLDR
我正在尝试使用一个被坞化的弹性堆栈来解析2个日志文件。堆栈接受添加到/usr/share/filebeat/scrape_logs文件中的日志，并通过logstash将它们存储在elasticsearch中。
我看到日志到达logstash，它们如下所示，但是当我从kibana运行查询GET /_cat/indices/时，没有索引。
我已经创建了一个具有相关设置的，如果您想运行代码，只需运行docker-compose up，然后运行echo '2021-03-15 09:58:59,255 [INFO] - i am a test' >> beat_t
浏览 5提问于2021-03-15得票数 0
回答已采纳
在我的k8s集群中，文件节拍连接在节点重新启动后失败。其他k8s节点工作正常。 来自filebeat pod的日志： 2020-08-30T03:18:58.770Z ERROR kubernetes/util.go:90 kubernetes: Querying for pod failed with error: performing request: Get https://10.96.0.1:443/api/v1/namespaces/monitoring/pods/filebeat-gfg5l: dial tcp 10.96.0.1:443: i/o timeout
浏览 314提问于2020-08-30得票数 0
回答已采纳
2回答
我正在使用filebeat从远程服务器获取日志，并将其发送到logstash，这样它就可以正常工作了。但是，当新日志被追加到源日志文件中时，文件节拍从一开始就读取这些日志，并将其发送到logstash和logstash，在elasticsearch中添加所有带有旧日志的日志，即使我们已经在elasticsearch中有了这些旧日志，所以这里会重复日志。
因此，我的问题是如何将新添加的日志发送到logstash中。一旦在日志文件中追加了新的日志行，那么这些新文件就应该发送到logstash到elasticsearch。
这是我的filebeat.yml
filebeat.inputs:
- ty
浏览 1提问于2019-01-09得票数 0
回答已采纳
在我们的集群中，一些应用程序以多行方式发送日志，问题是日志结构因应用程序而异。
如何设置“if”条件，该条件将包括
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
在里面？
我们的代码：
filebeatConfig: filebeat.yml: x
filebeat.inputs:
- type: container
paths:
- /var/log/
浏览 8提问于2022-09-20得票数 0
我目前正在使用filebeat将日志转发到logstash，然后再转发到elasticsearch。
现在，我正在考虑通过rsyslog将日志转发到logstash。这样做的好处是，我不需要在每台服务器上安装和配置filebeat，我还可以以JSON格式转发易于解析和筛选的日志。
我可以使用TCP/UDP通过rsyslog将日志转发到logstash。
我想知道rsyslog在性能、可靠性和易用性方面的优点和缺点。
浏览 5提问于2017-06-06得票数 11
回答已采纳
我正在将一些服务迁移到kubernetes，并且正在寻找日志文件管理的解决方案。上述服务可能相当嘈杂(与日志相关)，而且由于它们将位于各种容器中，我计划使用logstash->elasticsearch来集中日志。
如果这些是虚拟机，id可能会设置filebeat来抓取日志，并将logrotate设置为非常严格，不允许任何文件超过一天。这是适用于kubernetes的机制吗？我不想因为填满磁盘而在kube主机上造成问题。
本质上:每个容器都有一个服务+文件节拍+严格的logrotate策略。日志将被转发到中央logstash实例。
这是否合理呢？
浏览 13提问于2018-07-31得票数 0
回答已采纳
目前我正在通过filebeat和logstash将laravel日志发送到elasticsearch，可以直接将laravel日志发送到elasticsearch，而不需要filebeat和logstash。
浏览 0提问于2021-06-09得票数 0
这是从logstash输出here的filebeat配置中摘录的 ? 我想知道index和logstash有什么关系。在我的logstash配置中，如果我将日志重定向到ElasticSearch，我相信我的日志将被索引到"logstash-%{+YYYY.MM.dd}“下，正如文档中所说的here。 那么为什么有一个选项可以为filebeat的logstash输出设置index呢？
浏览 114提问于2019-12-19得票数 1
回答已采纳
我正在尝试让我的Filebeat将日志传递到Logstash的多个实例。Filebeat可以有多个输出，但是它们是负载均衡的。 我尝试使用以下命令设置filebeat： output.logstash.hosts: ["IP1:5044", "IP2:5044"]
output.logstash.loadbalance: false 这会给我提供负载均衡IP1，直到该节点出现故障，然后切换到IP2。Loadbalance = false，当有多个主机时定义为默认值 另外，我也尝试过： output.logstash.hosts: ["IP1:5044&
浏览 70提问于2019-07-04得票数 0
我的Filebeat正在正确地跟踪文件(正如我想要的那样，这就是为什么我从Logstash转发器转到Filebeat)。
但是，每当日志文件中引入任何更新时，这些更新都不会由我的Filebeat动态地单独发送给Logstash。
它要求我重新启动Filebeat服务，方法是在终端中再次输入"sudo服务Filebeat重新启动“。
所以我有以下问题-
为什么会发生这种事?？
Filebeat使用哪种服务- TCP还是UDP？
如何监视Filebeat向Logstash发送了多少事件，就像logstash转发器一样？
浏览 4提问于2016-01-25得票数 1
您好，我有filebeat，它正在收集日志，并与logstash连接。
我的想法是显示从logstash到Grafana的日志。
是否有将logstash日志直接发送到prometheus或grafana的选项？
在我的解决方案中，我不想使用elasticsearch。我找到了一些logstash导出器，但这是用于logstash状态的，而不是用于日志的。
浏览 2提问于2020-03-05得票数 1
我观察到，在摄取所有日志之后，filebeat将永远运行。
有没有办法让filebeat在所有日志被摄取后自动停止？下面的配置是否正确？
filebeat.prospectors:
shutdown_timeout: 0s
enabled: true
paths:
- D:\new.log
output.logstash:
hosts: "localhost:5044"
我在logstash文档中找不到任何可以帮助我解决这个问题的东西。
浏览 8提问于2018-02-13得票数 1
2回答
按照数字海洋教程，我将ELK堆栈和ELK节点设置为RedHat服务器。Kibana已经启动并运行，但当我将索引模式配置为logstash-*时，没有看到任何logstash索引。
Unable to fetch mapping. Do you have any indices matching the pattern?
当我做卷曲来查看我所拥有的索引时，它们仅仅是文件类型的索引。Filebeat应该将数据推送到logstash，后者正在监听5044。
$curl 'localhost:9200/_cat/indices?v'
health status index
浏览 4提问于2017-01-18得票数 1
回答已采纳
1回答
Logstash在tcp上没有节拍配置的情况下运行得很好，当我通过tcp发送时，我可以看到所有的日志。 input {tcp{
port => 8500 }
}
output { elasticsearch { hosts => ["elasticsearch:9200"] }
} 但是我想从filebeat发送日志到logstash。我使用以下命令更改了logstash配置： input {
beats {
port => 5044
}
}
output { elasticsearch { hosts => [&
浏览 177提问于2020-01-24得票数 0
4回答
在Docker工作时，我在生成日志信息方面遇到了问题。在本地主机中在日志文件中写入日志没有问题。
当我在停靠期间实现CRUD进程时，我看不到任何新的日志。
如何将日志file(Springboot-Elk.log)连接到Docker？
我怎么才能修好它？
下面是显示屏幕截图的文件：
以下是我的项目链接：
下面是如下所示的docker-compose.yml
version: '3.8'
services:
logstash:
image: docker.elastic.co/logstash/logstash:7.15.2
user: root
co
浏览 13提问于2022-04-14得票数 1
回答已采纳
1回答
我使用filebeat从应用程序中获取日志，使用logstash过滤和转换日志事件，然后将它们发布到elastic search输出管道。 我想知道filebeat端和logstash端的事件大小。你能让我知道如何查看或计算它吗？
浏览 33提问于2021-04-26得票数 0
我使用的是Filebeat 6.4.2，Logstash 6.3.1，我想合并filebeat输入路径上的所有日志文件。日志没有任何特定的模式来开始或结束。
日志没有任何特定的模式。我想捕获所有组合的日志到Logstash一起在一堆指定的最大行数。
我尝试在模式部分使用多个RegEx，它不起作用。问题是日志没有任何特定的模式。
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/application.log
fields:
type: admin
浏览 2提问于2019-11-11得票数 0
1回答
我目前有一个架构，它的日志发送者是filebeat，它将日志发送到日志存储索引器实例，然后再发送到AWS中的托管弹性搜索。由于持久的TCP连接，我无法使用AWS多个日志存储索引器实例来加载平衡，因为文件拍总是选择实例并将其发送到那里。所以我决定用红色。现在，看到它是多么困难的规模，并使它的高度可用的组件在麋鹿堆栈，我想问一问，甚至有什么意义，红色。我读了一百万次它作为一个缓冲区，但是如果如果logstash不能处理负载，那么如果filebeats停止发送日志到logstash，为什么我们甚至需要一个缓冲区。Filebeat很聪明，能够知道停止发送日志。如果弹性搜索失败，Logstash足够聪明
浏览 4提问于2016-05-11得票数 12
回答已采纳
我让Elasticsearch、Filebeat和Kibana在Windows机器上运行。Filebeat日志有一个正确的日志文件，并且正在侦听路径。当我查看Kibana中的数据时，它看起来很好。
我的问题是，message字段是一个字符串。
一个日志行的示例：
12:58:09.9608 Trace {"message":"No more Excel rows found","level":"Trace","logType":"User","timeStamp":"2020
浏览 29提问于2020-08-14得票数 2
回答已采纳
我正在尝试理解什么时候应该使用filebeat和logstash的用例。例如，如果logstash可以读取输入的本地日志文件，我是需要使用filebeat还是只使用logstash？我的理解是，filebeat在读取远程日志文件并将其发送到logstash服务器时非常有用。
浏览 27提问于2019-04-24得票数 0
回答已采纳
由于我删除了所有索引，所以我面临着这个问题。为此，我执行了以下命令
curl -XDELETE 'http://localhost:9200/*'
filebeat.yml
filebeat:
prospectors:
-
paths:
- /var/log/syslog
- input_type : log
document_type: syslog
registry_file: /var/lib/filebeat/registry
output:
logstash:
hosts: ["127.0
浏览 2提问于2016-07-12得票数 2
回答已采纳
1回答
我使用ELK堆栈(elasticsearch，logstash，kibana)在Kubernetes环境中进行日志处理和分析。为了捕获日志，我使用了filebeat。
yaml下elasticsearch的服务账号、集群角色、集群角色绑定
apiVersion: v1
kind: ServiceAccount
metadata:
name: elasticsearch
namespace: kube-system
labels:
k8s-app: elasticsearch
---
kind: ClusterRole
apiVersion: rbac.authorizati
浏览 4提问于2020-11-03得票数 1
嗨，作为一个弹性新手，我对为什么我们需要fileBeat将日志发送到ElasticSearch(ES)或Logstatsh有疑问。
据我所知，我们可以直接从文件中读取日志，然后发送到logstash，然后从那里发送到ES。如果允许前者，那么为什么我们需要FileBeat作为日志和日志存储之间的中间层。
我所知道的：xyzlogfile--->logstash-file--->ES--->kibana
为什么我们需要FileBeat中间：xyzlogfile--->fileBeat--->logstash-file--->ES--->kibana
浏览 0提问于2017-09-19得票数 4
我已经按照elastic.co中的描述配置了文件节拍
问题是，当我添加一个新的日志文件时，数据没有上传到logstash。会有什么问题呢？我已经尝试了不同的配置方式，但根本不起作用。
################### Filebeat Configuration Example #########################
############################# Filebeat ######################################
filebeat:
# List of prospectors to fetch data.
p
浏览 3提问于2016-05-12得票数 1
3回答
文件节拍无法加载输入
、、、
filebeat加载输入为0，而filebeat没有任何日志。filebeat应该读取一些日志的输入，并将其发送到logstash。我在logstash.conf中有一些过滤器，但我暂时删除了它。和logstash将这些发送到elastic，最后发送到kibana。
filebeat.config.modules:
path: "${path.config}/modules.d/*.yml"
reload.enabled: true
reload.period: 10s
filebeat.inputs:
enabled: true
paths:
浏览 0提问于2019-12-03得票数 0
我想把库伯内特斯的日志寄给菲莱比特和洛格斯塔什。我确实在同一个名称空间上有一些部署。
在这个链接中，我尝试了从弹性角度为filebeat.yml建议的配置。()
因此，这是我的总体配置：
filebeat.yml
filebeat.inputs:
- type: container
paths:
- '/var/lib/docker/containers/*.log'
processors:
- add_kubernetes_metadata:
host: ${NODE_NAME}
浏览 12提问于2021-10-15得票数 1
回答已采纳
我在AWS上设置了ElasticSearch，并试图将应用程序日志加载到其中。关键是应用程序日志条目采用JSON格式，如
{"EventType":"MVC:GET:example:6741/Common/GetIdleTimeOut"，"StartDate":"2021-03-01T20:46:06.1207053Z“、"EndDate":"2021-03-01”、“持续时间”：5、"Action":{"TraceId":"80001266-0000-ac00-b63f-
浏览 1提问于2021-03-14得票数 0
回答已采纳
我尝试用两个不同的logstash索引器服务器进行负载平衡，但是当我向日志添加1000行时，文件拍只将日志发送到一个服务器(我启用了stdout并可以直观地检查输出，查看哪个logstash服务器正在接收日志事件)。
我的档案：
filebeat:
prospectors:
-
paths:
- "D:/ApacheLogs/Test/access.*.log"
input_type: log
document_type: my_test_log
scan_frequency: 1s
registr
浏览 0提问于2016-05-11得票数 1
我计划为我们的一个项目构建一个集中式日志系统，该系统包含用Java、Python和Scala编写的多个组件。我想收集日志从不同的部分( REST服务器，火花作业，气流服务器)日志存储和索引到弹性搜索。我可以看到，和日志记录模块中都有直接库，可以从应用程序直接将日志推送到logstash。我可以看到filebeat，它可以配置在服务器上，将日志从文件中推送到日志中。拥有文件记录而不是直接将日志发送到logstash有什么好处？什么是最佳做法？
浏览 0提问于2019-04-15得票数 2
回答已采纳
我们正在安装ELS和Kibana，用于日志聚合/分析。第一个使用它的系统是greenfield，因此我们从构成我们系统的服务中输出结构化日志。鉴于我们不需要向日志中添加结构，我计划使用FileBeat将日志直接发送到ELS，而不是使用LogStash。这是一个明智的选择吗?或者LogStash是否比我们可能需要的解析更有价值？如果我们使用LogStash，我是否可以使用它来获取日志文件，或者我是否应该仍然使用FileBeat将日志传输到LogStash？
浏览 2提问于2016-10-05得票数 9
我对ELK非常陌生，我已经设置了一个ELK堆栈，FileBeat将日志发送到LogStash进行一些处理，然后输出到Elasticsearch。
我想知道是否有可能维护filebeat.yml中设置的索引名，直到Elasticsearch。我之所以要这样做，是因为我需要为生成日志的不同类型的应用服务器建立多个索引。如果我省略了logstash.conf中的索引，那么它是默认的；但是如果我指定了什么，那么很明显，它就会生效。我只想让它使用FileBeat中设置的内容。
或者有什么方法可以配置多个输出部分，以便对日志类型进行评估，这样我就可以恰当地命名它们了吗？
filebeat.yml
# Op
浏览 1提问于2020-04-01得票数 3
回答已采纳
我在不同的应用程序上运行了多个filebeat服务，这些服务将日志发送到中央logstash服务器进行解析。有时，一些应用程序日志的格式不正确，因此在“logstash-plain.log”文件中会出现“parse error”。我遇到的问题是，我不能从logstash-Pla.log文件中识别出日志来自哪里(因为有大量的应用程序正在运行filebeat )
有没有办法从logstash日志中追踪filebeat源？
浏览 24提问于2021-06-14得票数 0
在Docker版本18.09.5中，当我键入以下命令时，构建e8ff056和filebeat:7.1.1 (由elasticsearch提供)： $ docker logs filebeat > filebeat.log 我看到了日志，但filebeat.log是空的。 如果我尝试： $ docker logs logstash > logstash.log 我没有看到控制台的日志，但是文件il写满了日志行。 使用的操作系统为：Ubuntu 19.04
浏览 36提问于2019-06-17得票数 5
回答已采纳
1回答
当我想到如何在集群日志存储设置中配置File节拍时，我缺少了一些非常基本的东西。
根据文章和这个体系结构图
我认为在logstash集群前面有某种负载均衡器。但是，Filebeat输出文档表明，必须有一个指定的所有Logstatsh节点的数组。使用这个节点列表，Filebeat将完成来自客户端的负载平衡。
此外，根据 GitHub问题，目前还没有可用的本机逻辑存储群集。
因此，我的问题是，在不指定集群中的logstash节点的情况下，我需要什么样的设置才能将多个Filebeat指向一个logstash服务端点？
有可能吗？
在Logstash集群前面设置负载均衡器会有帮助吗？
浏览 4提问于2020-04-07得票数 0
回答已采纳
我遵循filebeat->logstash->elasticsearch->kibana管道。filebeat成功工作并从目标文件获取日志。 Logstash接收输入插件上的日志，绕过筛选器插件并发送到输出插件。 filebeat.yml # ============================== Filebeat inputs ===============================
filebeat.inputs:
浏览 44提问于2021-04-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
