将python日志文件写入logstash

文章/答案/技术大牛

发布

2回答

在python将新数据写入文件后，Logstash无法(读取和)存储文件中的日志数据

python、elastic-stack

我使用python脚本自动将日志写入一个特殊文件，该文件也是我的日志存储的源日志。上下文可以被正确地写入(由python编写)，但是在此之后，log存储不能再读取日志数据，甚至无法重新启动logstash。主要步骤是：启动elasticsearch(默认为conf )和logstash (conf显示如下)，logstash可以自动

浏览 3提问于2016-12-27得票数 0

回答已采纳

1回答

如何获取不同服务器的发送、接收字节和网络带宽，用elk栈解析(elasticsearch logstash* kibana)*

logstash

我想要获取入站和出站字节，然后将其解析为logstash，以便我能够在kibana中看到直方图。提前谢谢。我是新来这里的。

浏览 1提问于2015-04-21得票数 0

1回答

python、docker、logstash

我现在使用的是Docker提供的ELK堆栈：为了登录我的python程序，我使用了python-logstash库：https://github.com/vklochan/python-logstash 我正在尝试使用python-logstash github页面上的示例将日志</

浏览 11提问于2016-08-10得票数 6

2回答

Logstash不写入日志

logstash

当我跑的时候它不会将任何内容写入/var/log/logstash/logstash.logls -l logstash -rw-r--r-- 1 logstash logstash 80949 A

浏览 3提问于2016-08-11得票数 1

回答已采纳

2回答

如何阻止logstash将logstash日志写入syslog？

elasticsearch、logstash、syslog、logstash-jdbc

我在我的ubuntu服务器中有我的logstash配置，它从postgres数据库读取数据并将数据发送到弹性搜索。我已经在每15分钟配置了一个日程，logstash将查看postgres表，如果表中有任何更改，它会将数据发送给弹性搜索。那么，如何停止logstash将其日志发送到syslog。

浏览 3提问于2019-10-23得票数 2

回答已采纳

1回答

为什么我们在Python中使用logstash_formatter包？

python、json、rabbitmq、logstash

我使用logstash_formatter python模块将格式化的日志发送到logstash。logstash_formatter正在将我传递的字典转换为JSON字符串。然后，我的应用程序将此JSON消息写入audit_log文件。logstash agent正在读取这个日志文件并将JSON数据发送到RabbitMQ中。在从logstash_formatter安装包之前，我预计

浏览 12提问于2014-03-18得票数 6

回答已采纳

1回答

可以使用logstash.yml文件将日志存储容器日志配置到特定路径吗？

docker、logging、logstash

在普通的logstash中，我们有一个配置文件夹，我们将配置日志和其他与logstash配置相关的东西，包括logstash.yml、log4j2.properties、jvm.options和startup.options是否可以在容器内执行此操作，以便将日志写入到文件中，而不是提供stdout？

浏览 39提问于2020-01-22得票数 1

2回答

使用非常基本的配置读取带有logstash的文件时出错

elasticsearch、syslog、logstash、grok、kibana

我过去使用过Logstash，但是已经有一段时间了，这是我第一次尝试从文件中读取。在我的一生中，我花了几个小时来完成一项绝对简单的任务。与其阅读整个日志，我只是简单地从一些小的东西开始，并从它构建我的代码。我的日志文件名是/home/shoresc/Desktop/logstash_config/sample.messagesJan 15 00:33:48 "POST /service.phpsess

浏览 4提问于2014-01-16得票数 1

2回答

是否可以将作为web服务公开的日志数据输入到Elasticssearch？

elasticsearch、flume、logstash、kibana、fluentd

每个应用程序都有一个web服务来公开相关的日志数据(审计数据、安全数据、与成本计算相关的数据、性能数据、.)。为申请而合并。我的任务是将来自每个系统的数据放入Elasticsearch、Kibana和Logstash的设置中，这样我就可以创建业务报告或以我想要的方式查看数据。假设我有一个JBoss应用服务器来集成这些“公开日志”服务，那么提供Elasticssearch的最佳方式是什么？调用每个服务的Logstash插件？JBoss使用一些Logstash插件？

浏览 3提问于2014-03-19得票数 1

回答已采纳

1回答

使用Logstash可靠性和可用性登录到elasticsearch，处理丢失的日志？

c#、elasticsearch、logstash、serilog、fluentd

我在ELK上关注这篇文章：，在这个体系结构中，serilog日志记录到Logstash，然后logstash推送到弹性搜索，如果弹性搜索不可达，或者如果logstash服务关闭，或者如果网络关闭或系统关闭，简而言之，我要去哪里，我如何确保我的日志在所有情况下都不会丢失，日志也应该离线可用。我想先存储在日志文件中，然后从文件到弹性搜索处理日志，但是文件会随着时间的推移而增长，然后我必须注意没有重复的消

浏览 1提问于2021-05-02得票数 0

1回答

无法使用logstash-logger gem将日志发送到另一个服务器中的logstash中。

ruby-on-rails、logstash

我已经在环境文件中包含了以下内容 { port: 5044, verify_hostname: false]gem "lograge"gem 'logstash-logger' 然

浏览 0提问于2018-11-27得票数 1

回答已采纳

1回答

用Elasticsearch Logstash索引日志(使用预处理Python脚本)

python、elasticsearch、logging、logstash、filebeat

我和Elasticsearch Logstash有个问题。我的目标是用logstash自动发送日志到elasticsearch。我想在python中使用预处理脚本，以便在注入带有logstash的弹性之前转换我的数据。一开始，我只想使用python脚本登录elasticsearch。但我有大量的日志分开在许多文件夹和文件，不断更新，所以我认为它是更强大的使用logstash或文件拍。在py

浏览 0提问于2018-06-18得票数 0

1回答

Logstash + Syslog输入插件与Logstash +文件输入插件+ Syslog服务器

logstash、syslog、logstash-file

我有一个现有的系统，通过Syslog协议将日志条目发送到我的服务器。日志条目被写入本地文件，然后使用Logstash使用它的处理这些日志文件。我喜欢它，因为即使Logstash崩溃(有时会发生)，我也不会丢失任何日志。我今天才意识到Logstash还有一个能够读取Syslog协议日志数据的Syslog输入插件。我想知道如果我关闭我的Syslog服务器，并通过Logstas

浏览 2提问于2019-02-15得票数 0

回答已采纳

1回答

是否有任何方法将logstash配置为忽略特定输出插件的故障？

elasticsearch、logstash

我有一个日志存储管道，其中日志被传输到我的日志服务器并存储在那里的磁盘上(最高优先级)。然后在单独的服务器上在elasticsearch中对日志进行索引(最低优先级)。我今天意识到，如果elasticsearch无法访问，整个管道就会被破坏，我不能冒险阻止日志存储在磁盘上。如何告诉logstash使用特定的输出插件忽略错误，例如elasticsearch的连接错误？我的当前设置是从一个伐木工人输入开始的，它接受来自所有其他实例的转发日志。然后，文件</e

浏览 0提问于2016-01-07得票数 1

1回答

当elasticsearch死掉/无法写入磁盘时，日志存储可用性

elasticsearch、logstash、rsyslog

我有rsyslog通过TCP将日志转发到logstash。如果logstash不可用，rsyslog将建立队列。如果logstash可用，但elasticsearch已死亡，或由于某种原因无法写入文件系统。谢谢

浏览 5提问于2014-04-25得票数 1

1回答

同一台计算机上多个进程的Logstash

logging、elasticsearch、logstash

我们正在尝试为我们的应用程序找到最佳的logstash配置。这个应用程序由大约30个进程组成，它们共同构成了一个在linux机器上运行的服务器。不过，我们确实遇到了资源问题。我们不能同时将日志和elasticsearch写入磁盘，并使用相同的数据保持elasticsearch运行(

浏览 1提问于2015-05-22得票数 0

1回答

一种用于ELK堆栈的网络容错体系结构

architecture、elastic-stack

在通常将日志写入文件的传统应用程序中，导致系统崩溃的唯一原因是非常罕见的Disk is Full错误。但是在集中式日志系统中，日志是通过网络发送的，由于网络错误非常常见，我认为系统非常容易崩溃！我认为，如果在单个节点上与每个JMS Provider一起使用类似于Kafka的Kafka(每个节点使用一个Kafka )，我们可以解决这两个问题： ((log-generator)+ (logstashKafka)* -> Logstash -> Elasticse

浏览 1提问于2016-12-31得票数 0

回答已采纳

2回答

在logstash中将csv解析为kafka时出错

elasticsearch、logstash、logstash-configuration

.>, :backtrace=>["/usr/share/logstash/logstash-core/lib/logstash/settings.rb:530:in `validate'", "/usr/share/logstash/logstash-core/lib/logstash/setti

浏览 238提问于2021-05-24得票数 0

1回答

将子进程pid写入日志文件时引发错误

python-2.7、debian、subprocess

我有一个运行一些子进程的python脚本。 run_logstash(langPath) File "./init.py", line 228, in r

浏览 12提问于2017-03-14得票数 1

回答已采纳

1回答

从气流传递参数到对数

elasticsearch、logstash、airflow、elastic-stack、logstash-configuration

我已经配置logstash来侦听默认气流日志路径上的日志。dag_id，task_id，execution_date，try_number我已经将logstash配置为侦听日志路径。由于remote_logging在airfow.cfg中是真的，所以日志不会写入基本日志文件夹。如果这是错误的，

浏览 5提问于2020-03-30得票数 2

点击加载更多

在python将新数据写入文件后，Logstash无法(读取和)存储文件中的日志数据

如何获取不同服务器的发送、接收字节和网络带宽，用elk栈解析(elasticsearch logstash* kibana)*