我正在尝试配置一个Gitlab-ci Job，它从生产服务器收集日志，并通过使用Logstash docker镜像的作业将它们发送到elasticSearch服务器。我知道这不是通常的方法，但是我们不允许在这些服务器上安装Logstash！ Job运行良好，但问题是我们无法为Logstash指定一个参数，以便在文件处理完成后退出，代码为0。即使在Elasticsearch中对日志进行了很好的索引，管道也会被标记为失败
浏览 10提问于2019-01-15得票数 1
2回答
我使用以下配置启动了日志存储：queue.type: persistedqueue.checkpoint.writes: 1假设elasticsearch被关闭了
现在想象一下，我们也关闭了日志存储。现在，如果我打开logstash和elasticsearch，logstash就不会发送在步骤2 -- --也就是当elasticsearch被关闭，lo
浏览 7提问于2017-02-10得票数 10
我的logstash.yml如下： jmx { polling_frequencyIf not set use <host>_<port>然后在命令中运行logstash：
sudo bin/
浏览 12提问于2017-10-29得票数 3
我已经设置了一个logstash管道，使用jdbc输入和elasticsearch输出监视logstash.conf的目录。我启用了.logstash_jdbc_test_last_run，它记录执行查询的时间：在命令行上运行logstash时，我的管道成功地处理了logstash文件：
[2019-08-23T15:26:48,168][IN
浏览 0提问于2019-08-23得票数 0
回答已采纳
1回答
无法停止Logstash
、、、、
我正在使用带有Netflow模块的ELK堆栈。首先，当我检查CPU使用情况时，Logstash正在使用大量资源，我决定停止它。这一刻Elasticsearch/Kibana/Logstash被停止了。我是说，我运行了sudo service elasticsearch/kibana/logstash stop命令。基本上，我认为logstash有问题。当我在htop中看到日志时，我得到了这样的东西，我不明白为什么。 ? 当检查log
浏览 123提问于2021-05-10得票数 0
回答已采纳
假设我有一些日志文件，log_file_11_01_2020log_file_13_01_2020我的意思是，在这个管道<em
浏览 32提问于2021-02-19得票数 0
回答已采纳
我们正在加载所有的日志，可以追溯到几年前。其目的是查看这段时间内的一些特定于应用程序的趋势。
数据处理管道仍在调整中，因为这是第一次有人详细研究这些数据，一些人仍在试图决定他们希望如何处理数据。有人提出了一些更改，虽然它们很容易在logstash管道中为新的传入数据执行，但我不确定如何将这些更改应用于elastic中已经存在的数据。加载当前数据集花费了几天时间，并且添加了相当多<e
浏览 1提问于2018-11-22得票数 0
我的问题是关于坞-撰写文件中的logstash映像：#general settings#pipeline settingmyconf.conf1# Example of my"
浏览 3提问于2020-04-30得票数 1
回答已采纳
2回答
设置ELK集群
、、、
我正尝试在Windows服务器上使用RabbitMQ + ELK构建一个日志管道。有没有人设置过这样的东西？我知道我们可以通过在yml中设置集群名称来轻松设置ElasticSearch集群。lagstash写入ES集群的
浏览 2提问于2014-08-13得票数 1
1回答
我可以使用logstash.conf创建索引。我的输入类型是gelf。我要把日志发送给基巴纳。这是我的logstash.conf{ gelf { } output
stdout { codec => rubydebug } }它给出了一个错误信息logstash.agent -找不到持久的UUID文件。正在生成新的UUID {:uuid=>&
浏览 22提问于2017-10-11得票数 0
2回答
跨多个JVM的事务控制
、、、、
我有一个标准的java问题:在Oracle中，多个数据库事务要么全部提交，要么一个都不提交。由于每个进程都在单独的JVM中，这一点变得复杂起来。有没有可能以任何合理的健壮性级别跨多个JVM同步提交？
浏览 7提问于2010-08-12得票数 2
回答已采纳
2回答
我的配置为filebeat，负载平衡为true &两个logstash主机，即输入到elasticsearch的logstash1和logstash2。elasticsearch { index => "testidx"}
但是，当我将一些行回显到文件temp.log中时，我发现在elasticsearch中处理的行是
浏览 0提问于2016-09-28得票数 0
1回答
形势：
监视sincedb文件以检查Logstash何时达到EOF，然后杀死Logstash。当stdin关闭并处理所有输入时，Logstash将自行关闭。另一方面，<em
浏览 4提问于2019-02-21得票数 8
在批处理Dataflow作业完成所有数据后，是否可以执行操作？具体来说，我想将管道刚刚处理的文本文件移动到不同的GCS桶中。我不知道如何将它放在管道中，以确保它在数据处理完成后执行一次。
浏览 2提问于2017-06-01得票数 5
回答已采纳
问题所在
配置inputwhich elasticsearch a
浏览 4提问于2015-10-26得票数 5
我在ELK上关注这篇文章：，在这个体系结构中，serilog日志记录到Logstash，然后logstash推送到弹性搜索，如果弹性搜索不可达，或者如果logstash服务关闭，或者如果网络关闭或系统关闭，简而言之，我要去哪里，我如何确保我的日志在所有情况下都不会丢失，日志也应该离线可用。我想先存储在日志文件中，然后从文件到弹性搜索处理日志，但是文件会随着时间的推移而增长，然后我必须注意没有重复的消息，消息也需要删除，最重要的
浏览 1提问于2021-05-02得票数 0
最流行的编码和部署logstash管道的方法是创建一个my_pipeline.conf文件并运行它，如下所示弹性提供了一种由logstash"pipeline.conf"文件的content包含在HTTP 的json主体的“管道”键中。基本上，我有几十个*.conf管道</e
浏览 18提问于2022-12-02得票数 0
我有一个Logstash管道，它从MS视图获取数据，它连接到表A和表B，并将去标记的数据放入ES中。jdbc {
#Program有了这个新的要求，我很困惑如何配置Logstash来跟踪表B上以及在同一<
浏览 0提问于2021-06-16得票数 2
回答已采纳
sudo /usr/share/logstash/bin/logstash --debug --path.settings /etc/logstash -f /etc/logstash/conf.d/apache.conf但是，如果我使用systemctl (systemctl start logstash)启动服务中的logstash，它就会
浏览 0提问于2021-02-06得票数 0
1回答
基于文件节拍的弹性文档，提供了插件，通过file节拍将事件插入到redis中，但它在Redis列表(文件结构类型)下。https://www.elastic.co/guide/en/beats/filebeat/current/redis-output.html
只是想知道我是否想在散列中插入所有事件，这可能吗？
浏览 1提问于2016-10-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
