我正在尝试编写一个用于提取.tar.gz文件的shell脚本。我需要首先检查是否存在相同的目录，然后解压zip文件。否则做点别的事。下面是我的shell脚本。
#!/bin/bash
INSTALL_DIR=$HOME/Test/LogShipper
LOGSTASH_PATH=logstash-2.3.2
LOGSTASH_FOLDER=$HOME/Test/LogShipper/logstash
LOGSTASH_BINARY=$LOGSTASH_PATH.tar.gz
ES_PATH=elasticsearch-2.3.2
ES_BINARY=$ES_PATH.tar.gz
KIBA
浏览 2提问于2016-04-28得票数 0
回答已采纳
当我运行logstash时，我得到了一个随机错误：
16:30:26.240 [main>worker0]错误logstash.pipeline -异常在管道工作者，管道停止处理新事件，请检查您的过滤器配置和重新启动Logstash。{“"backtrace"=>"org/jruby/RubyString.java:3101:in”=>#，gsub'", "org/jruby/RubyString.java:3069:ingsub‘，"/usr/share/logstash/vendor/bundle/jruby/
浏览 0提问于2017-06-22得票数 0
我在用logstash将数据从postgres传输到弹性数据时遇到了困难。我得到错误“块在converge_state”。产生的错误是：
Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of \r, \n at line 36, column 4 (byte 583) after # }"
浏览 9提问于2019-10-09得票数 0
回答已采纳
我想截断/修剪我的日志存储配置。
正如你所看到的，它是非常长的，并且总是重复同样的。我无法最小化/消除代码/配置加倍。
请参见下面的内容:对于每个tomcat实例，都有应用程序、访问、标准和标准日志，这些日志是通过文件传输到elkserver的:9200。
大约有15个实例，以60条"if“和”There“指令结尾。
有没有人有提示，如何截断/修剪输出部分？
input {
beats {
port => 5044
ssl => true
ssl_certificate_authorities => ["/etc/logstash/
浏览 0提问于2018-08-22得票数 1
回答已采纳
1回答
我正在使用Logstash8.5.1的最后一个版本。我正在尝试根据logstash输入中的源IP输出登录文件。
我确实认识那些不速之客。我试图在logstash管道配置文件的filter部分中过滤掉它们。
这就是我一直在尝试的，无论我改变了什么，它总是在我的其他条件下。
input {
beats {
port => 5555
ssl => true
ssl_certificate => "/etc/logstash/certs/logstashcert.pem"
ssl_key => "/etc/logsta
浏览 4提问于2022-11-18得票数 0
你好，我在logstash的输出中做了一个条件语句，但是else语句不起作用。当我发送INFO日志时，它们会进入if语句，但当我发送与这些日志不同的日志时，它们不会进入else语句，也不会显示在tpms-system索引中。 下面是我的输出部分： output{
stdout{
codec => dots
}
if [message] =~ "\D\[INFO\s\]:.*\[ELASTICSEARCH\].*" or [message] =~ "\D\[INFO\]:.*\[ELASTICSEARCH\].*" {
elas
浏览 47提问于2019-02-19得票数 0
回答已采纳
一个月来，我一直在和logstash合作，从一周前开始，我似乎无法开始工作了。Logstash运行在带有linux的计算机aws上，版本为6.2.4。我以前工作得很好所以我不知道埃哈特发生了什么。我老板做的唯一的事情就是从6.2.3升级到6.2.4，但是错误不是在那一刻开始的，而是在几天后开始的，所以我猜这不是问题所在。
我有一个具有我的配置的logstash.conf文件，内部日志指向“配置文件”中的一个特定行，但有趣的是，这一行不存在，因为该文件有较少的行。我在某个地方看到logstash合并了所有的conf文件，但是我似乎找不到合并的文件来检查行。我很沮丧。
我将粘贴logstash.c
浏览 0提问于2018-04-30得票数 1
回答已采纳
1回答
我正在使用ELK坞堆栈来聚合和分析来自不同来源的日志，但是我的logstash配置有问题。
File节拍将流重定向到logstash，而我对Elasticsearch没有任何了解，所以我认为logstash配置存在问题。
我有两种与我的码头日志不同的日志：
HTTP请求日志
2019-01-29T18:35:15.423ZHTTP INFO "POST /myroute/?param1 1=test“201 41 - 44.014 ms
APP日志
2019-01-29T18:48:19.657Z应用程序错误：{“代码”：201，“消息”：“ok”}
当我检测到日志是&
浏览 0提问于2019-01-30得票数 0
我试图在Logstash的帮助下处理Nginx访问日志(版本2.1.3)
根据在Nginx访问日志中发现的不同端点，我希望在不同的队列或有时在不同的RabbitMQ服务器中发送数据。
下面是我的Logstash配置：
input {
stdin {}
}
filter {
grok {
match => { "message" => "(?<status>.*?)!~~!(?<req_tm>.*?)!~~!(?<time>.*?)!~~!(?<req_method>.*?)!~~!(?<req
浏览 1提问于2017-04-24得票数 1
1回答
我的原木行是这样的：
11:05:44,924 DEBUG DataFeed:? - Data received: data=TextMessage={ Header={ JMSMessageID={ID:someId} JMSDestination={Topic[someTopic]} JMSReplyTo={null} JMSDeliveryMode={NON_PERSISTENT} JMSRedelivered={false} JMSCorrelationID={null} JMSType={null} JMSTimestamp={Tue Aug 30 11:05:44 BST 2016
浏览 2提问于2016-08-30得票数 0
回答已采纳
我使用filebeat根据日志的文件名将日志发送到logstash -这些日志被发送到elasticsearch中的特定索引。Filebeat运行良好，logstash接收日志文件，但我似乎无法在logstash配置中获取正则表达式来检查文件名是否包含有效的特定字符串。
下面是我的logstash配置
input {
beats {
port => 5044
}
}
filter {
csv {
separator => ","
columns => ["Order ID",&
浏览 30提问于2019-08-08得票数 0
2回答
我有下面的logstash输出插件，其中有一个条件，在启动管道时会产生来自logstash的错误。
卡夫卡输出过滤器支持条件词吗？
output {
kafka {
id => "plugin_SharedAlarmCreated"
bootstrap_servers => "kafka-1:9092,kafka-2:9092,kafka-3:9092"
codec => json
topic_id => "Shared.Event.AlarmCreated"
if "n
浏览 8提问于2022-10-15得票数 0
回答已采纳
2回答
当前目录包含不断出现的新日志。
/tmp/logstash/ dir包含比较新日志的日志
条件：
如果新日志具有相同的名称和/tmp/logstash中已经存在的大小，我应该得到“相同的文件已经存在”的msg。
否则，脚本将将新日志移动到/tmp/logstash/。
注意，如果名称相同但大小不同，则脚本仍应将新文件移动到tmp/logstash/
我的脚本如下所示，它与“那么&if”的结合不能正常工作，您能帮我修复一下吗？
for file in *.log; do
new_filesize=$(du -b "$file" | cut -f 1)
if
浏览 0提问于2015-04-01得票数 0
回答已采纳
1回答
我有以下Logstash配置：
input {
kafka {
bootstrap_servers => "svc-kafka:9093"
topics => ["ELK.LOG_EVENT.PROC", "ELK.API_ANALYTICS.PROC"]
codec => "json"
decorate_events => true
}
}
output {
if [kafka][topic] == "ELK.
浏览 0提问于2018-10-11得票数 0
回答已采纳
我在管理日志时遇到麻烦了。我的公寓看起来是这样的：
input {
udp {
port => 1514
type => docker
}
}
filter {
grok {
match => {
"message" => "<%{NUMBER}>%{DATA}(?:\s+)%{DATA:hostname}(?:\s+)%{DATA:imageName}(?:\s+)%{DATA:containerName}(?:\s*\[%{NUMBER}\]:) (\s+(?<logDat
浏览 1提问于2016-06-22得票数 0
我希望将winlogbeat数据发送到独立的索引，而不是我的主索引。我已经配置了winlogbeat来将它的数据发送到我的logstash服务器，并且我可以确认我已经收到了数据。
这就是我目前所做的：
output {
if [@metadata][beat] == "winlogbeat" {
elasticsearch {
hosts => ["10.229.1.12:9200", "10.229.1.13:9200"]
浏览 0提问于2018-06-27得票数 0
因此，我有以下logstash过滤器配置文件。
filter {
if [type] == "syslog" and [message] =~ "diskstation" {
grok {
match => { "message" => "<%{POSINT:syslog_pri}>%{INT:version} %{TIMESTAMP_ISO8601:timestamp} %{HOSTNAME:hostname} %{DATA:syslog_program} - - (?:\[meta s
浏览 2提问于2015-06-03得票数 0
我在ubuntu14lts下安装了logstash作为服务，但是在启动服务(sudo service logstash start)时我得到了以下错误：
{:timestamp=>"2016-04-24T13:10:15.260000+0700", :message=>"The error reported is: \n Permission denied - /opt/elk-stack/logstash-1.5.3/vendor/bundle/jruby/1.9/gems/addressable-2.3.8/data/unicode.data"
浏览 8提问于2016-04-24得票数 0
回答已采纳
我对logstash有以下配置。
第三，我们有点击统计数据，当客户端发生事件时，我们可能希望将其推送到upd地址上的logstash。
这3个都是基于udp的，我们也使用log4net将日志发送到logstash。
基本安装没有GeoIP.dat文件，因此从下载了该文件
第二件事是我有一个国家名称，我需要一种方法来显示有多少来自每个国家的用户在过去24小时内查看应用程序。
因此，我们还可以在应用程序的配置文件中捕获国家/地区名称。
我做错了什么。
如果我使用geoIP { -=> "country“部分，那么logstash就可以正常工作。
当我检查
/opt/logst
浏览 4提问于2016-11-16得票数 0
编辑 -> I为此创建了一个插件，可在这里获得：
您可以使用bin/logstash-plugin install logstash-filter-collect进行安装，我有一个日志存储项，如下所示：
"cvals" => [
[0] {
"text" => "cval something 1",
"indices" => [
[0] 17,
浏览 2提问于2016-12-30得票数 1
我试图通过logstash将Server表记录移动到elasticsearch。基本上是一种同步。但是我从LogStash得到了一个未知错误。我提供了我的配置文件和错误日志。
Configuration:
input {
jdbc {
#https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html#plugins-inputs-jdbc-record_last_run
jdbc_connection_string => "jdbc:sqlserver://localhost-
浏览 0提问于2018-09-19得票数 1
回答已采纳
1回答
我正在尝试确定日志文件中是否存在某个字段，如果存在，则使用该字段的值作为索引名称的一部分。如果该字段不存在，请使用其他索引名称。
beats {
port => 5000
}
}
filter {
}
output {
elasticsearch {
hosts => ["https://elasticserver.io:9243"]
user => "user"
password => "pass"
retry_on_conflict => "2"
浏览 31提问于2021-06-10得票数 0
回答已采纳
我们试图在Elasticsearch中分别索引Nginx访问和错误日志。为此，我们创建了如下所示的Filbeat和Logstash配置。
下面是我们的/etc/filebeat/filebeat.yml配置
filebeat.inputs:
- type: log
paths:
- /var/log/nginx/*access*.log
exclude_files: ['\.gz$']
exclude_lines: ['*ELB-HealthChecker*']
fields:
log_type: type1
- type: l
浏览 2提问于2020-10-12得票数 0
回答已采纳
1回答
我使用ELK Stack，这个依赖项和配置来记录我的API。
<dependency>
<groupId>com.github.piomin</groupId>
<artifactId>logstash-logging-spring-boot-starter</artifactId>
<version>1.3.0.RELEASE</version>
</dependency>
在财产方面：
logging.logstash.enable
浏览 1提问于2022-01-05得票数 0
1回答
我想在我的python脚本中退出logstash，然后在cmd中单击ctrl-c将其关闭。我试图使用其中的一个函数，但它不起作用。任何人都有一个想法，请告诉我怎么做。
import os
import subprocess
import signal
@main.route('/data')
def data():
...
target_dir = os.path.join("C:\elastic_stack\logstash-7.6.2")
# small check
if os.path.i
浏览 1提问于2020-05-09得票数 0
日志：
[2017-01-14 10:48:06,848][WARN ][index.search.slowlog.query] [yaswanth] [bank][0] took[27.8ms], took_millis[27], types[], stats[], search_type[QUERY_THEN_FETCH], total_shards[5], source[], extra_source[],
[2017-01-14 10:48:06,851][WARN ][index.search.slowlog.query] [yaswanth] [bank][3] took[12.
浏览 6提问于2017-05-09得票数 0
回答已采纳
我在Linux - AWS ec2-instance上使用Elasticsearch 5.5.0和logstash 5.5.0。
有一个位于/etc/logstash/conf.d中的logstash_etl.conf文件：
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://localhost:3306/mydatabase"
jdbc_user => "root"
jdbc_password => ""
浏览 2提问于2018-04-07得票数 0
我在用
logstash 6.4.3带聚合过滤器插件2.8.0的，具有多个管道(但不确定是否相关)，具有多个聚合过滤器(但不确定是否相关)
我试图从节拍中聚合"load“和"cpu”事件。
~# cat /etc/metricbeat/modules.d/system.yml
- module: system
period: 1s
metricsets:
- cpu
- load
在启动logstash时，我经常会得到以下异常。请注意，有时需要几分钟，有时需要几个小时.
2020-11-29T06:22:07,772 logstash.Runner发
浏览 4提问于2020-12-14得票数 0
有没有办法读取logstash配置文件中的环境值。我想传入一个env值来为logstash config编写测试用例，但是我不能这样做。对于ex，我想在logatsh配置文件中执行以下操作
input {
if [ $ENV_VALUE] = test {
stdin{}
}else{
Default config
}
}
filter {..}
output
{
if [ $ENV_VALUE] = test {
stdout { codec => rubydebug }
}else{
Default config
}
}
浏览 1提问于2015-08-25得票数 0
在EC2中，我按如下方式配置了logstash
input {
# beats{
# port => 5044
# }
file {
type => "adjustlog"
path => "/etc/logstash/conf.d/sample.log"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
浏览 2提问于2016-06-28得票数 2
2回答
我在一个节点上运行logstash文件和elasticsearch。
我正在尝试获取logstash来识别标记为"syslog“的日志，并将它们转储到一个名为"syslog”的索引中，但它似乎没有看到标签，因为它们都进入了“未分类”索引(我的catch所有默认索引)。
这是我的拍子配置
/etc/filebeat/filebeat.yml
filebeat:
prospectors:
-
paths:
- /var/log/messages
fields:
type: syslog
output:
logs
浏览 2提问于2016-10-27得票数 0
回答已采纳
我用ELK和logstash-Logback-编码器将日志推送到Logstash。现在，我想使用相同的堆栈，也就是带有logstash编码器的ELK进行分析。
流动：
API(Create User)----> Commit data to RDBMS ----->
Callback Listener(on post persist and post update) --->
Logger.info("IndexName: {} . DocId: {} .User json: {}", "Customer", user.getID(), u
浏览 1提问于2017-10-16得票数 2
我正在尝试使用Logstash在MySQL和Elasticsearch之间同步数据。
我将多个jdbc输入和多个输出设置为不同的elasticsearch索引...我做错了一些事情，因为所有的东西都会被转到else块。
下面是我的配置：
input {
jdbc {
jdbc_connection_string => "jdbc:mysql:127.0.0.1:3306/whatever"
jdbc_user => "xxx"
jdbc_password => "yyy"
浏览 1提问于2017-06-01得票数 12
回答已采纳
我想使用kafka作为输入，logstash作为输出。我将向logstash提供几个主题，并希望根据主题进行过滤。我试着这样写代码：
input {
kafka {
bootstrap_servers => "localhost:9092"
topics => ["test", "payment"]
}
}
filter {
if [topic] = "test" {
//do something
} else {
//d
浏览 3提问于2016-12-28得票数 0
有时，由于完整日志文件中某些日志行的模式不正确，logstash会跳过。 它只发送模式与我所写的grok语法匹配的所有行。 我想看看logstash跳过或没有读取哪些日志行，这样我们就可以纠正这个模式。 我已经添加了 output {
if "_grokparsefailure" in [tags] {
stdout {
codec => rubydebug
}
}
else
{
}
} 但是它只输出logstash读取的行的grok解析失败 那么如何在输出日志文件中打印或存储所有跳过的行。
浏览 42提问于2019-03-22得票数 0
2回答
问:如何在ECS任务中安装aws cli？
描述:我使用一个码头容器来运行logstash应用程序(它是弹性系列的一部分)。
docker映像名为“docker.弹性. to / logstash /logstash:7.10.2”，这个logstash应用程序需要写入S3，因此它需要安装AWS。如果未安装aws，则会崩溃。
#步骤1 #为了避免崩溃，当我只使用这个应用程序作为对接程序时，我运行它的方式是在启动了码头容器之后，导致“logstash”延迟。为此，我在外部docker-entrypoint文件启动logstash之前，添加了“休眠”命令。
这是它在docker-entrypoin
浏览 6提问于2021-02-08得票数 0
我有一个log stash forward (LSF)代理，它将两种日志发送到Logstash中央代理(版本2.2)。这些日志是多行的，但不具有相同的模式。
在LSF中，配置文件如下所示：
{ "network": {
"servers": [ "server1:77009" ],
"timeout": 15,
"ssl ca": "logstashforwader.jks" }, "files": [
{
"paths": [
"/dir1/l
浏览 2提问于2016-02-18得票数 0
我使用的是logstash 7.0。我有多个事件要过滤。与其只有一个配置文件，我更喜欢每个事件有多个筛选器配置文件。
例如，我有一个登录事件，并且我将过滤器配置存储在单独的文件中。我希望在过滤器中提供文件路径，如下所示
filter {
if [I]=="login_event" {
file {
path => "/home/logstash/config/login_event.txt"
}
} else if[I] == "other_event" {
file {
path =
浏览 17提问于2019-11-30得票数 0
我刚开始使用ELK堆栈，目前我想根据日志级别在不同的elasticsearch索引中推送日志。例如，假设logstash- error _logs索引只包含错误日志(日志级别为ERROR)，logstash-ok_log索引将包含所有信息日志()日志，日志级别为INFO )等等。给定的是我的日志文件的格式：
2016-01-06 13:29:49 staging.INFO:发出回呼
因此，我使用的grok过滤器如下所示：
grok {
match => { "message" => "%{SYSLOG5424SD} %{JAV
浏览 1提问于2016-01-06得票数 1
我试着用把麋鹿建在码头上
但是我只需要Elasticsearch，Kibana和Logstash，所以我删除了所有的apm_server，文件节拍等等。
然后，运行命令：
docker-compose -f setup.yml up
返回以下输出：
在此之后，每个docker-组合命令都会抛出相同的错误：
错误:在服务"elasticsearch"中使用了名为卷"es_data:/usr/share/elasticsearch/data:rw"的，但是在卷部分没有找到声明。
我的setup.yml是这样的
version: "3.6&#
浏览 1提问于2019-04-29得票数 3
回答已采纳
1回答
你好，我在我的计算机上运行了这个logstash配置：
input {
exec {
command => "powershell -executionpolicy unrestricted -f scripts/windows/process.ps1 command logstash"
interval => 30
type => "process_data"
codec => line
tags => [ logstash" ]
浏览 0提问于2020-09-21得票数 1
我想调试我的Logstash插件执行，所以我添加了stdout { codec => rubydebug }。一旦我添加并开始执行我的logstash文件，它不会启动，它会抛出错误。
如果没有stdout { codec => rubydebug }这条线，它就可以正常工作了。
请找到下面的长线
[2018-06-26T11:29:29,988][ERROR][logstash.agent ] Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:ma
浏览 0提问于2018-06-26得票数 1
回答已采纳
1回答
我试图安装码头-麋鹿堆栈使用码头-撰写，弹性搜索和基班纳工作良好，但我的日志没有连接到弹性搜索和抛出错误如下所示，我是第一次安装这个，所以没有太多的知识。
logstash-5-6 | [2017-11-26T06:09:06,455][ERROR][logstash.outputs.elasticsearch] Failed to install template. {:message=>"Template file '' could not be found!", :class=>"ArgumentError",
浏览 3提问于2017-11-26得票数 5
回答已采纳
我目前正在使用File节拍将IIS-日志导入到Logstash中，并将Logstash配置为将文档输出到Elasticsearch中。现在，我还希望将IIS日志输出到Azure存储(blob)，以便进行长期备份，但我无法找到一种方法。
有一个工作的Logstash插件输出到AWS。但我需要使用Azure blob存储器。我在弹性输出表或其他地方找不到Azure else存储器的输出插件。
是否有一种方法可以将文档从Logstash输出到Azure from存储？
似乎是个很有价值的特征。我猜下面的东西会很像。
output {
Azure_storage {
accou
浏览 0提问于2017-06-12得票数 1
回答已采纳
我有两台安装了filebeat的服务器，在另一台服务器上安装了ELK堆栈。
在ELK服务器上的Logstash conf目录下，我创建了代表两台服务器的2个文件
在两台服务器上，在filebeat配置文件中，我为每个服务器指定了不同的端口(Logstash作为输出)
这是服务器1的Logstash文件，
input {
beats {
port => 5044
}
}
output {
if "api_logs" in [tags] {
elasticsearch {
hosts => [ "es:9200" ]
浏览 2提问于2019-08-01得票数 0
我正在使用Logstash来处理一些流数据。现在，我在使用条件标记数据时遇到了一个问题。
如果我在logstash配置中写入以下内容
if [myfield] == "abc"{ mutate { add_tag => ["mytag"] } }
else { mutate { add_tag => ["not_working"] } }
一切都很好，但现在我想用这样的列表
if [myfield] is in ["abc"]{ mutate { add_tag => ["mytag"] } }
浏览 4提问于2015-07-13得票数 4
回答已采纳
我是一个使用logstash的新手，我正在尝试启动web用户界面，但似乎无法触发它。每次我尝试运行web ui时都会出现异常。这是我得到的很长的异常。我使用的是windows7，任何建议都是非常感谢的。我在stackoverflow上尝试了以下方法，但我在弄清楚如何为'cp‘和'rm’命令工作实现Nathan的解决方案时遇到了问题。。
C:\MyPrograms\logstash>java -jar logstash-1.1.13-flatjar.jar agent -f logstash-s
imple.conf -- web --backend elasticsear
浏览 0提问于2013-07-29得票数 3
1回答
我正在尝试启用logstash死信队列，但是，我收到了这条警告消息，elasticsearch没有收到来自logstash的日志。
[WARN ][org.logstash.common.io.DeadLetterQueueWriter][main] Event previously submitted to dead letter queue. Skipping...
我正在尝试的情景，
限制elasticsearch碎片，因此在本例中，它不能创建新的碎片，日志将出现在死信队列中
curl -X PUT 'http://elasticsearch:9200/_cluster/sett
浏览 8提问于2021-03-12得票数 0
回答已采纳
我想在logstash.But中使用Filebeat，logstash.conf是错误的。
logstash.conf：
```javascript
输入{
beats {
port => "5044"
}
}
输出{
elasticsearch {
hosts => [ "localhost:9200" ]
}
}
它对此作出回应：
未能执行动作{:action=>LogStash::PipelineAction::Create/pipeline_id:main，:exception=>"LogStash::C
浏览 2提问于2018-02-07得票数 0
回答已采纳
我首先在本地下载一个配置文件，然后必须将该文件推入路径- /etc/ logstash /conf.d .d中的logstash服务器中。
const deployLogstash = function(req , res , next){
clientscp.scp('./config-files/15287774.conf', {
host: '172.30.74.250',
port:5000,
username: 'ubuntu',
path: 'root@
浏览 2提问于2022-01-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
