Logstash转换输出日期格式

文章/答案/技术大牛

发布

1回答

mysql、elasticsearch、logstash

我正在使用logstash从mysql获取数据并将其传递给elasticsearch。不幸的是，日期格式默认解析为zulu时间。在需要时获取日期时间格式的数据，如不带t和z的yyyy-mm-dd H:i:s。我也尝试过使用变分gsub和转换，但没有成功。现在，结果是"date" => "2020-02-28T09:18:18.000Z"，但预期结果是2020-02-28 9:19:18

浏览 41提问于2020-02-28得票数 0

1回答

logstash中的日期筛选:糟糕的结果(显示返回一天)

elasticsearch、logstash、elastic-stack

我使用logstash将CSV文件加载到弹性文件中。我正在使用logstash中的日期筛选插件将这个日期格式转换为弹性。date { target =>

浏览 0提问于2018-10-26得票数 0

回答已采纳

2回答

Fluend中带有时间戳的自定义logstash索引

logstash、fluentd

一切都很好，除了我不能获得自定义索引名并保持时间戳与logstash_format: true相似。如果我使用logstash_format: true，那么我会得到一个像logstash-2019.07.09这样的索引，但我不想要这样的索引。

浏览 0提问于2019-07-10得票数 2

2回答

如何将数据类型从字符串Logstash更改为ISODate MongoDB

mongodb、logstash

我有一些日志，由Filebeat读取，在Logstash中筛选并发送到MongoDB。message" : "[2022-03-09T10:43:46.528612+00:00] testing.INFO: Message error [] []"但是@时间戳字段以字符串形式写入，而不是日期如何将数据类型从字符串更改为日期？ruby {

浏览 31提问于2022-03-11得票数 0

回答已采纳

2回答

正在为logstash转换日期MMM dd HH:mm:ss

logstash

我有一个自定义格式的日志文件，日期字段如下所示：Nov 21 23:59:21date { replace => ["@timestamp", "%{custom_timestamp}"]它应该用日志中的自定义时间戳替换logstash如果我打开调试标志并输出到标准输出，它

浏览 1提问于2012-12-06得票数 3

回答已采纳

1回答

docker输入jdbc插件中的Logstash未拾取新行

jdbc、elasticsearch、duplicates、logstash

我正在尝试使用dockerized logstash容器中的输入jdbc插件。/lastrun/.logstash_jdbc_last_run"元数据文件按如下方式进行卷映射： -v - /opt/logstash/lastrun/.logstash_jdbc_last_run:/opt/logstash/lastrun/.logstash_jdbc_last_run

浏览 2提问于2015-12-18得票数 3

1回答

MySQL Kafka麋鹿堆栈日期问题

mysql、elasticsearch、elastic-stack、apache-kafka-connect

我正在从以下位置创建数据摄取：我能够将数据从MySQL流水线传输到Kibana，但我在处理Date列在Kafka主题和ES文档中显示为纪元日期。我们可以在Elasticsearch/Logstash部分中将其转换为日期格式"yyyy-mm-dd“吗？

浏览 0提问于2017-08-15得票数 0

1回答

logstash mongodb输出和ISODate类型

mongodb、logstash、isodate

我在将日期类型字段转换为mongoDB格式(ISODate)时遇到了一些困难。Date : "2014-05-01T14:53:34.25677Z"input { ...database => "Test"

浏览 2提问于2014-07-21得票数 0

回答已采纳

1回答

用于elasticsearch的logstash中的日期转换

elasticsearch、logstash、kibana

我们有以下CSV格式的日期 AccountingTimeStamp 2020-04-26+10:43:21.8 如何使用logstash将其转换为elasticsearch date？谢谢。

浏览 20提问于2020-04-26得票数 0

1回答

将Logstash中的字段从字符串转换为日期

elasticsearch、logstash、elk

我正在尝试使用logstash将电子邮件索引到elasticsearch中sudo bin/logstash -e 'input{ host => "imap.googlemail.com} { index => "emails" hosts => "localhost:9200" } }' 问题是<em

浏览 2提问于2019-12-10得票数 0

2回答

一些KV筛选值具有自定义日期，在Kibana中标识为string。

elasticsearch、logstash

我使用Logstash中的kv过滤器以下列格式处理配置文件：key2=val2使用Logstash中的下列行： field_split=> "\r\n" source => "message"我在conf文件中的一些字段具有以下日期格式：YYYY-MM-DD-HHMM

浏览 6提问于2020-12-07得票数 0

2回答

Logstash插件:如何为列使用日期筛选器？

elasticsearch、logstash、logstash-jdbc

在我的MS表中，有一个以字符串形式存储日期的列，格式为"dd-mm-yyyy 00:00:00.000“，例如: 1999-10-06 00: 00:00:00.000或2000-04-27 00:00在导入期间，我希望将该列的值转换为日期类型。我看到了一个叫做filter的特性，它可以完成这种类型的转换。我找到了一些示例，但只用于解析日志、由Beats带来的全文行以及某种正则表达式。

浏览 0提问于2017-01-08得票数 1

回答已采纳

2回答

格式错误的日期字段在elasticsearch中填充到新字段

date、elasticsearch、malformed

我在elasticsearch中创建了一个带有多个日期字段的索引，并将该列格式化为yyyy-mm-dd HH:mm:ss。最后，我发现日期格式错误，并将错误的数据填充到字段中。现在，我需要使用与YYYY-MM-ddTHH:mm:ss.Z相同的日期字段和格式创建另一个字段或新索引，并需要将所有记录填充到新索引或新字段中。我使用了数据处理器管道如下所示。但失败了。

浏览 0提问于2019-02-13得票数 0

回答已采纳

2回答

在Logstash中将日期转换为UNIX时间

logstash、logstash-configuration

是否可以将日期从"2016-08-22T09:09:55.487Z“格式转换为Logstash中的UNIX time？我见过相反的手术，但什么也没有。

浏览 6提问于2016-08-22得票数 2

回答已采纳

1回答

Logstash输出使用输入文件中的解析字段

elasticsearch、logstash

我有很多drupallogYYYYMMDD格式的旧日志文件，我想要放入logstash，默认情况下，elasticsearch输出为今天创建索引。我可以用index: "...."覆盖它，但是是否有一种方法可以在logstash文件中设置它，以便从上面获取YYYYMMDD并将其转换为命名约定logstash-YYYY-MM-DD

浏览 2提问于2015-03-03得票数 0

回答已采纳

3回答

Ruby将嵌套数组字段转换为嵌套JSON对象

arrays、json、ruby、nested、logstash

我正在使用ELK Stack Logstash，这是我现在需要转换的"target“数据字段的格式： "target": [ ]我需要的JSON输出格式： "target": [{ "Sector": "Sector1"

浏览 0提问于2018-10-24得票数 1

1回答

logstash将日期从MMM dd YYYY转换为mm dd YYYY？

date、datetime、elasticsearch、logstash

我有一个类似于"Apr 17 09:32:01“的日期格式，但我想要获取月份的数字...是否可以使用logstash对其进行转换？我尝试使用日期过滤器，但似乎无法将日期从一种格式转换为另一种格式。我寻找类似%{mydate:+dd-mm-yyyy}的日期转换，但它不起作用这很烦人，因为我得到了同一个组的两个不同的日志源(我想把它们放到同一个索引中)，而且我在Elasticsearch中把

浏览 2提问于2015-05-22得票数 1

1回答