日安， 当我在Elasticsearch中对一些数据进行索引时，我有点头疼，并且有一些关于好方法的问题。 到目前为止，收到了一个关于Kafka主题的事件，其中只包含应该存储在文档中的部分数据。其余的数据需要在收到事件后收集，并可从不同的API获得。为了减少工作量，Logstash似乎是一个很好的方法。有没有办法
浏览 8提问于2020-11-02得票数 0
回答已采纳
2回答
我在一些小项目中使用了这3种技术，但我有一种感觉，他们的kindah做同样的工作，其中三人从一个地方接收数据并发送到另一个地方(他们负责数据摄取)，我错了吗？考虑到吞吐量，我什么时候应该选择卡夫卡或文件拍来发送数据呢？
浏览 7提问于2021-02-18得票数 0
1回答
我在同一台主机上运行logstash(192.168.56.100)和elasticsearch(192.168.56.100)，但elasticsearch只创建索引，不接收数据。我尝试在不同的主机上运行logstash(192.168.56.101)，elasticsearch(192.168.56.100)可以接收数据。这是我的elasticsear
浏览 2提问于2017-07-07得票数 0
我的队列几乎满了，我在日志文件中看到了以下错误：
[2018-05-16T00:01:33,334][WARN ][logstash.outputs.elasticsearch] Could not index[2018-05-16T15:28:09,981][INFO ][logstash.outputs.elasticsearch] retrying failed action with response我的队列Logstash文件夹中有很多文件。我的</e
浏览 1提问于2018-05-16得票数 0
回答已采纳
我对ELK非常陌生，想知道有没有办法连接来自不同来源的两个数据库(即：MYSQL和Postgres)，并使用logstash将其索引到elasticsearch中的单个索引。因为我可以在pyspark的帮助下实现同样的效果。但如果可能的话，我想使用log stash实现同样的功能！
此外，除了spark和logstash之外，还建议了一些其他可行
浏览 2提问于2019-11-13得票数 0
我使用filebeat - 6.5.1、Logstash - 6.5.1和elasticsearch - 6.5.1The Logstash hosts下面是我的logstash配置文件-beats {tags =>"}
if "
浏览 5提问于2019-05-22得票数 0
我安装了X，Elasticsearch & Logstash.Logstash向elasticsearch报告X的监视部分。现在，我希望logstash通过任何节拍的管道到elasticsearch。
我遵循本指南并创建了上述的用户和角色。另外，我还为具有上述权限的每种节拍类型创建了一个角色，并使用来自filebeat-*的信息将角色分配给同一个用户(例如，一个用于 )。
浏览 4提问于2017-04-11得票数 1
回答已采纳
当事件从logstash发送到带有默认geoip.location的elasticsearch时，geo_point是geo_point数据类型。当一个事件通过修改后的geoip.location从logstash发送到elasticsearch时，geoip.location.lat变成了带有number数据类型的geoip.location.lon由于这个原因
浏览 2提问于2020-08-14得票数 0
回答已采纳
2回答
我想尝试apache flink、hadoop和solr来进行非侵入性的日志摄取，以便对它们进行处理和索引，并进行一些分析和查询。我在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放到hadoop上，然后使用solr对它们进行查询。问题是:这真的是非侵入性的吗？Flink的行为类似于flume，在我喜欢监视的服务器中安装和配置代理。hadoop和solr是不是一个很好的组合，可以索引大量日志，然后以sql方式查
浏览 21提问于2019-04-11得票数 0
我一直试图使用logstash查询elasticsearch事件，这样我就可以用更多人类可读的数据填充一些字段。我有一个人名索引，当我索引其他类型的事件时，我尝试使用它来增强其他字段。以前的事件{：index=>“logstash”，：error=>“意外字符('}‘(代码125))：期望一个冒号分隔字段名和值\n在[来源：
浏览 9提问于2019-10-03得票数 1
我一直在网上研究麋鹿堆栈为我的新项目。虽然我需要更多的信息。
如果不是一个正确的答案，任何线索都会受到赞赏。
浏览 2提问于2017-06-06得票数 5
回答已采纳
1回答
每拍搜索多个指数？
、、、
我使用的是文件节拍，我也想介绍节拍。文件节拍输出是在logstash-*中索引的，但是我需要一个不同的索引，它只需要来自Metric节拍的数据(例如metricbeat test-%{+YYYY.MM.dd})，这些数据将在一台服务器上一起运行我如何指示logstash索引logstash中的文件-*，如果是节拍，继续使用另一个
浏览 4提问于2016-12-16得票数 0
1回答
试图通过logstash更新elasticsearch中的特定字段。是否可以通过logstash只更新一组字段？> "%{GEOREFID}"}
使用此配置时，将删除空值字段，而不是跳过空值更新。数据来自两个不同的来源。一个来自XML文件，另一个来自JSON文件。将在索引中创建新文档。当读取第二个日志文件时，应
浏览 2提问于2017-02-06得票数 3
1回答
在我们的一个应用程序中，我们使用logstash解析应用程序日志，并将它们索引到elasticsearch中。我们的简单架构是日志文件-->文件-->日志存储
由于我们启用了多个日志文件示例(apachelogs、人工日志、应用程序日志等)，因此logstash无法解析数据量，因此在elasticsearch中缺少日志是否有任何方法在logstash中处理大量的数据，或者可以使用多个<e
浏览 1提问于2017-11-29得票数 2
我有Filebeat，Logstash，ElasticSearch和Kibana。Filebeat位于单独的服务器上，它应该接收不同格式的数据: syslog、json、来自数据库等，并将其发送到Logstash。我知道如何设置Logstash使其处理单一格式，但由于有多种数据格式，我如何配置Logstash才能正确处理每种数据格式？实际上，我如
浏览 1提问于2016-06-08得票数 2
我正在评估有关分布式日志服务器的不同选项。在Java世界中，正如我所看到的，最流行的解决方案是filebeat + kafka + logstash + elasticsearch + kibana。然而，在.NET世界中，有一个serilog可以直接将结构日志发送到elasticsearch。所以唯一需要的组件是elasticsearch + kibana。我搜索了很多，但是在生产中没有多少关于这个解决方案的信息。
浏览 1提问于2018-06-04得票数 9
回答已采纳
1回答
我正在尝试配置ELK从两个不同的应用程序中获取日志。据我所知，Elasticsearch索引类似于数据库。所以我的问题是：
Is it advisable to configure separate indices for different applications and Why?ES具有内置的功能，默认的logstash-*索引每天创建一个索引，这取决于它从日志中收到的时间戳
浏览 1提问于2015-07-27得票数 0
回答已采纳
2回答
我使用以下配置启动了日志存储：queue.type: persistedqueue.checkpoint.writes: 1%{COMBINEDAPACHELOG}" } source => "clientip"} elasticsearch假设elasticsearch被关闭了
现在想象一下，当elastics
浏览 7提问于2017-02-10得票数 10
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
