通过Logstash将字段爆炸的ElasticSearch索引转换为嵌套文档
Logstash是一个开源的数据收集引擎，它可以从各种来源（如日志文件、数据库、消息队列等）收集、转换和发送数据。Elasticsearch是一个分布式、可扩展的实时搜索和分析引擎，它可以用于存储和检索大量数据。
当使用Logstash将字段爆炸的Elasticsearch索引转换为嵌套文档时，可以通过以下步骤实现：
- 配置Logstash：首先，需要在Logstash的配置文件中指定Elasticsearch作为输出插件，并设置索引名称和文档类型。可以使用Elasticsearch的嵌套文档功能来定义嵌套结构。
- 数据收集和转换：使用Logstash的输入插件从Elasticsearch中读取数据，可以使用Elasticsearch的查询语法来过滤数据。然后，使用Logstash的过滤插件对数据进行转换和处理，包括字段的爆炸操作。
- 数据发送：最后，使用Logstash的输出插件将转换后的数据发送到Elasticsearch中。Logstash会将数据按照配置的索引名称和文档类型存储为嵌套文档。
通过这种方式，可以将原本字段爆炸的Elasticsearch索引转换为嵌套文档，从而提高数据的组织结构和查询效率。
推荐的腾讯云相关产品是腾讯云日志服务（CLS），它是一种全托管的日志管理服务，可以帮助用户收集、存储、检索和分析日志数据。CLS提供了与Logstash类似的功能，可以方便地将日志数据发送到Elasticsearch中，并支持嵌套文档的存储和查询。
腾讯云日志服务产品介绍链接地址：https://cloud.tencent.com/product/cls
相关·内容
因此，我们有一个旧的elasticsearch索引，它屈从于字段爆炸。我们重新设计了索引的结构，以使用嵌套文档修复此问题。然而，我们正在尝试弄清楚如何将旧的索引数据迁移到新的结构中。我们目前正在考虑使用Logstash插件，特别是aggregate插件，来尝试实现这一点。但是，我们可以找到的所有示例都显示了如何从数据库调用创建<
浏览 29提问于2018-01-30得票数 0
如果我对Logstash进行任何配置更改。我会看到应用于Elastic search的更改吗?例如，如果我更改了grok模式并添加了新字段，我将能够在elastic Search中看到对已索引日志产生影响的更改吗？
如果没有，我该怎么办？我是否应该重新索引已重新编制索引的整个旧日志，以查看新字段？
浏览 0提问于2020-05-05得票数 0
在用logstash处理日志之后，我的所有字段都有相同的类型'STRING‘，所以我想使用elasticsearch中的映射来更改某些类型，比如ip、端口等。但是我不知道如何做，我是ElasticSearch的超级初学者。
有什么帮助吗？
浏览 4提问于2015-05-05得票数 0
回答已采纳
1回答
仅允许索引模板中的字段
、、、
我有日志库将文档推入elasticsearch集群。elasticsearch { template_name => "mytemplate"
template => &qu
浏览 1提问于2017-03-30得票数 0
回答已采纳
我得到了最新的Kibana 5.4.0，Docs说：
若要在索引名称中使用事件时间，请将静态文本括在模式中，并使用下表中描述的标记指定日期格式。例如，[logstash-]YYYY.MM.DD匹配其名称具有附加于前缀logstash-的表单YYYY.MM.DD的时间戳的所有索引，例如logstash-2015.01.31和logstash-2015当我尝试创建模式时，[testx_]YYYY-M
浏览 15提问于2017-06-19得票数 0
回答已采纳
我在elasticsearch文档中有一个数组字段。Array = ["German", "Spanish" , "English"] 我想把它转换成下面的格式 Array = ["greman", "spanish", "english" ] 如何在使用Logstash重新索引时将数组内容转换为小写？
浏览 58提问于2019-09-06得票数 0
回答已采纳
3回答
我有一些文档，我想用现有的唯一"id“字段索引到Elasticsearch中。.: http://some.url/api/products)得到一个文档数组，没有特定的顺序，如果在Elasticsearch中已经存在带有_id的文档，那么它应该更新和重新索引文档。从文档字段中提取_id似乎是不可取的</e
浏览 5提问于2017-07-10得票数 4
回答已采纳
1回答
我尝试用logstash转换文件"conf“中整数中的"tmp_reponse”字段，如下所示：convert => {"TMP_REPONSE" => "integer"}，我不明白如何转换为使用我的字段"tmp_response“来使用它，就像在kibana上作为度量字段一样。
谢谢你帮助我，如果有谁能向我解释我如何掌握基班纳的度量标准，并
浏览 0提问于2016-04-12得票数 0
回答已采纳
我使用file节拍读取我的服务日志，然后file节拍将日志发送到logstash进行解析。logstash将解析的日志发送到elasticsearch以进行索引。但是今天，这个错误发生在logstash中，在elasticsearch中没有对日志进行索引。2021-11-02T11:35:36,774logstash.outputs.elasticsearch 不
浏览 2提问于2021-11-02得票数 0
回答已采纳
1回答
我已经使用logstash解析了一个日志文件，并将其放入elasticsearch中。我有一个名为IP的字段，它现在被映射为一个字符串。我希望将elasticsearch中现有的映射转换为geoip，而不再次运行logstash。我在elasticsearch中有几百万张这个领域的记录。我想在所有记录中将IP的映射从string转换为geoip。
浏览 5提问于2015-11-04得票数 2
回答已采纳
我有大量(~40000)嵌套JSON对象，我想要插入到elasticsearch索引中。"valid_to": "21.05.1990", } }
因此，JSON字段(本例中的地址)可以有一个JSON对象数组。如果将这样的JSON文件/对象导入elasti
浏览 0提问于2018-03-29得票数 1
回答已采纳
我仍然面临着如何告诉Logstash发送基于文档字段的动态索引的问题。此外，必须对此字段进行转换，以便在最后获得“真实”索引。假设有一个字段"time“(这是一个UNIX时间戳)。此字段已通过"date“过滤器转换为Elastic的DateTime对象。此外，它应该作为索引(YYYYMM)。索引不应从@Tim
浏览 0提问于2016-01-22得票数 0
1回答
到目前为止，这样的json对象被许多子字段随机填充，比如"date“、"temps”等等。所有这些都是由ELK自动管理的，但我需要将它们全部处理并转换为“字符串”。作为子字段)许多其他索引模式和字段，例如"typeD.date“、"typeD.temps”、"typeD.extrastuff“等等。到目前为止，我尝试使用带有logstash的.conf，但是它没有工作。在多次尝试之后，
浏览 4提问于2021-06-09得票数 0
回答已采纳
1回答
如何在elasticsearch索引中保留couchdb文档中的_rev字段。我使用logstash将数据从couchdb添加到ES。在我的logstash.config文件中，我只有输入和输出部分。"%{[@metadata][_id]}" hosts => ["127.0.0.1:9200&q
浏览 5提问于2016-03-22得票数 0
作为我的FileBeats配置的一部分，一些标准字段总是作为每条消息的一部分生成(并且是特定于位置的)，我希望使用这些字段作为ES索引的基础： elasticsearch {]}"}[logstash.outputs
浏览 0提问于2017-06-23得票数 4
在这里，当我尝试使用logstash将MySQL值转换为嵌套的elasticsearch字段时，会得到以下错误。localhost:9200" index => "dev_suggestions" }然而，如果我将重命名为一个尚未在映射中的字段，
浏览 0提问于2017-08-08得票数 3
回答已采纳
1回答
我正在寻找一种方法，以衡量的时间逻辑所需的输出数据弹性搜索。-有一个经过筛选器，我认为它可以用来通过所有配置的过滤器来度量处理消息所需的时间，而不是用来测量输出到弹性搜索所需的时间--我还尝试了一个批处理文件，例如cd c:\Temp\POC\Mattias\logstash-2.0.0\logstash-2.0.0\bin
logstash agent -f first-pipel
浏览 1提问于2015-12-02得票数 1
回答已采纳
我尝试使用logstash将文档输入到elasticsearch中，然后我可以使用kibana web界面进行查询。通过使用logstash输入文档，我昨晚成功地构建了一个ES数据库，并且我能够使用kibana对其进行查询。elasticsearch中现有logstash索引不对应的日期的直方图时，会弹出此错误。解决方法是仅根据与elasticsearch数据库中
浏览 0提问于2014-10-11得票数 1
review_start_datetime" : {}, "type" : "date"类doc.save()
在执行保存方法时，它只给出以下错误：review_start_datetime字段，而不是r
浏览 4提问于2020-08-28得票数 3
我有一个elasticsearch索引，用于索引一组文档。我的Logstash配置文件是。1
stdout{ }}
现在，我的字段值这个
浏览 5提问于2015-07-09得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
