Elasticsearch DeleteByQuery不工作，收到400个错误请求 - 腾讯云开发者社区

文章/答案/技术大牛

发布

elasticsearch文档Delete By Query API(一)

2.1 refresh 发送refresh请求将在删除请求完成后刷新 deletebyquery中涉及到的所有分片，这不同于elasticsearch文档Delete API一文中提到的refresh参数...，因此大数据量的批处理将导致Elasticsearch创建许多请求，然后等待一段时间再开始下一组。...它的存在只是为了 deletebyquery、 updatebyquery以及 reindexAPIs具有相同的响应结构。...9.throttled_millis 请求休眠的毫秒数。 10.requestspersecond 在 deletebyquery期间每秒执行的请求数。...12.failures 如果在此过程中存在任何不可恢复的错误，则这个数组将不为空。参考上文，开发者可以使用conflicts选项来防止版本冲突导致操作中止。

5.1K1 0

Elastic Stack 实战教程 5：Elasticsearch Java API Client 开发

2.一致性差，需要大量的维护工作。 3.没有集成 json/object 类型映射，需要自己借助字节缓存区实现。...Elasticsearch Client 会自动将 Product 对象转换为 JSON 数据，然后向 Elasticsearch 发送索引请求。...为了提升写入数据的效率，我们可以提前准备好一批数据，使用 bulk API 在一次网络请求中将数据批量写入 Elasticsearch 中。...7 查询文档使用 get 请求可以根据 id 来获取文档。get 请求有两个参数：第一个参数是实际请求，在下面用 fluent DSL 构建。第二个参数是希望将文档的 JSON 映射到的类。...批量删除文档可以使用 deleteByQuery。如下所示，删除索引 products 中所有 name 字段的值是 ipad 的文档。

2.8K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

go操作elasticsearch示例

这里我使用elasticsearch官方给的go语言包（[go-elasticsearch](https://github.com/elastic/go-elasticsearch)） go-elasticsearch...res, err = EsClient.DeleteByQuery( index, &buf, ) if err !..., // }, // }, //} //indexArr := []string{index} //es.DeleteByQuery(indexArr..."must": map[string]interface{}{ // "match_all": map[string]interface{}{}, // 这里不设置其他查询条件...//"must": [], // must条件，类似SQL中的and, 代表必须匹配条件 //"must_not": [], // must_not条件，跟must相反，必须不匹配条件

2.4K5 1

Elasticsearch基础但非常有用的功能之一：别名

介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引，预先知道PB级大数据索引实战中的坑，提升工作效率。...场景2：试想，线上提供服务的某个索引出了问题，比如：某字段分词定义不准确，如何保证对外提供服务不停止（不更改业务代码）的前提下更换索引，显然，别名更合适。...使用索引别名：好处1：来简化从Elasticsearch中删除数据的过程。...答案： 1、删除索引数据只能使用：deletebyquery，相比删除索引，deletebyquery删除数据只是逻辑删除； 2、真正的删除实际是段合并后的物理删除分段，也就是deletebyquery...5、字段别名实践一把星友的问题： “Aliasdatatype，这个数据类型，在现实工作中的使用场景是什么？看官方文档，没有很好理解？” 字段别名原理第一部分已详细解释，不再赘述。

8.7K8 3

Elasticsearch基础但非常有用的功能之一：别名

6343 0

springboot整合elasticsearch7.2(基于官方high level client)

node.name: bookmark-world # 当前配置所在机器的节点名，你不设置就默认随机指定一个 name 列表中名字，该 name 列表在 es 的 jar 包中 config 文件夹里...node.master: true # 指定该节点是否有资格被选举成为 node（注意这里只是设置成有资格，不代表该 node 一定就是 master），默认是 true，es 是默认集群中的第一台机器为...那么需要在此定义es版本号,因为spring-boot-start-parent中已经定义了es相关依赖的版本号，high-level-client中的部分依赖会被覆盖成低版本的,导出出现莫名其妙的错误...如果定义了，就必须在中指定部分依赖的版本，否则会因为依赖版本不对出现各种莫名其妙的错误,上面注释中已经指出。...public void deleteByQuery(String index, QueryBuilder builder) { DeleteByQueryRequest request = new

4.2K3 0

Elasticsearch就是这么简单

PS：2018年3月22日18:58:12更新：这里我已经不建议在Windows下装Elasticsearch了，因为装起来还是麻烦，也有一堆的小问题~(后面也有在Linux下配置Elasticsearch...的过程，建议用linux环境下学习Elasticsearch(要是学生建议去买个服务器，有优惠的),实在不想出钱，用虚拟机也行~ 二、Windows下安装Elasticsearch(不建议) 2.1安装...html 后来找到了一篇比较系统的教程，推荐这个： http://blog.csdn.net/napoay/article/details/51707023 自己也跟着教程写了Demo，其中也出了不少错误...; import org.elasticsearch.action.delete.DeleteResponse; import org.elasticsearch.action.deletebyquery.DeleteByQueryAction...; import org.elasticsearch.action.deletebyquery.DeleteByQueryRequestBuilder; import org.elasticsearch.action.get.GetResponse

1.7K9 0

elasticsearch文档Update API

通过前面两篇文章的阅读，相信读者已经熟练掌握 DeleteByQuery的用法了，本文则来继续看文档的Update API。...本文是Elasticsearch系列的第十四篇，阅读前面的文章，有助于更好的理解本文： ---- 1.elasticsearch安装与配置 2.初识elasticsearch中的REST接口 3.elasticsearch...修改数据 4.elasticsearch文档操作 5.elasticsearch API约定(一) 6.elasticsearch API约定(二) 7.elasticsearch文档读写模型 8.elasticsearch...文档索引API(一) 9.elasticsearch文档索引API(二) 10.elasticsearch文档Get API 11.elasticsearch文档Delete API 12.elasticsearch...需要启用_source该字段才能使此功能正常工作。例如，有如下一个简单的文档： curl -X PUT "localhost:9200/test/_doc/1?

2.2K2 0

使用elasticsearch遇到的一些问题以及解决方法

1.由gc引起节点脱离集群因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配...4.集群状态为黄色时并发插入数据报错这是错误信息，当时集群状态为黄色，即副本没有分配。...解决方法：设置为无限制，linux命令：ulimit -l unlimited 6.错误使用api导致集群卡死其实这个是很低级的错误。...功能就是更新一些数据，可能会对一些数据进行删除，但删除时同事使用了deleteByQuery这个接口，通过构造BoolQuery把要删除数据的id传进去，查出这些数据删除。...metadat a factory registered for type [rivers]] 问题原因：都采用默认集群名字的话，不同人不同I配置发到集群会进行连接并选Master，有时候可能因为IP限制连接不上

3K4 0

Skywalking系列博客4-Java Agent配置

建议：为每个服务设置个唯一的名字，服务的多个服务实例为同样的服务名 Your_ApplicationName agent.sample_n_per_3_secs 负数或0表示不采样，默认不采样。...false agent.cool_down_threshold 收到reset命令后，代理应等待多久（以分钟为单位）才能重新注册到OAP服务器。...默认为false，表示仅记录操作名，不记录参数信息。...256 plugin.elasticsearch.trace_dsl 如果为true，记录所有访问ElasticSearch的DSL信息。默认为false。...512 plugin.solrj.trace_statement 如果为true，则在Solr查询请求中跟踪所有查询参数（包括deleteByIds和deleteByQuery） false plugin.solrj.trace_ops_params

2.3K2 0

springboot实战之nosql整合(elasticsearch7.3版本)

高可用: 提供副本(Replica)机制，一个分片可以设置多个副本，即使在某些服务器宕机后，集群仍能正常工作。开箱即用: 提供简单易用的 API，服务的搭建、部署和使用都很容易操作。...这就意味着如果你elasticsearch的版本是7.x版本，目前是无法使用spring-data-elasticsearch封装的客户端的。如果你不信邪，可以试下，基本上会出现客户端与服务端不兼容。...按查询条件删除记录 * * @param indexName 索引名称 * @param builder builder 查询条件 * */ public boolean deleteByQuery...request.setConflicts("proceed"); try { BulkByScrollResponse response = highLevelClient.deleteByQuery...); return CollectionUtils.isEmpty(bulkFailures); } catch (Exception e) { log.error("deleteByQuery

4.4K4 0

Go每日一库之108：elastic

elastic是go语言中与ElasticSearch交互使用最多的一个库。...首先要根据ElasticSearch版本选择对应的库： Elasticsearch version Elastic version Package URL Remarks 7.x 7.0 github.com...true) 启动gzip压缩 elastic.SetHealthcheckInterval(10*time.Second) 用来设置监控检查时间间隔 elastic.SetMaxRetries(5) 设置请求失败最大重试次数...,"married":true,"age":"22"}` put2, err := client.Index().Index("user").BodyString(user2).Do(ctx)// 不指定...update.Version) } 删除文档 func deleteDoc(){ termQuery := elastic.NewTermQuery("name", "mike") _, err = client.DeleteByQuery

7242 0

elasticsearch-javaAPI【后端专题】

-- https://mvnrepository.com/artifact/org.elasticsearch.client/elasticsearch-rest-high-level-client -...-> org.elasticsearch.client org.elasticsearch elasticsearch...20 #最大连接数 web-stat-filter: exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" #不统计这些请求数据...= new DeleteByQueryRequest("nba_laest"); BulkByScrollResponse bulkByScrollResponse = client.deleteByQuery

5522 0

Elasticsearch调优实践

ES节点配置 conf/elasticsearch.yml文件： 1....每个bulk请求的doc数量设定区间推荐为1k~1w，具体可根据业务场景选取一个适当的数量。...同时index按时间滚动，数据过期时删除整个index，要比一条条删除数据或deletebyquery效率高很多，因为删除整个index是直接删除底层文件，而deletebyquery是查询-标记-删除...当集群的节点数量较大时（比如超过30个节点），集群的管理工作会变得复杂很多。...此时应该创建专有master节点，这些节点只负责集群管理，不存储数据，不承担数据读写压力；其他节点则仅负责数据读写，不负责集群管理的工作。

3.8K6 1

Elasticsearch文档读写模型实现原理

如果我们不这样做，那么对于同一个文档的检索请求，得到的结果将不一致。保持分片副本同步和服务读取的过程就是我们所说的数据复制模型。 ElasticSearch的数据复制模型是基于主备份模型的。...主分片处理流程：验证请求是否符合Elasticsearch的接口规范，如果不符合，直接拒绝。在主分片上执行操作（例如索引、更新或删除一个文档）。如果执行过程中出错，直接返回错误。...为了避免数据在复制组内数据的不一致性（例如在主分片中执行成功，但在其中一两个复制分片中执行失败），主分片在如果未在指定时间内（默认一分钟）未收到复制分片的成功响应或是收到错误响应，主分片会向Master...服务器发送一个请求，请求集群Master从同步副本中删除有问题的分片，只有在主分片服务器收到集群Master已将错误分片删除的结果后，才会完成本次操作。...注意，由于大多数搜索条件中不包含分片字段，所以它们通常需要从多个分片组中读取数据，每个分片代表一个不同的数据子集（默认5个数据子集，因为ElasticSearch默认的主分片个数为5个）。

6953 0

Elasticsearch集群管理原理

其他候选主节点收到选举请求后，会比较自己的集群状态版本号和请求中的版本号。如果自己的版本号更高，就拒绝投票；如果版本号相同或者更低，就投票给请求节点。发起选举的节点收集投票结果。...收到 ping 请求的节点会回复自己的集群名称和当前的主节点信息。新节点收到回复后，会检查集群名称是否和自己的一致。...4、Elasticsearch其他工作节点及原理 4.1、协调节点在 Elasticsearch 中，协调节点（Coordinating Node）主要负责接收客户端的请求，将请求路由到对应的节点，并收集各个节点的响应...协调节点不存储数据，也不参与数据处理，主要负责请求的协调和结果的汇总。协调节点的工作过程如下：客户端发送请求到协调节点。协调节点根据请求类型和目标数据，将请求路由到对应的主节点或数据节点。...数据处理节点的工作过程如下：数据处理节点接收来自协调节点或客户端的请求。根据请求类型，数据处理节点执行相应的操作。

7003 0

死磕 Elasticsearch 方法论：普通程序员高效精进的 10 大狠招！

text、keyword/nested等）数据展示（结合Head插件的基础可视化） …… （2）掌握 Elasitcsearch 的基本操作，主要包括：新增（insert）删除（delete/deletebyquery...高级操作，主要包括：聚合统计（数量聚合、最大值、最小值、平均值、求和等聚合操作）图像化展示（hisgram 按照日期等聚合）聚合后分页父子文档数组类型 nested 嵌套类型 ES 插件错误排查...通过 elasticsearch-SQL 工具可以基于以下 SQL 语句方式请求 ES 集群。...profile API的目的是，将 ES 高层的 ES 请求拉平展开，直观的让你看到请求做了什么，每个细分点花了多少时间。 profile API给你改善性能提供相关支撑工作。...现在各种新技术（VR、AR、深度学习、区块链技术等）层出不穷，但大神刘未鹏告诉我们“底层的技术永远不过时”，对于 Elasticsearch 而言，倒排索引、打分机制、全文检索原理、分词原理等底层技术属于

2.1K4 0

总结最近半年对Elasticsearch开源项目的贡献

现在把最近半年(2020年1月-2020年6月)对Elasticsearch项目所做的工作进行一次总结，记录遇到的问题和解决办法。...本次提交修复了这个bug，并且给出比较清晰的错误提示。...本次提交的改动是不直接通过通配符删除索引，获取到所有的索引名称后进行批量删除。...一方面，auto release开启，因为客户端接收到429状态码，写入请求经过重试后能够成功执行；另一方面，关闭auto release, 写入请求经过数次重试后仍然执行失败而报错。...针对这个issue所做的提交捕获了这个异常，并给出了较为简明的错误信息。

2.1K3 1

【超详细】手把手教你ElasticSearch集群搭建

当一个节点A收到用户的查询请求后，会把查询子句分发到其它的节点，然后合并各个节点返回的查询结果，最后返回一个完整的数据集给用户。在这个过程中，节点A扮演的就是协调节点的角色。...2.2.3 新建索引处理流程写入的请求会进入主节点，如果是NODE2副本接收到写请求，会将它转发至主节点。...主节点接收到请求后，根据documentId做取模运算（外部没有传递documentId，则会采用内部自增ID），如果取模结果为P0，则会将写请求转发至NODE3处理。.../usr/local/cluster/elasticsearch-7.10.2-node3/bin/elasticsearch -d 注意：如果启动出现错误，将各节点的data目录清空，再重启服务...本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。

8.6K2 0

SpringBoot 系列教程 Solr 之文档删除

配置在介绍 demo 之前，需要先安装 solr 环境，搭建 SpringBoot 项目工程，具体的环境搭建过程不细说，推荐参考文档 190510-SpringBoot 高级篇搜索之 Solr 环境搭建与简单测试...查询删除上面根据主键删除适合精准的删除操作，但是适用性有限；下面介绍查询删除的方式，将满足查询条件的数据都删除掉 private void deleteByQuery() { SolrDataQuery...SolrTemplate solrTemplate; public void delete() { printAll("init"); this.deleteById(); this.deleteByQuery...一灰灰 Blog 尽信书则不如，以上内容，纯属一家之言，因个人能力有限，难免有疏漏和错误之处，如发现 bug 或者有更好的建议，欢迎批评指正，不吝感激下面一灰灰的个人博客，记录所有学习和工作中的博文，

5863 0

点击加载更多

elasticsearch文档Delete By Query API(一)

Elastic Stack 实战教程 5：Elasticsearch Java API Client 开发

go操作elasticsearch示例

Elasticsearch基础但非常有用的功能之一：别名

Elasticsearch基础但非常有用的功能之一：别名

springboot整合elasticsearch7.2(基于官方high level client)

Elasticsearch就是这么简单

elasticsearch文档Update API

使用elasticsearch遇到的一些问题以及解决方法

Skywalking系列博客4-Java Agent配置

springboot实战之nosql整合(elasticsearch7.3版本)

Go每日一库之108：elastic

elasticsearch-javaAPI【后端专题】

Elasticsearch调优实践

Elasticsearch文档读写模型实现原理

Elasticsearch集群管理原理

死磕 Elasticsearch 方法论：普通程序员高效精进的 10 大狠招！

总结最近半年对Elasticsearch开源项目的贡献

【超详细】手把手教你ElasticSearch集群搭建

SpringBoot 系列教程 Solr 之文档删除

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐