前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >腾讯云ES如何通过Reindex实现跨集群数据拷贝<下>

腾讯云ES如何通过Reindex实现跨集群数据拷贝<下>

原创
作者头像
南非骆驼说大数据
发布2021-04-10 20:19:16
3.3K1
发布2021-04-10 20:19:16
举报
文章被收录于专栏:南非骆驼说大数据

一、前言|

在前面的一章关于Reindex功能的讲解中,我们实现了公有云与私有云之间集群的拷贝,相关链接请参考如下:https://cloud.tencent.com/developer/article/1764879 那么本节,我们来讲解腾讯云公有云ElasticSeach的一些应用,本次的测试环境如下:

ES跨区Reindex实践拓扑
ES跨区Reindex实践拓扑

二、基础条件

代码语言:javascript
复制
目标集群: es-cqujhmdp   广州三区
源集群:   es-q8xzb62x   广州三区、广州四区
源集群:   es-8cezflol   广州三区
源集群:   es-qvk8sx82   广州四区

三、Reindex配置

Reindex功能需要开放远程 ES 集群访问地址的白名单,用户现在可以在腾讯云控制台- ->选中某个ES集群-->高级配置里进行该配置文件的更改,注意更改此配置需要重启ES集群

注意1: reindex.remote.whitelist 表示访问集群的VIP信息,比如,A集群需要通过Reindex拷贝B集群上的数据,那我们就在B集群的配置文件里,配置A集群的VIP信息,并重启集群就好了。

注意2: 如果源集群、目标集群存在多可用区的时候,比如这里,我是从多可用区的集群去拷贝单可用区的集群数据,执行reindex的时候,出现了这么一个错误“10.2.20.29:9200 not whitelisted in reindex.remote.whitelist”

解决办法:需要在本地集群也就是源集群添加reindex的白名单,把错误提示的VIP信息加到本地,然后重启集群,这样就可以执行reindex命令。

注意3: 同VPC下不同子网间的reindex,比如一个在广州三区、一个在广州四区,也会报上述的错误,如果出现错误,也要在本地集群添加目标集群的VIP信息。

注意4: 2个多可用区集群间的reindex也会报上述的错误,处理办法同上。

四、总结

看来Reindex在操作多可用区跨域的时候还是有很多需要注意的地方,这里就统一总结一下,后续如发现其他问题,将及时更新

代码语言:javascript
复制
目标集群: es-XXX   广州三区            单可用区


源集群:   es-XXX   广州三区、广州四区   多可用区:在目标集群配置remote远程访问集群列表,在本地源集群还要配置目标端VIP
源集群:   es-XXX   广州三区            单可用区:直接在目标集群配置remote远程访问集群列表后,在源集群操作成功
源集群:   es-XXX   广州四区            单可用区:在目标集群配置remote远程访问集群列表,在本地源集群还要配置目标端VIP
源集群:   es-XXX   广州三区、广州四区   多可用区:在目标集群配置remote远程访问集群列表,在本地源集群还要配置目标端VIP      

那么本节就作为上一个Reindex文档操作的实际补充吧。

腾讯云ES如何通过Reindex实现跨集群数据拷贝<上> 参考这里: https://cloud.tencent.com/developer/article/1764879

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、前言|
  • 二、基础条件
  • 三、Reindex配置
  • 四、总结
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档