【Elasticsearch系列之八】通过reindex迁移ES数据

1、reindex

reindex 是 ES 提供的一个 api 接口，可以把数据从源 ES 集群导入到当前 ES 集群，实现集群内部或跨集群同步数据。

但仅限于腾讯云 ES 的实现方式（跨集群迁移需要elasticsearch.yml中加上ip白名单，并重启集群），所以腾讯云ES不支持 reindex 操作。具体见官方文档说明：https://www.elastic.co/guide/en/elasticsearch/reference/7.3/reindex-upgrade-remote.html

下面简单介绍 reindex 接口的使用方法：

1) 配置 elasticsearch.yml中的reindex.remote.whitelist 参数

需要在目标 ES 集群中配置该参数，指明能够 reindex 的远程集群的白名单。

2) 调用 reindex api

以下操作表示从源 ES 集群中查询名为 test1 的索引，查询条件为 title 字段为 elasticsearch，将结果写入当前集群的 test2 索引。

POST _reindex
 {
     "source": {
        "remote": {
            "host": "http://172.16.0.39:9200"
        },
        "index": "test1",
        "query": {
            "match": {
                "title": "elasticsearch"
            }
         }
     },
     "dest": {
         "index": "test2"
     }
 }

从源索引中提取文档源，并将文档索引到目标索引中。可以将所有文档复制到目标索引，或为文档的子集重新索引。_reindex获取源索引的快照，但是其目标必须是其他索引，因此不会发生版本冲突。

2、方案对比

以上介绍了elasticsearch-dump、logstash、reindex、snapshot方式进行数据迁移，实际上这几种工具大体上可以分为两类：

• scroll query + bulk: 批量读取旧集群的数据然后再批量写入新集群，elasticsearch-dump、logstash、reindex都是采用这种方式
• snapshot: 直接把旧集群的底层的文件进行备份，在新的集群中恢复出来，相比较scroll query + bulk的方式，snapshot的方式迁移速度最快。