Elasticsearch 入门: _bulk 批量导入数据

批量导入数据

使用 Elasticsearch Bulk API /_bulk批量 update

步骤：

1. 需求：我希望批量导入一个 movie type 的名词列表到 wordbank index 索引。
2. 准备数据： 根据官方文档，Json 数据要准备成这个格式的： action_and_meta_data\n optional_source\n action_and_meta_data\n optional_source\n .... action_and_meta_data\n optional_source\n 其中 action 需要是 index, create, delete and update 中的一个。 接下来准备这样的数据： {"index": {"_index": "wordbank", "_type": "movie", "_id": 1}} {"doc": {"name": "权力的游戏"}} {"index": {"_index": "wordbank", "_type": "movie", "_id": 2}} {"doc": {"name": "熊出没"}}
3. POST bulk curl -X POST "localhost:9200/_bulk" -H 'Content-Type: application/json' --data-binary @movie_names
4. 批量 update 成功 {"took":50,"errors":false,"items":[{"index":{"_index":"wordbank","_type":"movie","_id":"1","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":0,"_primary_term":1,"status":201}},{"index":{"_index":"wordbank","_type":"movie","_id":"2","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":0,"_primary_term":1,"status":201}}]}

遇到过的坑：

1. illegal_argument_exception: {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"The bulk request must be terminated by a newline [\n]"}],"type":"illegal_argument_exception","reason":"The bulk request must be terminated by a newline [\n]"},"status":400}
   • 原因：批量导入的 json 文件最后必须要以\n结尾，也就是需要一个空行。
   • 解决：在 json 文件末尾加多一个回车。
2. header 问题： {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported","status":406}
   • 原因：Elasticsearch 6.x 之后 curl 的 content-type 更严格了。
   • 解决：在 curl 命令后多加一条 -H 'Content-Type: application/json'
3. action_request_validation_exception： {"error":{"root_cause":[{"type":"action_request_validation_exception","reason":"Validation Failed: 1: script or doc is missing;2: script or doc is missing;"}],"type":"action_request_validation_exception","reason":"Validation Failed: 1: script or doc is missing;2: script or doc is missing;"},"status":400}
   • 原因：bulk update 时，更新的文本需要放到 "doc" 字典下，另外 update 在这里就只是 update，如果文档不存在会报错。
   • 解决：

   { "field1" : "value1", "field2" : "value2" } --> { "doc" : { "field1" : "value1", "field2" : "value2" } }

4. 不要直接在 terminal 把 curl 的结果显示出来
   • 原因：因为 curl 返回的结果是个单行 json 当批量处理条目多的时候，这个单行的 json 很长。而且-s 也silent 模式是不会把这个结果去掉的，因为 -s 是 curl 的参数，会屏蔽掉 curl 的 log，但 Elasticsearch 的返回 json 是不会被屏蔽掉的。
   • 解决：把输出结果导到文件 curl -s 'http://example.com' > /dev/null
5. 据说不要重复指定 index 和 type：来源，可能是我数据量比较小，2w条，差距不大。不过前者确实省文档空间。 推荐使用这种： POST /website/log/_bulk { "index": {}} { "event": "User logged in" } 而不是这种： POST /_bulk { "index": { "_index": "website" , "_type": "blog" , }} { "title": "Overriding the default type" }