如何用弹性搜索索引10亿行CSV文件？
提问于 2021-03-19 03:31:24
假设您有一个很大的CSV文件--假设有10亿行。
您希望文件中的每一行都成为弹性搜索的文档。
您不能将文件加载到内存中--它太大了，因此必须进行流或块处理。
所花的时间不是问题。优先事项是确保所有数据都被索引，没有丢失数据。
你对这种方法有何看法：
第1部分:准备数据
- 以1k行的批次遍历CSV文件。
- 对于每个批处理，将行转换为JSON，并将它们保存到一个较小的文件中
- 现在您有了1万个文件，每个文件都有1000行漂亮的JSON
- 文件名应该是递增ID。例如，从1.json运行到1000000.json
第2部分:上传数据
- 开始遍历每个JSON文件并将其读入内存
- 使用大容量API一次上载1k文档。
- 在结果数组中记录上载的成功/失败。
- 循环结果数组，如果任何上载失败，请重试。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-03-19 10:43:02
上面提到的步骤看起来不错。确保ES不受负载的其他几件事情：
- 根据我的经验，您也可以将批量请求的大小提高到一个更大的值，比如在4k-7k的范围内(从7k开始，如果它导致疼痛，那么尝试更小的批，但低于4k可能是不需要的)。
- 确保将
refresh_interval的值设置为非常大的值。这将确保文档不被频繁地编入索引。国际海事组织的默认值也可以。阅读更多的这里。
正如上面的评论所示，最好从一小批数据开始。当然，如果您使用常量而不是硬编码值，您的任务就会变得更容易。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66707339
复制
腾讯云开发者
