温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:04
大家好,欢迎来到腾讯开发者社区与腾讯大数据团队共同打造的ES service一站式日志分析从入门到进腾讯0系列课程。我是来自腾讯大数据的产品经理kev文。今天我们来讲解传统ES集群模式的挑战。那在传统的ES集群模式中呢?我们一共有三大挑战,首先是集群运维。对于ES集群,我们需要自行完成配置调优、重启跟升级,那在流量突增时需要进行集群扩作用,以应对业务压力。而节点或者磁盘不均或者过载时。都会对集群的稳定性造成极大的影响。故障的排查等繁琐复杂。其次是数据接入。我们通过集群模式进行数据接入,需要自行搭建数据链路,配置beats、卡夫卡、rotech等组件。组件的部署、运维管理以及全链路的故障排查等面临着极大的挑战,运维与管理成本高。
01:07
最后是索引管理,索引的settings maps以及别名等配置需要有较多的一个经验支撑,同时随着业务的不断增长,分片数量的动态调整以及滚动、降噪、删除等都需要我们自行介入处理。例如,当流量突增时,我们需要调大分片数量,以应对高并发的一个写入。避免出现写入拒绝,当流量下来时,我们则可以适当的降低分片数量,避免原数据管理压力过大等。而以上调整在传统集群模式中均需要我们自行处理。那整体而言,传统ES集群模式下,学习成本、人力投入以及时间投入都比较高。下一节课,我将为大家介绍ES service服务的设计理念与设计思路,帮助大家快速了解掌握ES service服务。
我来说两句