温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:04
大家好,欢迎来到腾讯开发者社区与腾讯大数据团队共同打造的ES service一站式日志分析从入门到精通训练营系列课程。我是来自腾讯大数据团队的产品经理Kevin,今天我们来讲解海量数据检索痛点以及ES技术段等相关内容。那在全文搜索、日志分析、商业智能、BI分析等场景中,处理时效要求高,数据类型复杂,同时,由于设备众多,业务增长,数据呈爆发式增长,海量数据的实时搜索与分析面临着极大的挑战。那在这种挑战下,Electric search技术应运而生,后续我们简称为ESES的技术特点是分布式的全文搜索和数据分析引擎,可以方便我们对海量数据进行准实时的存储、搜索和统计分析。之所以说是准实时,是因为数据在写入ES之后能够马上被搜索到,秒级可见。
01:03
ES的技术上一共包含四个组件,其中最核心的是elect search, 也是后续我们重点学习的对象,可用于数据的存储与检索。而在数据采集层面,我们可以使用BI组件采集,之后通过Tech进行加工,然后存储到electrictic search中。最后,我们可以在K巴纳中进行数据的可视化与分析,那除了开源组件之外,ES也支持了商业特性PG。包含安全、机器学习等能力,腾讯云ES通过与原厂elastic合作,授权引入了该特性,大家可以通过购买腾讯ES快速体验aspect特性。那从数据来看呢?ES目前是全球的搜索引擎第一,而由于其支持数据存储的一个特性,使它也进入了全球数据库的排行榜,目前来看,它是全球数据库排行第7。那虽然ES的功能呢非常的强大,但是其实企业自建这个ES服务还是面临着不少的挑战的,首先是安装部署的一个复杂度。
02:07
软硬件的环境适配、选型、安装、部署、调试、调优都需要一个较长的构建周期和经验积累,同时配置、修改、运维、监控等设施间构建的建设成本高。其次,ES服务了众多的在线业务,对稳定性的要求高,运维挑战大。而业务的成长发展呢,需要灵活的弹性和高效稳定的系统运行保障,传统的手动操作繁琐且不可靠。同时业务的一个呃,关键技术瓶颈,突发业务故障的高效解决,自建ES服务呢,缺乏一个专业的支持,容易影响业务口碑,总的而言,企业自建ES服务需要长期的一个时间投入与资源投入成本很高,容易影响业务的一个发展。那下一节课我将为大家介绍云端检索分析服务腾讯云ES。
我来说两句