单个计算机的资源是有限的,但是大数据处理对计算机资源的需求是无限的,而且是不平均的。
流向数据处理的爆发期一般发生在每个月的月初,这短短几天时间,经过数据采集、清洗、匹配、计算,最后到给客户展示成数据大屏和数据报表,中间会经过千万次的数据操作,而在其他时间其实是比较空闲的。所以不同时间对机器资源的需求也就存在巨大的差异。
Flink支持与K8s集成进行动态的容器申请来实现动态扩容,从而可以在计算任务量大的时候添加新的硬件资源参与计算,而在计算量不大时回收这些硬件资源,从而使硬件资源利用率达到最大化。
领取专属 10元无门槛券
私享最新 技术干货