一般云计算厂商都提供了服务器cpu和内存的监控,通过这些监控数据,我们可以做很多事情,本本文介绍的就是其中一个方面的应用。
在工作中发现,大数据etl脚本时不时会卡死挂掉,导致统计数据出问题。这时可以查看脚本服务器的监控数据,如下
从上图可以看到,脚本服务器的内存偏高,cpu峰值较大但出现的次数较少,大部分时间内cpu使用率不到10%,这说明:1,脚本服务器的计算资源并没有得到充分利用;2,脚本运行的过程中,峰值确实会达到服务器瓶颈,造成卡死
基于以上两张图的分析,我们可以做出以下调整:平摊脚本的高耗操作,避免一次性过多的使用内存和cpu资源。优化后的效果如下图所示:
优化后,经实际验证,与以往相比,脚本运行更加稳定,服务器cpu利用率得到提升,内存峰值降低,未再出现脚本卡死的现象。
(本文原创,未经许可禁止转载)
领取专属 10元无门槛券
私享最新 技术干货