前言
在之前公司做过一个项目叫监控app首页接口及其下的二级接口的状态码和接口响应时间....当时的做法是写一个爬虫脚本,请求首页接口成功后返回结果递归解析并且再请求二级接口,大概能请求200多个接口,会记录错误状态码和失败原因,最终存在数据库中....监控脚本
爬虫
这个监控脚本并没有用爬虫框架,就是使用python的requests库实现的发送请求.
爬虫的核心是递归,如何从一个接口一直一直的爬....下面这段代码是一段递归函数,通过指定规则递归解析,
把获取的url加入到数组中.
def parse_url(obj):
""" 遍历解析json的每个url元素, 将url的加入到list中"...grafana
随着不断发送请求,脚本的宿主机性能也会下降,所以使用grafana来监控发送请求数量和宿主机的cpu、内存等.