在使用代理IP的过程中,总会遇到并发过大和连接数的问题,很多人不理解什么是并发,什么又是连接数,两者之间又有什么不可告人的秘密。
什么是并发呢?通俗的讲,就是同时运行的请求数。很多人说,不对啊,我1秒钟就一个请求,并发应该是1啊,为什么突然之间告诉我并发五六百了呢?如果请求完了没关闭,就一直存在,一段时间后,就会积累到五六百个请求还在同时运行,也就是并发五六百了。所以,要养成随手关闭请求的习惯。
什么是连接数呢?每个Get或Post请求计算为一次HTTP请求连接。即:访问目标网页时产生的js、css、img及iframe中加载的元素都会计算为http连接数量。很多人认为,访问一次网页就是一个请求,其实不然,除非这个网页是纯粹的文字。
那么并发和连接数两者之间有什么关系呢,两者都是统计请求数,不同的是,并发是统计同时存在的请求数,而连接数则是统计所有已经存在的请求数。那么问题来了,在某一个时间点,请求了一个网页,同时打开了很多图片,这一时间点,并发数等于连接数吗?
这里么存在一个同步加载和异步加载的概念,很多时候我们发现网站打开了,还有很多图片是一张一张的慢慢打开;也有一些网站是网站打开后所有图片都打开了,只要有一张图片没打开网站就一直在加载中。前者是异步加载,后者是同步加载,现在网站大多是异步加载了。所以,上述情况的结果:并发可能是1,连接数则可能是几十个。
了解了并发和连接数后,在使用代理IP的过程中,就可以避免并发过大或者连接数过大导致的一些问题,养成随时关闭不需要的请求,避免爬取一些重复的页面,节约资源,合理使用。
领取专属 10元无门槛券
私享最新 技术干货