我已经用pip install scrapy_proxies安装了scrapy_proxies。importlib/__init__.py", line 37, in import_moduleImportError: No module named scrapy_proxies但即使在爬行器目录中,我也显式地尝试安装scrapy_proxy,结果显示scrapy_proxies已经安装。
我使用异步地使用HTTP代理获取许多web页面。因此,我的许多提取都是错误完成的(我的代理是不可靠的)。我想用另一个代理立即重试它们。下面是一个例子:from tornado import httpclient
if response.error: // HERE i want to put my retry with another proxy
els
好的,所以我基本上想要的是,一旦"proxies.txt“的代理被使用,它就会被移动到像"used.txt”这样的文件中,所以只有新的未使用的代理保留在"proxies.txt“中,因为我的id抓取程序每次启动时都从列表的最顶端开始{ case '0': $list = fopen('proxies.txt', 'r');
while