使用scrapy顺序运行两个爬虫时仅得到一个结果可能是由于以下原因导致的:
scrapy crawl 爬虫名称
来运行指定的爬虫。parse
方法中使用yield
关键字返回结果,并在第二个爬虫中使用start_urls
或start_requests
方法获取第一个爬虫的结果。CONCURRENT_REQUESTS
或CONCURRENT_REQUESTS_PER_DOMAIN
参数为1,那么只会有一个爬虫在运行。请确保这些参数的值允许同时运行多个爬虫。总结起来,当使用scrapy顺序运行两个爬虫时仅得到一个结果,可能是由于爬虫名称或配置错误、爬虫间的依赖关系、爬虫并发设置或爬虫逻辑错误等原因导致的。需要仔细检查和排查这些可能的问题,并逐一解决。
领取专属 10元无门槛券
手把手带您无忧上云