我正在scrapy上工作,我正在调度一个我用以下命令编写的爬虫
curl http://localhost:6800/schedule.json -d project=example -d spider=exampledotcom
我在scrapy教程中看到了这一点,但是当我运行上面的命令时,我得到了下面的错误
curl: (7) couldn't connect to host
为什么curl无法连接到主机,命令中有什么错误吗?也有人能给我解释一下为什么我们使用"http://localhost:6800/schedule.json"
的概念,因为我的最终意图是在一个项目中运行多个爬行器。
发布于 2012-06-08 10:55:54
调度爬行器意味着告诉scrapyd
在可能的情况下运行爬行器。因此,在尝试联系它之前,您必须使用run scrapyd
:
scrapy server
或
twistd -ny extras/scrapyd.tac
https://stackoverflow.com/questions/10945841
复制