1回答
我已经成功地部署了我的项目(搜狗)，但是当我运行以下代码时：
curl http://localhost:6800/schedule.json -d project=sogou -d spider=sogou
浏览 11提问于2017-02-13得票数 1
1回答
我想在Azure虚拟机上运行一小群Scrapy蜘蛛。我在找一个自动化解决方案。目前看来，将完成在一个vm实例上运行3-5个蜘蛛的工作。我唯一关心的是我能不能让这几只蜘蛛并行运行？如果任务调度程序已经可以并行运行蜘蛛，那么使用Scrapyd来实现这个任务有什么更长远的优势呢?例如，如果范围内有100只蜘蛛？由于Windows上的其他开发，我试图远离Linux，此外，我还看到了将Scrapyd与Windows一起使用的一些担忧。
浏览 1提问于2015-11-30得票数 1
回答已采纳
1回答
当尝试执行此命令时：我得到以下错误： main()
File "/usr/bin/scrapyd-deploy", line 9
浏览 2提问于2016-11-21得票数 2
1回答
它为一个scrapy项目提供了一个很好的包装器，并且它的爬行器可以通过HTTP API控制爬行器：Scrapy 服务器，它提供了用于调度Scrapy爬行器和使用爬行器进行请求的应用程序接口。这个包是Scrapyd的替代品吗？若有，两者有
浏览 120提问于2016-05-18得票数 26
回答已采纳
但我遇到了一个问题:当我发送命令时，它就会结束，我的意思是，当我关闭浏览器时，爬行器就会停止。谢谢你们所有人。
浏览 5提问于2018-01-20得票数 0
1回答
部署Scrapy时发生404错误
、、、、
我试图在Ubuntu16.04上部署Django+Scrapy项目。当我运行scrapyd-deploy时，正如中所描述的，-我得到：Deploying to project "first_scrapy" in http://my_ip/addversion.json当我<
浏览 0提问于2018-05-18得票数 0
回答已采纳
4回答
我的项目文件夹中有多个蜘蛛，并且希望一次运行所有的蜘蛛，所以我决定使用scrapyd服务运行它们。我是通过看到开始这么做的
Usage scrapy deploy [options] [ [target] | -l | -L <target&
浏览 4提问于2012-07-06得票数 7
回答已采纳
尝试使用以下命令将我的项目部署到scrapyd时：或者，当我试图运行我创建的蜘蛛时：commands", "
浏览 1提问于2016-11-08得票数 0
回答已采纳
我正试图在Scrapyd1.2的帮助下安排一只2.1.0蜘蛛。相反，它输出错误消息：
{"node_name": "spider1", "status": "error", "message": "Scrapy 2.1.0 - no active projectcd /var/蜘蛛/ && scrapy爬行测试&“启动该项目。Use "scrapy" to
浏览 6提问于2020-05-04得票数 1
回答已采纳
1回答
当我尝试在scrapyd上运行一个现有的scrapy项目时，我得到了一个错误。我有一个可工作的scrapy项目(url_finder)和一个用于测试目的的工作爬行器(test_ip_spider_1x)，它只是简单地下载whatismyip.com。我成功地安装了scrapyd (使用apt-get)，现在我想在scrapyd上运行爬虫。但是，当我执行：scrapy crawl test_ip_spider_1x时，一切都运行
浏览 1提问于2014-04-01得票数 4
我对scrapyd有个问题。 item['title'] = response.xpath('//head/title/text()').extract()如果我像这样运行它的话，它是完美的但是，当通过scrapyd_api运行它的时候
浏览 0提问于2019-06-10得票数 0
回答已采纳
1回答
根据文档，当将项目部署到scrapyd时，我可以使用git提交散列作为版本，方法是：文档还指出，scrapyd可以保留同一项目的多个版本，但只能运行最新版本的蜘蛛。
浏览 1提问于2013-11-14得票数 0
回答已采纳
r1 =@scraper_app-0.0.1-py3.8蛋
{"node_name"：“工作区”，“状态”：“错误”，“消息”：“b‘node_name’”}
在py setup.py bdist_egg.egg文件夹中生成的运行dist/文件，其名称为“从到dist/文件夹运行curl http://127.0.0.1:6800/addversion.json-F project=scraper_app -F ve
浏览 3提问于2020-05-31得票数 1
回答已采纳
问题我试过什么但是，Scrapyd记录每个刮过的Scrapy项目。在检查scrapyd 时可以看到这一点。此项数据存储在..../items/<project name>/<spider name>/<job name>.jl中。
我不知道该怎么禁用这个。我在一个Docker容器中运行</e
浏览 4提问于2016-04-24得票数 1
回答已采纳
Scrapyd是我们可以认证部署项目的服务。然而，我正面临一个问题。的路径是/home/myprojectset/mylibs/common/my_base_spider
在设置环境变量PYTHONPATH=$HOME/myprojectset/时，我可以使用scrapy命令运行MyScrapers : scrapy爬行MyScrapers。但是，当我使用scrapyd通过以下命令部署MyScrapers时: scra
浏览 14提问于2012-11-10得票数 3
回答已采纳
1回答
我目前有一个scrapyd实例，并在我的机器上本地运行。此scrapyd实例需要在我的雇主网络上的其他PC上可用。我读过关于刮刮云()和其他基于云的服务的文章。然而，我更愿意在我们的网络上托管scrapyd，因为我构建的爬虫从我们服务器上存储的csv文件中提取数据。我需要采取哪些步
浏览 13提问于2017-02-03得票数 0
回答已采纳
我有一个码头容器运行Ubuntu托管在Windows 10 Pro上。Scrapy和Scrapyd软件包已经安装在容器中，一切都很好。我添加了一个项目，项目A，到Scrapyd使用scrapyd部署，一切都还好。我可以安排项目A的蜘蛛使用卷曲和schedule.json API，并爬行直到奶牛回家。问题是项目A不会在容器运行之间持续存在。当奶牛回到家，停止并运行Ubuntu容器后，Scrapyd包含
浏览 1提问于2018-05-17得票数 0
回答已采纳
scrapyd可以帮助部署项目。但是它上传到哪里了?？我的意思是：我可以在http://1.2.3.4:6800上找到它吗它
浏览 0提问于2015-09-22得票数 0
我在这条路上发现了一只小蜘蛛：现在我尝试通过php启动脚本： $additional = " -a check=" . filter_input(INPUT_POST, "reload");
echo shell_exec("s
浏览 4提问于2015-03-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
