1回答
我在redhat服务器上安装了python2(作为默认环境)和python3，并为它们设置了不同的别名。我如何使用python脚本激活它，因为我需要在scrapy上运行python3蜘蛛？subprocess.Popen('myconda;scrapy crawl company_pro;'
浏览 1提问于2018-03-10得票数 1
实际上，我是通过node.js运行这个python脚本的，它有一个名为的模块，它只允许您使用以下简单代码运行python脚本：crawler.configure()crawler.start()reactor.run()
我的目录结构仅通过添加python目录和文件以及使用python的几行代码从中
浏览 2提问于2014-10-22得票数 3
回答已采纳
通常，当我们创建一个蜘蛛时，我们会物理地给出或指定一个特定的url。是否有可能从用户那里获取一个url，并基于该url创建一个爬行器？
浏览 2提问于2013-12-05得票数 0
回答已采纳
1回答
你好，我正在努力完成在以下网站上找到的教程：
文件"//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py"，第43行，在load KeyError(“蜘蛛未找到：{}".format(spider_name)) KeyEr
浏览 5提问于2016-10-06得票数 2
回答已采纳
6回答
在中，可以给出蜘蛛的名称或URL，但是当我给出url时它会抛出一个错误：
文件"/usr/local/lib/python2.7/dist-packages/Scrapy-0.14.1-py2.7.egg/scrapy/spidermanager.p
浏览 3提问于2012-03-13得票数 35
回答已采纳
有人知道如何使用crontab来调度带有项目和管道的刮伤蜘蛛吗?我试过了，但是cron作业没有运行。我认为问题在于，我的蜘蛛使用刮擦物品容器和管道。我使用CrawlerProcess作为python文件运行我的蜘蛛。
浏览 6提问于2022-10-04得票数 0
kalpesh/venv/bin/scrapy", line 8, in <module> File "/home/kalpesh/venv/lib/python3.6cmdline.py", line 113, in execute File "/home/kalpesh/venv&#
浏览 2提问于2020-04-18得票数 0
回答已采纳
我试图在Windows10上学习BashOnUbunty上的Scrapy，我使用gen蜘蛛命令创建了一个蜘蛛(yelprest)，然后通过创建蜘蛛文件(遵循官方教程)直接创建了另一个蜘蛛(quotes_spider第一个蜘蛛还没有测试，但是我试着用第二个蜘蛛来完成教程，当我尝试运行时，我得到了一个指向第一个蜘蛛的错误。此外，当我尝试运行任何其他刮取命令(如version )时，我会得到与上面相同的错误。/BashEnv/bin/scrapy
浏览 2提问于2017-10-30得票数 0
回答已采纳
1回答
我用的是python刮伤包。是否有一种方法可以在蜘蛛运行时更新刮伤蜘蛛设置？我尝试了telnet控制台并通过以下方法更新了设置：'AUTOTHROTTLE_ENABLED‘是真的，当我启动蜘蛛然而，在上面的命令之后，蜘蛛的行为并没有改变。我错过了什么吗？谢谢!
浏览 1提问于2014-12-23得票数 2
回答已采纳
2回答
所以我在spiders.py中有下面的抓取蜘蛛 name = "clips"
yield { }
但关键的一点是，我希望将这个蜘蛛作为函数调用到另一个文件中
浏览 11提问于2022-01-27得票数 0
回答已采纳
1回答
我用抓取和python 2.7.9，我的蜘蛛可以正常地爬行数据。我该怎么做？我只能用“蜘蛛”来做吗？或者是在“管道”里？我的代码链接：
浏览 3提问于2015-03-13得票数 0
回答已采纳
我想在django视图中使用scrapy蜘蛛，在django视图中爬行该蜘蛛，并将刮过的数据存储在python列表或字典中。有什么简单的方法吗？
浏览 6提问于2022-05-10得票数 0
2回答
从Python运行的刮伤
、、、
我试图从Python中运行Scrapy。(spider)log.start()我的问题是，我对如何调整代码以运行自己的蜘蛛感到困惑我已经将我的蜘蛛项目命名为"spider_a“，它指定要在蜘蛛本身中爬行的域。我要问的是，如果我使用以下代码运行我的蜘蛛：如何调整上面的示例python代码以进行同样的操作？
浏览 8提问于2013-08-07得票数 3
回答已采纳
我有时尝试，但通常不测试我的想法，因为我不知道如何快速做到这一点，而不设置一个完整的Scrapy项目和解析一个真正的网页。
浏览 0提问于2014-12-04得票数 3
回答已采纳
settings.py ├── crawl_products.pycrawl_products.py包含蜘蛛为了启动我正在使用的蜘蛛：现在，我希望从另一个python脚本启动蜘蛛，并等待它的执行结束。如果它可以帮助：我想要运行蜘蛛的另一个脚本是django视图
浏览 4提问于2017-05-11得票数 2
我使用Spyder(anaconda3)来完成我的大部分python工作，我可以直接从蜘蛛控制台使用pip安装，但不能从windows 10命令提示符使用pip安装。是否有一种方法可以从蜘蛛/anaconda程序直接使用命令提示符进行pip安装？这是否是严格必要的，甚至是有用的，蜘蛛控制台能够处理所有所需的东西(甚至非python注入)，而不需要使用windows comand提示符吗？例如，如果我要运行在蜘蛛控制台上，这是一个问
浏览 2提问于2021-10-17得票数 0
回答已采纳
3回答
我有100多个蜘蛛，我想一次运行5个蜘蛛使用脚本。为此，我在数据库中创建了一个表，以了解蜘蛛的状态，即它是否已完成运行、运行或等待运行。File "test.py", line 24, in <module>File "/home/g/projects/venv/lib/python3.4in start
浏览 1提问于2018-01-31得票数 1
回答已采纳
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号