我正在尝试用scrapy (有10秒的下载延迟+ AUTOTHROTTLE_ENABLED = True + ROBOTSTXT_OBEY = True)来抓取网站。当我运行该命令时：在405之前，我得到了多个“行”的输出：[scrapy.spidermiddlewares.httperror] INFO: Ignoring response <405 https:/
浏览 143提问于2019-11-03得票数 5
回答已采纳
1回答
一些关于运行scrapy的建议建议这样做，以便通过脚本启动scrapy，或者在IDE中进行调试，等等：只要脚本位于项目目录中，就可以使用此方法，但如果不是这样，请尝试为其提供绝对或相对路径。intellij-workspace/crawling/
浏览 1提问于2016-09-29得票数 2
我想在Scrapy中调试ConnectionRefusedError处理。如果不能模拟错误，我就不能进行调试。如何模拟ConnectionRefusedError？
浏览 11提问于2020-05-27得票数 0
1回答
我正在使用Scrapy (最新版本)，并试图调试一个爬虫。使用scrapy shell https://jigsaw.w3.org/HTTP/300/301.html ->，它不遵循重定向(它使用默认的爬行器来获取数据)。如果我运行我的爬行器，它会跟随301 --但是我不能调试。
如何才能让shell遵循301来调试最终页面呢？
浏览 13提问于2016-07-31得票数 4
回答已采纳
7回答
爬行器工作正常，但我想调试代码，为此我在我的launch.json文件中添加了以下内容： "name": "Scrapy with Integrated Terminal/Console",config:python.pythonPath}",
"program": "C:/Users/neo/.virtualenvs/Gers-Crawler-77pVkqzP/Scripts/sc
浏览 1提问于2018-03-09得票数 23
回答已采纳
1回答
我想在Scrapy中连接多个爬虫，这样一个蜘蛛的输出就可以供给另一个蜘蛛。我知道Scrapy用于连接解析函数和使用请求的Meta参数来通信项的方式。class MySpider(scrapy.Spider): def parse(self, response): yield scrapy.Request(url2, call_back=self.parse2
浏览 5提问于2016-05-13得票数 0
我正在尝试使用python Scrapy抓取一个网站。xpath表达式在从scrapy shell运行时提供所需的输出，但在从爬行器运行时不提供。未返回错误，但已进行调试爬网(200)。以下是我的代码： import logging from scrapy.spidersimport CrawlSpider, Rule
浏览 7提问于2017-01-05得票数 0
1回答
使用scrapy进行分页
、、、
我正在尝试抓取这个网站：到目前为止，我的代码是： Rule(SgmlLinkExtractor(restrict_xpaths='//li[@class="normalLeft"]/div/a',unique=True)),
Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="topParentChilds"]/div/div[@class="clm2"]/a&
浏览 2提问于2013-04-21得票数 6
回答已采纳
2回答
/bin/bashcd /etc/myproject/scraperscrapy crawl barsite --set FEED_URI=..scrape.sh)
May 6 17:40:01 server CRON[17804]: (root) CMD (/etc/myproject
浏览 0提问于2011-05-07得票数 2
回答已采纳
上下文-问题的复制正如你所看到的，它是一个搜索页面，需要填写一个表单。当我以这种方式填写表单时，我想刮掉一个返回的页面：'Filing category': 'All annual, quarterly, and current reports',
'Filed data range': 'Last y
浏览 7提问于2021-08-10得票数 0
回答已采纳
我使用的是FLIR ax8热敏相机，这款相机有一个网络接口，可以通过以太网与之交互。长话短说，温度值是不断显示和更新的，我想删除这些值。附件中有两张图片，第一张是Chrome中显示的界面，第二张是我使用Python的Requests模块抓取的最终输出。
正如您所看到的，数字显然不在那里，因为它们是由JavaScript呈现的。
浏览 11提问于2017-07-07得票数 0
我经常用要调试Scrapy项目，请执行以下操作。我想要的是将屏幕输出存储到一个文件中，这样我就可以进行搜索、文本编辑等等。scrapy crawl xxx_spider >> my_log
但这不管用
浏览 0提问于2016-02-18得票数 0
回答已采纳
我正在使用与scrapy，以便通过轮换代理从I做请求。DOWNLOADER_MIDDLEWARES = { 'scrapy_fake_useragent.middleware.RandomUserAgentMiddle
浏览 2提问于2018-12-27得票数 0
--当我运行蜘蛛时，我会出现以下错误
scrapy.extensions.logstats信息:爬行0页(0页/分钟)，刮0项(0项/分) 2018-12-30 01:18:36 scrapy.extensions.telnet调试: Telnet控制台监听127.0.0.1:6023 2018-30 01:18:37 scrapy.core.engine调试:爬行(405) <GET (引用:无) 2018-12-30 01:18:37 scrap
浏览 2提问于2018-12-29得票数 0
我正在尝试学习如何使用python scrapy，我想知道我是否可以从vscode调试控制台手动请求网站。通常情况下，我会使用python请求和BeautifulSoup来获取网站html，并且我会键入以下内容 resp = requests.get(website) 在vscode中直接进入调试控制台。从那里我可以向网站发出更多的请求，而不需要重新启动调试器。然而，当我使用scrapy时，我找不到一种方法来做同样的事情，因为
浏览 23提问于2021-11-01得票数 0
我正在使用一个名为的库从维基百科(特别是)中抓取一个网页。这是原始代码：from wikipedia.items import WikipediaItem
items.append(item)然后在终端中，运行scrapy当代码工作时<
浏览 8提问于2016-09-28得票数 0
回答已采纳
)item["name"]=names.select("a/@itemprop='CompanyName'").extract()from scrapy.spiderimport BaseSpiderfrom greenbook.items import GreenbookItem
浏览 1提问于2013-07-03得票数 0
回答已采纳
4回答
目前，我有STATS_DUMP = True
但是Scrapy生成的调试消息也会添加到日志文件中。这些都是非常长的和理想的，我希望调试级别的消息留下的标准错误和信息消息被转储到我的LOG_FILE。其次，在文档中，它说The logging service must be explicitly started through the scrapy.log.start() function.我的问题是，我在哪里运
浏览 2提问于2011-11-30得票数 4
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号