我很想知道这个异常是从哪里来的，以及我如何处理它： 2019-04-12 22:00:55 [scrapy.core.scraper] ERROR: Spider error processing <GET如果我想知道它来自哪里，是因为我想尝试插入一些行，这些行命令将urls添加到一个文件中，该文件专门用于某种类型的异常，使爬虫错误处理产生分析它，纠正它，并在此文件中的这些特定urls上再次启动爬虫，因为这比从一个粗糙的日志文件中启动爬虫更舒服
浏览 13提问于2019-04-14得票数 0
回答已采纳
1回答
我编写了一个使用scrapy的web抓取程序，其中从搜索结果中提取标题和正文，同时使用命令运行蜘蛛。scrapy爬行reddit
class RedditSpider(scrapy.Spider
浏览 0提问于2018-05-09得票数 0
有什么压缩日志的方法吗？我需要将它们存储一段时间，以便以后进行调试，并且找到一种减少它们大小的方法是很酷的。如果没有这样的方法，那么如何更有效地组织压缩过程？
浏览 12提问于2021-12-20得票数 0
回答已采纳
1回答
我在Python3中使用Scrapy (Scrapy==1.6.0)库。我想知道，在代码中Scrapy实际上在哪里做HTML请求？现在我的爬行器找不到任何页面，所以我想我要么得到一个空白的HTML文档，要么得到一个403错误，但是我不知道从哪里去确认这一点。熟悉scrapy库的人能告诉我在代码中我可以检查这些参数的确切位置吗？
浏览 12提问于2019-03-14得票数 0
2回答
有没有办法让Scrapy在爬行完全完成后执行代码，以处理移动/清理数据？我确信这是微不足道的，但我的Google-fu似乎为了这个问题而离开了我。
浏览 0提问于2013-06-28得票数 8
1回答
制作一个基本的python爬行器...不知道如何将我制作的一个模块包含到另一个模块中。获取：“没有模块错误”。文件结构如下：
Indeed_spider.py代码：from scrapy.selector import HtmlXPathSelectorfrom scrapy.loader import XPathItemLoader
from scrapy.loader.process
浏览 13提问于2016-09-02得票数 2
我使用以下命令创建了一个新的scrapy项目：在爬虫文件夹中，我正在创建我的scrapy类，它包含了抓取数据的所有逻辑。我正在使用Scrapy Shell进行测试。scrapy shell <
浏览 2提问于2020-04-08得票数 1
1回答
我继承了一个项目，在尝试解决一个问题时，我必须升级该项目的所有包。在这样做的过程中，我遇到了更多的问题，我束手无策。这是一个网络抓取项目使用了许多包，我已经更新了Scrapy和Twisted到最新的版本，现在遇到以下错误，当我从cmd行运行我的刮刀。我尝试过降级、扭曲和卸载/重新安装，但仍然得到相同的错误。我运行的是Windows 8.1 c:\RND\scraper\crawlers>scrapy crawl reuters
2015-08-24
浏览 2提问于2015-08-25得票数 1
1回答
我设法使用调试爬行器找到了要隔离的属性，但我不确定是否正确地将其合并到我的爬行器中。当爬行器运行时，我没有得到明确的错误信息，所以我想我只是间接地输入了选择器。我正在爬行的网站是"“，我在调试爬行器中输入的路径命令是"response.xpath('//div@class="show_sec_button"&#x
浏览 2提问于2015-12-07得票数 0
我已经尝试使用规则和链接提取器，但它不能导航到下一页和提取。我得到错误:爬行器错误处理 (referer: None)import scrapyfrom scrapy.linkextractorsimport LinkExtractor
name = 'med
浏览 1提问于2019-07-09得票数 1
我在Scrapy中有一个爬虫，我想检查瓶颈。我还有几个类提供给主要的Spider类。'w') as f : p.sort_stats('calls').print_stats() 其中QuotesSpider(scrapy.Spider)是爬行器类。可以理解的是，当使用scrapy crawl quotes运行
浏览 10提问于2021-04-02得票数 2
回答已采纳
3回答
我是Python和Scrapy的新手，我用PyCharm编写了一个爬虫，如下所示：from scrapy.spiders import Spiderimport re
title = scrapy.Field()
class MySpider
浏览 1提问于2017-02-12得票数 1
2回答
我试着在我的centOs中运行scrapy。由于centos附带安装了python2.6，而scrapy需要python2.7，所以我尝试创建虚拟环境并在其中运行scrapy，但仍然出现错误(scrapyproject)[imadmin@IM03 tutorial]$ python --version(scrapypr
浏览 0提问于2014-11-04得票数 3
1回答
无法爬行多个页面
、、、
我能够用下面的代码爬行单个页面
#identity
#requests10:47:15 scrapy.core.engine调试:爬行(200) (引用:无) 2019-05-29 10:47:16 scrapy.core.engine调试:爬行(200) (引用:无2019-05-29 10:47:1
浏览 0提问于2019-05-29得票数 0
回答已采纳
我试图用Scrapy从网站中提取json数据，但我遇到了一些问题，比如当我运行我的爬行器时，没有给出错误，并且说爬行了0个页面。我还使用该命令将de输出存储到json文件中，以查看输出。(self.url % i, callback=self.parse)import scrapy
price = s
浏览 1提问于2016-11-05得票数 1
然后在测试时，它第一次正确运行，但第二次出现此错误。get_project_settings() s['FEED_URI'] = '/tmp/output.csv'其中事件如下所示{ }
浏览 0提问于2020-05-18得票数 2
2回答
scrapy shell是调试xpath表达式的一个很好的工具，但是是否有任何工具或方法可以在爬行器中调试Rule呢？这意味着我如何才能知道规则按照我想要的那样工作。
浏览 1提问于2013-01-02得票数 4
1回答
我用姜戈，芹菜，scrapy。第二个任务在向数据库添加新链接时启动。我在django的信号：from django.dispatch import receiver "title": title, }
但是我得到了错误: t
浏览 0提问于2018-06-21得票数 0
我试图将用户定义的参数传递给scrapy的爬行器。有谁能建议一下如何做到这一点吗？
我在某处读到过一个参数-a，但不知道如何使用它。
浏览 7提问于2013-03-25得票数 121
回答已采纳
云服务器
ICP备案
对象存储
云点播
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号