Scrapy: CrawlSpider不解析响应
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地从网页中提取数据。CrawlSpider是Scrapy框架中的一个Spider类，用于定义爬取规则和提取数据的方式。
CrawlSpider的特点是可以通过规则自动发现链接并进行爬取，而不需要手动编写爬取逻辑。它通过定义一些规则来指定需要爬取的链接和如何提取数据。这些规则包括允许的域名、允许的URL模式、需要跟进的链接以及如何提取数据等。
CrawlSpider不解析响应是指它不会对每个爬取到的响应进行解析和提取数据的操作。相反，它会根据定义的规则自动发现并跟进链接，直到没有新的链接可以爬取为止。这样可以大大简化爬虫的编写过程，提高爬取效率。
CrawlSpider适用于需要爬取大量网页并提取特定数据的场景，比如抓取新闻、商品信息、论坛帖子等。它可以通过定义规则来过滤掉不需要的链接，只爬取感兴趣的内容，从而提高爬取效率。
对于Scrapy框架，腾讯云提供了云函数SCF（Serverless Cloud Function）服务，可以将Scrapy爬虫部署在云端进行定时或按需触发的爬取任务。通过SCF，可以实现高可用、弹性伸缩的爬虫部署和管理。您可以了解更多关于腾讯云SCF的信息和产品介绍，可以访问以下链接：
腾讯云SCF产品介绍：https://cloud.tencent.com/product/scf
腾讯云SCF文档：https://cloud.tencent.com/document/product/583
请注意，以上答案仅供参考，具体的技术选型和产品选择应根据实际需求进行评估和决策。
相关·内容
我创建的CrawlSpider没有正确地完成它的工作。它解析第一页，然后停止，而不继续到下一页。有些事我做错了但没能察觉到。希望外面的人给我一个提示，我该怎么做才能纠正它。
"items.py“包括：
from scrapy.item import Item, Field
class CraigslistScraperItem(Item):
Name = Field()
Link = Field()
CrawlSpider名称"craigs.py“，包含：
from scrapy.contrib.spiders import CrawlSpider, Rule
浏览 4提问于2017-04-04得票数 1
回答已采纳
关于在CrawlSpider中评估规则的顺序，我有一个问题。如果我有下面的代码：
from scrapy.contrib.spiders.crawl import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class MySpider(CrawlSpider):
start_urls = ['http://someurlhere.com']
rules = (
Rule(
LinkExtractor(restrict
浏览 2提问于2017-04-14得票数 2
回答已采纳
1回答
新刮刮，只是想弄清楚，看看我是否可以用它刮我正在读的网络系列，这样我就可以在去学校的路上离线阅读，我也想不出如何纠正这个我一直在犯的错误。
TypeError: parse_wordpress()缺少一个必需的位置参数：“响应”
我认为这意味着网站没有适当的对应，但我想不出一个方法来解决这个问题。
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import HtmlXPathSelector
from scrapy.linkextractors import Lin
浏览 0提问于2019-03-17得票数 2
2回答
我无法抓取整个网站，Scrapy只能在表面抓取，我想抓取更深的部分。我已经用谷歌搜索了5-6个小时，但没有任何帮助。我的代码如下：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from scrapy.spider import BaseSpider
from
浏览 0提问于2013-03-19得票数 11
1回答
我已经用Scrapy创建了一个简单的爬虫程序，它从给定的链接开始，跟踪给定DEPTH_LIMIT中的所有链接，由于项目参数的原因，每次运行爬行器时都会对其进行调整。为了简单起见，该脚本打印响应URL。
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from NONPROF.items import NonprofItem
from scrapy.http import Request
import re
class Nonpr
浏览 12提问于2018-01-04得票数 2
回答已采纳
我试着爬一个以上的页面，我的函数确实返回第一个start url，但是我无法使工作成为蜘蛛的规则。
以下是我到目前为止所拥有的：
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from craigslist_sample.items import CraigslistSampleItem
class MySpider(CrawlSpider):
name = &#
浏览 4提问于2015-04-13得票数 1
回答已采纳
1回答
不能让刮痕爬行
、、
我试图了解Scrapy是如何工作的，但不知道如何让它爬行。
我希望爬行的网站有一个页面，其中包含、等格式的链接。
我设法在像这样的页面上爬行文本，但我无法从开始，爬上链接到那里的所有页面。
这是我的蜘蛛
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from tutorial.items import Item
class Spi
浏览 0提问于2014-03-30得票数 0
回答已采纳
1回答
不能爬行
、、
我试图抓取一些网站使用刮刮。下面是一个示例代码。方法解析没有被调用。我试图通过一个反应堆服务运行代码(代码提供)。所以，我从有反应堆的startCrawling.py运行它。我知道我错过了什么。你能帮帮忙吗。
谢谢,
Code-categorization.py
from scrapy.contrib.spiders.init import InitSpider
from scrapy.http import Request, FormRequest
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from s
浏览 0提问于2014-12-03得票数 0
回答已采纳
2回答
刮伤机构或规则不起作用
、、、
我一直试图让Scrapy的链接提取器工作，但没有结果。我想要它找到任何链接，然后调用一个不同的方法，它只是打印出一些东西，以表明它是有效的。
这是我的蜘蛛
from scrapy.spiders import Rule, CrawlSpider
from scrapy.linkextractors import LinkExtractor
class TestSpider(CrawlSpider):
name = 'spi'
allowed_domains = ['https://www.reddit.com/']
start_url
浏览 8提问于2017-08-01得票数 0
回答已采纳
我一直在尝试从美食网络抓取菜谱标题，我想递归地移动到下一页。我使用的是python 3，所以scrapy中的一些函数对我来说是不可用的，但这是我到目前为止所拥有的：
import scrapy
from scrapy.http import Request
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.selector
浏览 1提问于2016-04-19得票数 0
我正在尝试抓取this网站，我想要地址和联系方式，但我不知道为什么我没有得到输出，我想要的数据存在于响应中，但我无法抓取它，请告诉我我哪里做错了，我浪费了很多时间，只是卡住了 import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class MobilesSpider(CrawlSpider):
name = 'mobiles'
allowed_domains = ['www.vcsdata
浏览 11提问于2021-09-27得票数 1
回答已采纳
2回答
抓取句柄302响应代码
、、、
我使用一个简单的CrawlSpider实现来抓取网站。默认情况下，Scrapy跟随302重定向到目标位置，并且某种程度上忽略了最初请求的链接。在一个特定的站点上，我遇到了一个302重定向到另一个页面的页面。我的目标是记录原始链接(响应302)和目标位置(在header中指定)，并在CrawlSpider的CrawlSpider方法中处理它们。请引导我，我怎样才能做到这一点？
我遇到了提到使用dont_redirect=True或REDIRECT_ENABLE=False的解决方案，但实际上我并不想忽略重定向，实际上，我也想考虑(即不忽略)重定向页面。
我访问http://www.example
浏览 6提问于2016-02-11得票数 4
回答已采纳
因此，我尝试使用CrawlSpider并理解中的以下示例：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class MySpider(CrawlSpider):
name = 'example.com'
allowed_domains = ['example.com']
start_urls = ['http://www.example.com']
r
浏览 1提问于2017-06-13得票数 11
回答已采纳
1回答
我向你索要我的蜘蛛刮痕
、、、
我试着从电子商务中提取产品
爬行网站，并已通过每个产品提取标题信息，描述，图像和解密，如果可能的话。
但是我的蜘蛛不工作了。
import smtplib
import urlparse
from scrapy import signals
from scrapy.http import Request
from scrapy.loader import ItemLoader
from scrapy.spiders import CrawlSpider
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contr
浏览 0提问于2016-07-15得票数 0
1回答
我正在编写抓取代码，以爬行第一页和给定网页的一个附加深度。
不知怎的，我的爬虫没有进入额外的深度。只需爬行给定的启动urls并结束其操作。
我添加了filter_links回调函数，但是即使是那些没有被调用的函数，规则也被忽略了。什么是可能的原因，我能改变什么使它遵循规则？
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from crawlWeb.items import CrawlwebItem
from scrapy.contrib.linkextractors.sgml import SgmlLink
浏览 3提问于2015-06-05得票数 0
回答已采纳
1回答
我很难理解如何在继承自CrawlSpider的蜘蛛中使用rules字段。我的蜘蛛正试图爬过旧金山的黄页披萨目录。
我一直试图保持我的规则简单，只是看看蜘蛛是否会爬过任何一个链接的反应，但我没有看到它发生。我唯一的结果是，它生成下一页的请求，然后生成对下一页的请求。
我有两个问题：1.是否在收到响应时调用回调之前先处理规则？反之亦然？2.什么时候适用这些规则？
编辑：，我想明白了。我重写了来自CrawlSpider的解析方法。在查看了该类中的解析方法之后，我意识到它检查规则并在这些网站上爬行。
注意:知道您要重写什么
这是我的密码：
from scrapy.contrib.spiders imp
浏览 5提问于2014-08-23得票数 8
1回答
我正在尝试解析类似于 1的文件，但是对于很多经度和纬度。爬虫循环遍历所有的网页，但没有输出任何东西。
这是我的代码：
import scrapy
import json
from tutorial.items import DmozItem
from scrapy.http import Request
from scrapy.contrib.spiders import CrawlSpider, Rule
class DmozSpider(CrawlSpider):
name = "dmoz"
allowed_domains = ["proadvi
浏览 8提问于2015-05-06得票数 0
回答已采纳
我正在尝试使用链接提取器从页面中抓取一些url，但我也需要知道被请求的url是根据哪一个响应url提取的。
import scrapy
from scrapy.spider import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class ExtractSpider(CrawlSpider):
name = 'Extract'
allowed_domains = ["xyz.com"]
start_urls = [a,b,c]
rule
浏览 0提问于2018-10-26得票数 1
回答已采纳
1回答
我想抓取图像的链接："“，但代码只是抓取一张图片(在我的电脑)和爬行所有图片(在我的朋友电脑)。请帮帮我
import scrapy
from scrapy.contrib.spiders import Rule, CrawlSpider
from scrapy.contrib.linkextractors import LinkExtractor
from imgur.items import ImgurItem
class ImgurSpider(CrawlSpider):
name = 'imgur'
allowed_domains = ['vne
浏览 28提问于2016-08-01得票数 0
使用Scrapy1.4.0和我在网上找到的修改过的模板，我得到了以下错误：
AttributeError:模块'scrapy‘没有属性'CrawlSpider’
日志似乎没有显示出任何其他感兴趣的东西。
代码：
import scrapy
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
class TechcrunchSpider(scrapy.CrawlSpider):
#name of the spider
name = 'stl
浏览 2提问于2017-07-31得票数 0
回答已采纳
我在64位Windows Vista上使用的是Python.org 2.7版。我一直在测试下面的Scrapy代码，以递归地抓取www.whoscored.com站点上的所有页面，该站点用于足球统计：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy.item import Item
from scrapy.spid
浏览 0提问于2014-07-18得票数 11
回答已采纳
我试图从中删除NBA的历史数据。
使用下面的代码，回调不会执行。但是，当我将oddsportal.com更改为nba.com时，没有问题。
我不知道这是为什么。建议？
import scrapy
from scrapy.loader import ItemLoader
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from nba_scrapper.items import NbaScrapperItem
import re
class GetGame
浏览 2提问于2022-07-14得票数 0
1回答
我想刮除所有的标题标签和其他标签内的父项标签。但不能刮。尝试过刮破的外壳，看起来效果很好。下面是我的全部代码
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy_rss.items import rssItem
from scrapy.utils.response import get_base_url
import
浏览 3提问于2014-06-13得票数 1
回答已采纳
2回答
我已经通过扩展CrawlSpider创建了一个爬虫。
当爬行器运行并找到文章页面时，我希望获得一个到作者个人资料的链接，并向个人资料页面发出一个请求，然后使用parse_author解析它，但是由于某些原因，这个parse_author回调从未执行过。
我的代码：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.http.request import Request
class CityamSpider
浏览 18提问于2019-02-05得票数 0
2回答
我正在尝试递归地从中刮取作业的标题。也就是说，我想让蜘蛛刮掉第1页上的所有职位，然后按照底部的"next>“链接刮下一页，以此类推。我模仿迈克尔·赫尔曼的教程来写我的蜘蛛。。
这是我的代码：
import scrapy
from craig_rec.items import CraigRecItem
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
class CraigslistSpider
浏览 3提问于2015-10-19得票数 1
回答已采纳
我正在使用Scrapy抓取网站以获取所有页面，但我当前的代码规则仍然允许我获取不需要的URL，例如除了帖子的主URL之外的评论链接"“。我可以在规则中添加什么来排除这些不需要的项目？下面是我当前的代码：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.item import Item
class MySpider(CrawlSpider):
name = 'c
浏览 2提问于2013-05-27得票数 3
1回答
我想创建一个Scrapy脚本来抓取任何craigslist子域中的计算机音乐会的所有结果:例如：这个查询返回了许多文章的列表，我试图用CrawlSpider和linkExtractor抓取每个结果的标题和href (不仅仅是第一页上的结果)，但没有任何结果，但是脚本什么也没有返回。我会在这里粘贴我的脚本，谢谢
import scrapy
from scrapy.spiders import Rule,CrawlSpider
from scrapy.linkextractors import LinkExtractor
class CraigspiderSpid
浏览 3提问于2016-03-13得票数 0
现在我正试着抓取这个网页：http://search.siemens.com/en/?q=iot 为此，我需要提取链接并解析它们，这应该可以通过Crawl类来实现。然而，我的实现似乎不起作用。出于测试目的，我尝试从每个网站返回响应正文。不幸的是，爬虫每隔三分之一左右才打开一次链接，并且不会给我返回响应体。 你知道我做错了什么吗？ import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class SiemensCrawlSSpide
浏览 23提问于2019-05-08得票数 0
回答已采纳
1回答
我正在使用scrapy爬行整个站点，但我的解析器永远不会被调用。我一直在看这件事，做些小小的改变，但不起作用。也许它只是需要一双新的眼睛。这是我的代码：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class FirstSpider(CrawlSpider):
name = 'firstSpider'
allowed_domains = ['http://example.com'
浏览 1提问于2017-09-14得票数 0
回答已采纳
你能帮我更正一下这个脚本吗?我有一个链接列表，搜索结果，我想检查和爬行这些链接中的每一个。
但是这个脚本只点击第一个链接，然后我的爬虫就停止了。
任何帮助都是非常感谢的。
代码“天基”：
from scrapy.contrib.spiders import CrawlSpider
from scrapy import Selector
from selenium import webdriver
from selenium.webdriver.support.select import Select
from time import sleep
浏览 6提问于2015-07-22得票数 0
我需要一点关于Scrapy的帮助和你的指导。我的Start_Url是:：已经粘贴了下面的代码，它能够获得链接/路径，直到下面的url。但不能超越这一点。我需要转到每个产品的页面，在下面的路径下列出。在"productsinfamily“页面中列出了特定的产品(可能在一个java脚本中)。我的爬虫无法访问这些单独的产品页面。
下面是爬虫蜘蛛的代码-
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class Produ
浏览 5提问于2018-01-27得票数 0
我在试着找回我的公共资料。我需要检查消息是否正在到达我的墙，并在给定的时间戳内发送。我实际上是在写一个监控检查，以验证我们的消息传递系统的消息传递。我收到一个No Connection the be made，因为目标机器主动拒绝了它。不太确定为什么？
#!/usr/bin/env python
# Many times when crawling we run into problems where content that is rendered on the page is generated with Javascript and therefore scrapy is unable
浏览 1提问于2015-01-14得票数 0
1回答
scrapy是个新手，所以我可能只是做错了什么。但是，scrapy似乎不会抓取我输入的任何https站点。
class SeleniumSpider(CrawlSpider):
name = "SeleniumSpider"
start_urls = ["https://www.facebook.com"]
rules = (
Rule(SgmlLinkExtractor(allow=('\.html', )), callback='parse_page',follow=True),
浏览 0提问于2014-05-30得票数 2
回答已采纳
我希望循环检查每个链接-如果它去外部域输出它-在那一刻它输出所有链接(内部和外部)。我搞砸了什么？(为了测试，我调整了代码，只从一个页面开始工作，而不是爬行站点的其余部分。) import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import re
class MySpider(CrawlSpider):
name = 'crawlspider'
allowed_domains = ['en.
浏览 29提问于2021-03-31得票数 1
回答已采纳
当抓取完成时，我尝试自动重新启动我的蜘蛛，特别是当响应状态不好时。例如，我有这样的代码：
#!/usr/bin/python -tt
# -*- coding: utf-8 -*-
from scrapy.selector import Selector
from scrapy.contrib.spiders import CrawlSpider
from scrapy.http import Request
from urlparse import urljoin
from bs4 import BeautifulSoup
from scrapy.spider import BaseSpi
浏览 4提问于2015-08-11得票数 1
2回答
我设置了从start_url获取下一个页面的规则，但是它不起作用，它只爬行start_urls页面和页面中的链接(使用parseLinks)。它不会转到规则中的下一页。
有什么帮助吗？
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy import log
from urlparse import urlparse
浏览 3提问于2014-01-13得票数 3
回答已采纳
我正在尝试测试抓取网页的Scrapy，我不明白为什么我的爬虫只抓取一个页面，我尝试评论规则和allowed_domains都没有成功。我想我遗漏了一些愚蠢的东西如果能帮上忙我会很感激的。
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.spider import BaseSpider
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
class NYSpider(CrawlSpider):
name = "ny
浏览 3提问于2012-03-21得票数 1
回答已采纳
2回答
我正在使用scrapy来删除，但是当我运行爬行器时，我没有看到任何响应。
我尝试了reddit.com和quora.com，它们都返回了数据(开始爬行)，但不是我想要的站点。
这是我的简单爬虫：
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider
from scrapy.spiders import Rule
class FirstSpider(CrawlSpider):
name = "jobs"
allowed_domains = [&
浏览 1提问于2015-12-14得票数 1
我想让我的蜘蛛发挥作用。这是我在蜘蛛里的代码：
start_urls = ["http://www.khmer24.com/"]
rules = (
Rule(SgmlLinkExtractor(allow=(r'ad/\w+/67-\d+\.html',),
),
callback='parse_items'),
)
示例url如下所示：
我想保留“广告”和"67-“
scrapy crawl khmer24的输出是：
Crawled (200) <GET http://www.khmer24.com/&
浏览 1提问于2013-02-28得票数 1
1回答
代码：
import scrapy
from scrapy.spiders import CrawlSpider
from scrapy import Request
class TestSpider(CrawlSpider):
name = "test_spyder"
allowed_domains = ["stackoverflow.com"]
start_urls = ['https://stackoverflow.com/tags']
def parse(self, response):
title_1 =
浏览 1提问于2019-01-26得票数 0
回答已采纳
关于我不能登录的原因有什么想法吗？我一直在尝试用同样的方法通过facebook和linkedin登录，但没有成功。我使用的是最新版本的Scrapy。我正在尝试访问“消息”进行测试，但我知道它不起作用，因为它会将我重定向回登录页面……在LinkedIn上也是如此。
import scrapy
from scrapy.spiders import BaseSpider
from scrapy.http import FormRequest
from scrapy.contrib.spiders import CrawlSpider
from linkedIn.items import Linked
浏览 2提问于2015-08-23得票数 0
2回答
用于嵌套网页的爬行蜘蛛不起作用
、、、、
下面蜘蛛不爬行网站，我想知道我是否使用错误的代码在同一网站内爬行多个网页。这里是代码TestScrpy.py :
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
import scrapy
from scrapy.contrib.linkextr
浏览 3提问于2015-05-05得票数 0
1回答
我想用刮伤来抓取完整的网站，但是现在它唯一的爬行单页。
import scrapy
from scrapy.http import HtmlResponse
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.exporter import JsonItemExporter
cla
浏览 0提问于2014-11-27得票数 1
1回答
我想让我的蜘蛛抓取网站每一页上的列表。我使用了CrawlSpider和LinkExtractor。但当我查看csv文件时，第一页(即起始url)上的任何内容都没有被刮掉。抓取的项目从第2页开始。我在Scrapy shell上测试了我的爬虫，它看起来很好。我不知道问题出在哪里。下面是我的爬虫代码。请帮帮忙。非常感谢!
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from shputuo.items_shputuo import
浏览 1提问于2015-12-14得票数 1
使用Scrapy，我将刮除单个页面(通过脚本，而不是从控制台)来检查这个页面上的所有链接(如果robots.txt文件允许的话)。
在scrapy.robotstxt.RobotParser抽象基类中，我找到了方法，但我不知道如何使用它。
import scrapy
class TestSpider(scrapy.Spider):
name = "TestSpider"
def __init__(self):
super(TestSpider, self).__init__()
def start_re
浏览 0提问于2020-10-23得票数 3
1回答
我四处张望，找不到我要找的答案。我让我的爬虫(刮伤)返回接近我正在寻找的结果。所以我现在要做的是让它从页面中提取多个结果。目前，它拉第一个并停止。如果我去掉extract_first()，那么它将提取所有数据并对它们进行分组。因此，寻找两个答案中的一个是可行的。
( 1)继续爬行结果，而不是结束2)将每个项解组到新的结果行中。
这是我的代码：
import scrapy
from scrapy.selector import Selector
from urlparse import urlparse
from urlparse import urljoin
from scrapy i
浏览 1提问于2017-10-02得票数 1
回答已采纳
我只想在第一页提取我想要的链接，我在爬虫中将DEPTH_LIMIT设置为1，并在匹配规则follows=False中将参数rule()设置为1，但我仍然发起了多个请求，我不知道为什么。我希望有人能回答我的疑问。提前谢谢。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
from scrapy.spiders import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor
class OfficialSpider(Craw
浏览 2提问于2018-10-19得票数 1
1回答
所以，我试图创建一个olx 刮刀器，遇到了一个问题，我从shell中得到了一个可能的响应，但是在管道数组中没有得到任何信息。
我的刮刀
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from olx.items import OlxItem
class ElectronicsSpider(CrawlSpider):
name = "electronics"
allowed_domains =
浏览 1提问于2020-07-14得票数 0
2回答
我在试着爬Booking.Com。蜘蛛不需要打开和爬行url.Output 1：，我对python和Scrapy就不熟悉了。这是我到目前为止编写的代码。请指出我做错了什么。
import scrapy
import urllib
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.item import Item
from scrapy.loader import ItemLoader
from CinemaScraper.items impo
浏览 4提问于2017-06-19得票数 2
回答已采纳
我试图爬行一个网站，搜索所有的JS文件来下载它们。我刚接触Scrapy，我发现我可以使用CrawlSpider，但我似乎对LinkExtractors有一个问题，因为我的解析器没有执行。
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class JSDownloader(CrawlSpider):
name = 'jsdownloader'
allowed_domains = ['example
浏览 25提问于2021-02-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
