2回答
我对scrapy Crawlspider有一个问题:基本上，如果引发了CloseSpider异常，它不会像它应该做的那样退出。代码如下：from scrapy.exceptions import CloseSpiderimport re
class Recursiv
浏览 6提问于2018-08-03得票数 2
回答已采纳
我刚接触scrapy，不能让它做任何事情。最终，我想通过以下内部链接从一个网站上抓取所有的html评论。 现在，我只是尝试抓取内部链接，并将它们添加到列表中。import scrapyfrom scrapy.linkextractors import LinkExtractorclass comment_spider(CrawlSpider):
name = 'test&
浏览 34提问于2019-03-20得票数 0
回答已采纳
1回答
下面是我使用的代码：from scrapy.contrib.spiders import Rule url = scrapy.Field()
$ scrapy craw
浏览 1提问于2014-12-26得票数 0
回答已采纳
尝试让Scrapy抓取多个域。我让它工作了很短时间，但有些东西改变了，我不知道是什么。我的理解是，带有规则的"CrawlSpider“应该遵循任何允许的链接，直到深度设置或域名耗尽。import scrapyfrom scrapy.linkextractors import LinkExtractorclass BbcSpider(CrawlSpider):
n
浏览 29提问于2018-06-03得票数 1
回答已采纳
1回答
我正在尝试使用scrapy进行递归的web抓取。我想去'‘，并通过下面的按钮，从这个网站获得所有的产品名称和价格。我能够创建这个蜘蛛(它正常工作)：from scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rule
class DmozSpider(scrapy.Sp
浏览 2提问于2016-02-10得票数 1
回答已采纳
1回答
刮伤CrawlSpider不爬行
、、、、
为此，我使用CrawlSpider，最终的结果将是获取所有这些数据，并按模型名称将其放入mongoDB文档中。显然，我还没有完成，也还没有达到这一点。我现在拥有的是：import scrapyfromscrapy.item import Item
name
浏览 3提问于2014-11-04得票数 0
使用Scrapy1.4.0和我在网上找到的修改过的模板，我得到了以下错误：
import scrapyfrom scrapy.linkextractors import LinkExtractor
classTechcrunchSpider(scrapy<
浏览 2提问于2017-07-31得票数 0
回答已采纳
1回答
刮擦蜘蛛不遵循链接和错误
、、、
import scrapyfrom wikiCrawler.items import WikicrawlerItemfrom scrapy.spiders import Rule
name = "wikiSpyder"parse"),
浏览 2提问于2017-03-29得票数 2
回答已采纳
我的spider.py代码如下：import urlparsefrom scrapy.spidersimport CrawlSpider, Rule
name = 'easy'
allowed_domains = ['
浏览 4提问于2017-09-13得票数 0
回答已采纳
在我的中，我对我的问题不太明确(用Scrapy的认证会话进行抓取)，希望能够从更一般的答案中推断出解决方案。我可能宁愿使用crawling这个词。到目前为止，这是我的代码： name = 'myspider'
allowed_domains = ['domain.com'](验证，然后爬行，使用CrawlSpider)任何帮助都将不胜感激。
浏览 6提问于2011-05-01得票数 33
回答已采纳
是否可以使用剧作家对Scrapy的集成执行CrawlSpider？我正在尝试下面的脚本来执行一个CrawlSpider，但是它不会刮任何东西。它也不显示任何错误！import scrapyfrom scrapy.spiders import CrawlSpider,Rule
class GumtreeCrawlSpider(CrawlSpide
浏览 18提问于2022-03-13得票数 -1
回答已采纳
import scrapy
from bs4 import BeautifulSoupfrom scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor] INFO: Scrapy 1.7.4 starte
浏览 2提问于2019-11-18得票数 2
回答已采纳
1回答
from=1000000&to=SGD&amount=AED,AUD,BDT&inverse=True File "d:\kerja\hit\python~1\<project_name>\&
浏览 19提问于2017-03-16得票数 1
回答已采纳
埃里克from scrapy.contrib.spiders import CrawlSpider, Rule# from scrapy.contrib.linkextractors.lxmlhtml import LxmlLinkExtractor
class YTSpider(scrap
浏览 1提问于2015-05-01得票数 2
回答已采纳
import scrapy from scrapy.linkextractors importLinkExtractor
name = 'genericSpider' ),
浏览 11提问于2019-04-24得票数 0
Items.py# define the fields for your item here like:title = scrapy.Field()file_urls = scrapy.Field()import scrapyfrom scrapy.spiders import
浏览 2提问于2016-06-03得票数 1
回答已采纳
我正在尝试编写一个爬虫来跨多个页面爬行，通过以下网址：我正在使用Scrapy版本0.22.1来做这件事。但是，我收到一条"cannot import name CrawlSpider“消息。from scrapy.spider import CrawlSpider, Rulefrom
浏览 0提问于2015-02-14得票数 1
2回答
办公室名册地址如下所示： --但是Scrapy爬行，这是一个死页面。 .aspx后的两个部分被交换。代码示例： allowed_domains
浏览 4提问于2015-04-21得票数 0
回答已采纳
当我试图运行我的项目时，我在scrapy控制台中得到了错误ModuleNotFoundError: No module named 'scrapy.contrib'。我注意到python linter在下面划线：这似乎是错误发生在那里。
浏览 1提问于2021-06-04得票数 0
我创建的CrawlSpider没有正确地完成它的工作。它解析第一页，然后停止，而不继续到下一页。有些事我做错了但没能察觉到。希望外面的人给我一个提示，我该怎么做才能纠正它。"items.py“包括：class CraigslistScraperItem(Item): Link = Field()from scrapy.cont
浏览 4提问于2017-04-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
