0回答
我试图用一个简单的抓取蜘蛛来跟踪一个链接列表，并从每个链接中删除数据，但我遇到了麻烦。在scrapy shell中，当我重新创建脚本时，它会发送新url的get请求，但是当我运行爬网时，我没有从链接中得到任何数据。我得到的唯一数据是从链接之前抓取的起始url。如何从链接中抓取数据？import scrapy
class QuotesSpider(scrapy.Spider
浏览 4提问于2017-11-26得票数 0
回答已采纳
我试图从一个使用Scrapy的网站上获取每一个链接(没有其他数据)。我想这样做，从主页开始，从那里抓取所有的链接，然后为每个找到的链接，跟随链接和刮刮所有(唯一的)链接从该网页，并为所有找到的链接，直到没有更多的跟随。到目前为止，我有一只蜘蛛，它只给我在主页上的链接，但我似乎不明白为什么它不跟随链接和刮其他网页。这是我的蜘蛛
from e
浏览 0提问于2018-09-10得票数 2
我有两个主要问题from scrapy.spider import BaseSpiderfrom scrapy.sel
浏览 0提问于2012-07-09得票数 0
回答已采纳
1回答
我对Python和Scrapy非常陌生，我认为答案应该很简单，但很难自己解决。代码获取所有的链接，跟随它们并记录文章的标题。我如何传递到我的项目的url？我想保存它与文章标题一起使用的短链接。self, response): yield scrapy.Request
浏览 6提问于2017-02-24得票数 1
回答已采纳
1回答
我正在尝试从allabolag.se中获取一些数据。我想跟随链接在例如，但刮刮没有得到正确的链接。它在URL中"%2“之后缺少"52”。例如，我想转到：我在这个网站上读到它与编码有关：# -*- coding: utf-8 -*-
from scrapy</
浏览 5提问于2016-03-01得票数 1
回答已采纳
我正在尝试抓取一个使用惰性加载的页面，以获取下一组项目。我的爬虫遵循正常的链接，但这个似乎不同： 页面：https://www.omegawatches.com/de/vintage-watches 后面是https://www.omegawatches.comScrapy将不会跟随该链接。 有没有办法让scray自动跟随第1、2、3、4页？
浏览 20提问于2018-12-30得票数 0
我正在使用scrapy抓取网站并从中提取数据，scrapy使用基于regex的规则来检查页面是否必须解析，或者是否必须遵循链接。为此，当启动爬行器时，我从数据库获取最后关注的链接。我的站点urls看起来像http://foobar.com/page1.html，所以，通常情况下，规则的正则表达式会像这样跟随每个链接，就像/page\d+\.html一样。
浏览 2提问于2011-03-06得票数 1
回答已采纳
1回答
以下用于返回医疗信息的拼凑代码确实返回了第一组返回的结果，但没有遵循链接。学习代码并在stackoverflow上检查类似的结果，但集成它们不起作用。是的，我正在学习。如有任何建议，我们将不胜感激。import urlparse
from scrapy.selector import Selector
from scrapy.http
浏览 1提问于2016-03-19得票数 1
1回答
这是一个简单的scrapy蜘蛛，它爬行yelp.com并获取数据。.*')),follow=True,callback="parseBusiness")然而，这里的Scrapy，不是遵循链接吗import scrapy
f
浏览 0提问于2015-07-13得票数 2
回答已采纳
2回答
我不能跟随链接并取回这些值。from scrapy.selector import HtmlXPathSelector
name =
浏览 2提问于2012-11-22得票数 0
我目前正在抓取网站中由javascript生成的数据。因此，我使用scrapy和selenium来抓取这些数据。但是，爬虫只能从第一个站点抓取和抓取数据。有人能在这方面帮我吗？下面是我写的代码。import scrapyimport time date = scrapy<
浏览 2提问于2016-03-19得票数 0
1回答
我试图刮一个网站，但我不能让刮痕跟踪链接，我没有任何Python错误，我没有看到任何与Wireshark有关的事情。我认为这可能是正则表达式，但我尝试了".*“试图跟随任何链接，但它也不起作用。这是我的蜘蛛密码：from scrapy.contrib.linkextractors.sgmlimport SgmlLinkExtractor
from scrapy.c
浏览 7提问于2011-08-12得票数 2
1回答
我的代码中的所有内容都可以正常工作，除了我想要访问“next_page”链接的部分。我使用完全相同的代码(除了xpath选择器)为另一个新闻网站编写了另一个爬行器，它工作得很好。我已经检查了xpath选择器是否正确地提取了链接，并且我已经注释掉了allowed_domains，因为一些答案表明中间件有问题。 name = 'finextra'
# allowed_domains = ["finextra.c
浏览 4提问于2021-03-03得票数 0
1回答
我正在使用Scrapy (最新版本)，并试图调试一个爬虫。使用scrapy shell https://jigsaw.w3.org/HTTP/300/301.html ->，它不遵循重定向(它使用默认的爬行器来获取数据)。如果我运行我的爬行器，它会跟随301 --但是我不能调试。
如何才能让shell遵循301来调试最终页面呢？
浏览 13提问于2016-07-31得票数 4
回答已采纳
但是，我似乎找不到任何例子或教程使用Scrapy刮刮一个网站，通过以下链接到一个最终的网页，然后有产品的详细信息，我希望从该产品的信息。因此，我从主网页开始，在那里我可以刮掉href的标记，但是如何跟踪每个链接，这将带我到另一个具有更多href链接的页面，如果我再次遵循这个链接，那么最终将带我到我想要提取的数据驻留的产品信息本身。
浏览 0提问于2018-12-11得票数 0
回答已采纳
1回答
刮擦蜘蛛不遵循链接和错误
、、、
我试图写我的第一个网络爬虫/数据提取器使用刮刮，并无法得到它的后续链接。有谁知道我怎样才能让它跟随页面上的链接并消除错误呢？import scrapyfrom wikiCrawler.items import WikicrawlerItemfrom scrapy.spiders import Rule
class WikispyderSpider(sc
浏览 2提问于2017-03-29得票数 2
回答已采纳
1回答
href="some_link/some_hash"当我手动单击此链接时页面未重新加载-仅信息显示为链接文本。
如何通过scrapy获取信息？
浏览 1提问于2013-09-14得票数 0
1回答
Scrapy不遵循抓取的链接。当我调用这个函数时，它应该从之前抓取的链接中提取详细信息，但它不起作用，而是从start_urls中抓取内容。import scrapy
name = 'olx'
start_urls = ['https://www.olx.pl
浏览 2提问于2021-04-17得票数 0
现在，除了链接文本之外，我可以毫无问题地获取所有内容。我也可以单独获取链接的文本，但我不知道如何一次获取所有内容，因此我获得了三列数据: 1.第一列文本，2.无论是否链接，第二列文本，3.链接，如果存在times =scrapy.Selector(response).xpath('//div[contains(concat(&qu
浏览 5提问于2016-08-29得票数 0
我正在尝试将scrapy配置为跟随外部链接。有没有办法将scrapy配置为立即并行开始下载外部链接？从日志中看，外部链接与内部链接位于同一队列中。我的蜘蛛是： 17 name = "reddit"
18 start_urls = ['https:&#x
浏览 1提问于2017-03-09得票数 4
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号