如何使用scrapy从这个url中抓取多个表行？
使用Scrapy从一个URL中抓取多个表行可以通过以下步骤实现：
- 导入必要的库和模块：
import scrapy
from scrapy.selector import Selector- 创建一个Scrapy Spider类，并设置起始URL：
class MySpider(scrapy.Spider):
name = 'my_spider'
start_urls = ['http://example.com']- 在Spider类中定义解析方法，用于处理响应并提取所需的表行数据：
def parse(self, response):
# 使用Selector选择器选择表格行
rows = response.xpath('//table//tr')
for row in rows:
# 提取表格行中的数据
data = {
'column1': row.xpath('td[1]//text()').get(),
'column2': row.xpath('td[2]//text()').get(),
# 添加更多需要提取的列
}
yield data- 运行Scrapy Spider：
from scrapy.crawler import CrawlerProcess
process = CrawlerProcess()
process.crawl(MySpider)
process.start()这样，Scrapy将会从指定的URL中抓取多个表行，并将每行的数据以字典形式返回。你可以根据需要进一步处理这些数据，例如保存到数据库或导出为其他格式。
关于Scrapy的更多信息和用法，你可以参考腾讯云的相关产品和文档：
相关·内容
1回答
我是新刮刮，并试图抓取一个域，跟踪所有内部链接，并用模式/示例/*抓取网址的标题。
爬行工作，但是由于输出文件是空的，所以标题的抓取不起作用。很可能我弄错了规则。这是正确的语法使用规则，以实现我想要的？
import scrapy
class BidItem(scrapy.Item):
url = scrapy.Field()
title = scrapy.Field()
spider.py
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Crawl
浏览 1提问于2018-11-22得票数 1
回答已采纳
在不情愿地编写了几年的代码后，我发现了，我几乎把它当做今年给自己的圣诞礼物！它的使用很自然，而且似乎是为了让几乎所有东西都变得优雅和可重用而构建的。
但我正处于一种不确定如何处理的情况:我的爬虫爬行并抓取一个列表页面A，我从该页面生成一组条目。但对于每个项目，我需要获取一个不同的互补链接(从一些抓取的信息构建，但不是明确的页面上Scrapy可以遵循的链接)，以获得额外的信息。
我的问题分为两个部分:在抓取过程之外获取URL的协议是什么？如何以一种优雅的方式从多个来源构建项目？
这个问题已经在StackOverflow上的中得到了部分询问(并得到了回答)。但我更感兴趣的是Scrapy的哲学在这个
浏览 0提问于2012-08-05得票数 4
回答已采纳
2回答
我正在学习，一个网络爬行框架。
默认情况下，它不会抓取重复的urls或scrapy已经抓取的urls。
如何让Scrapy抓取重复的urls或已经抓取的urls？
我试着在网上找，但找不到相关的帮助。
我从找到了DUPEFILTER_CLASS = RFPDupeFilter和SgmlLinkExtractor，但这个问题与我正在寻找的相反
浏览 1提问于2014-04-17得票数 25
回答已采纳
我最近开始用Scrapy学习web抓取，作为练习，我决定从this url抓取一个天气数据表。 通过检查页面的XPath元素，我将其表复制到我的代码中，但在运行代码时只得到一个空列表。我尝试使用以下代码检查HTML中存在哪些表： from scrapy import Selector
import requests
import pandas as pd
url = 'https://www.wunderground.com/history/monthly/OIII/date/2000-5'
html = requests.get(url).content
sel = S
浏览 122提问于2020-09-06得票数 0
回答已采纳
首先，我从网站上抓取了所有的硬币链接，并要求那些链接。但是scrapy没有串行地请求从链接list.after请求这些链接抓取数据成功，但当保存到csv文件时，它使一个完整的抓取项目后每一次都是一个空行。我期待它将从链接列表中串行请求，它不会使任何空白row.how我能做到吗？
我使用的是python 3.6和scrapy版本1.5.1
我的代码：
import scrapy
class MarketSpider(scrapy.Spider):
name = 'market'
allowed_domains = ['coinmarketcap.com
浏览 3提问于2018-12-02得票数 0
1回答
Scrapy不遵循抓取的链接。当我调用这个函数时，它应该从之前抓取的链接中提取详细信息，但它不起作用，而是从start_urls中抓取内容。
import scrapy
class OlxSpider(scrapy.Spider):
name = 'olx'
start_urls = ['https://www.olx.pl/nieruchomosci/mieszkania/wynajem/wroclaw/']
allowed_domains = ['www.olx.pl']
def parse(self,
浏览 2提问于2021-04-17得票数 0
0回答
我试图用一个简单的抓取蜘蛛来跟踪一个链接列表，并从每个链接中删除数据，但我遇到了麻烦。
在scrapy shell中，当我重新创建脚本时，它会发送新url的get请求，但是当我运行爬网时，我没有从链接中得到任何数据。我得到的唯一数据是从链接之前抓取的起始url。
如何从链接中抓取数据？
import scrapy
class QuotesSpider(scrapy.Spider):
name = "players"
start_urls = ['http://wiki.teamliquid.net/counterstrike/
浏览 4提问于2017-11-26得票数 0
回答已采纳
6回答
我想用刮擦来爬行网页。有办法从终端本身传递起始URL吗？
在中，可以给出蜘蛛的名称或URL，但是当我给出url时它会抛出一个错误：
//我的蜘蛛的名字就是例子，但是我给出的是url而不是我的蜘蛛名(如果我给蜘蛛命名的话，效果会很好)。
抓取性爬行example.com
错误：
文件"/usr/local/lib/python2.7/dist-packages/Scrapy-0.14.1-py2.7.egg/scrapy/spidermanager.py"，第43行，在create (“蜘蛛未找到：%s”% spider_name) KeyError中：‘蜘蛛未找到: e
浏览 3提问于2012-03-13得票数 35
回答已采纳
我使用scrapy从网页抓取信息。我已经写了爬虫代码，它工作得很好。我还有一些其他的python代码文件来优化抓取的数据。
总而言之，我有一个批处理文件，我首先在其中使用"Scrapy Crawl“命令，然后运行我的python文件来优化抓取的信息。
问题是，批处理脚本在"Scrapy Crawl“命令的末尾停止，并且不会继续执行批处理文件中后面的行。我该如何解决这个问题？
批处理文件的内容：
CD "spiders_folder"
scrapy crawl mySpider -o outputData.json -t json
python refineDat
浏览 1提问于2013-05-09得票数 1
回答已采纳
1回答
我可以用scrapy创建cookie，但无法修改现有的cookie。在我正在工作的电子商务网站中，这个cookie处理邮政编码，每个页面都使用这个邮政编码来修改产品属性。我可以使用selenium修改邮政编码，抓取每一页，但抓取过程太慢。我只想使用scrapy，修改这个请求/响应邮政编码cookie。
我可以使用下面的代码根据我的请求创建cookie
在SETTINGS.PY中COOKIES_ENABLED = True
在spider.py yield scrapy.Request(response.urljoin(url)，self.parsePage，cookies={'cp&#
浏览 4提问于2020-10-03得票数 0
因此，我有一个从数据库中提取的URL列表，我需要抓取和解析每个URL的JSON响应。一些URL返回null，而其他URL返回发送到csv文件的信息。我目前使用的是Scrapy，但它需要大约4个小时来抓取这12000个URL。我研究过像、和这样的东西，但我不确定它们是否适合我的用例，因为它们似乎是围绕着抓取网站上找到的URL。
对于单机抓取的如此多的URL来说，4小时是“正常”时间吗？或者，有没有更适合我的包，当页面被抓取时，没有“关注”链接？
浏览 0提问于2020-08-25得票数 0
1回答
下面是我用来抓取一个域的所有urls的代码：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
class UrlsSpider(scrapy.Spider):
name = 'urlsspider'
allowed_domains = ['example.com']
start_urls = ['http://example.com/
浏览 0提问于2017-10-14得票数 0
1回答
使用Scrapy解析文档
、、、
我有一个问题，我想解析一个网站，并从它抓取每个文章的链接，但问题是Scrapy没有抓取所有的链接和抓取其中的一些随机次数。
import scrapy
from tutorial.items import GouvItem
class GouvSpider(scrapy.Spider):
name = "gouv"
allowed_domains = ["legifrance.gouv.fr"]
start_urls = [
"http://www.legifrance.gouv.fr/affichCo
浏览 3提问于2016-02-03得票数 0
1回答
我很难弄清楚Scrapy是如何工作的(或者我需要如何处理它)。这个问题有点宽泛--更需要理解。
我设置了一个CrawlSpider并添加了6个启动urls。
从这些(每个启动urls上要刮掉的24个项目)，我预计大约144行将在我的数据库中结束，但我现在只有18行。
所以我用
def parse_start_url(self, response):
暂时避免规则的繁杂。现在，Scrapy应该获取这6个urls并抓取它们，然后处理这些页面上的项目。但是相反，它似乎采取了这6个urls，然后检查这些页面上的每个链接，并遵循这些链接，这是可能的吗？
Scrapy是否只接受URL 1，扫描所有链接并遵
浏览 0提问于2015-06-30得票数 2
回答已采纳
我想使用scrapy从网页中抓取数据，但是从url.For示例中看不到不同页面之间的差异：
上面的url是我想从其中抓取数据的第一页，从它获取数据很容易。
这是我的代码：
__author__ = 'Rabbit'
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy_Data.items import EPGD
class EPGD_spider(Spider):
name = "EPGD"
allowed_domai
浏览 1提问于2016-03-18得票数 0
我对分布式scrapy爬虫是个新手，但是我发现了scrapy-redis并且一直在使用它。我在一个覆盆子pi上使用它来抓取大量我推送到redis的URL。我所做的就是在Pi中创建多个SSH会话，然后运行scrapy crawl myspider让爬行器“等待”。然后我启动另一个SSH并执行redis-cli lpush "my links“。然后爬虫运行，尽管我不确定它们实际运行的并发程度。
我希望这是清楚的，如果没有，请让我知道，我可以澄清。我真的只是在寻找在实现这个基本版本的scrapy-redis之后的“下一步”。
编辑:我是从这个答案开始的。回答者说他用scrapy-redis
浏览 0提问于2020-07-31得票数 0
我正在尝试抓取一个使用Js的站点，但scrapy一直将下一个页面的url作为副本丢弃，并停止抓取。根据我的理解，scrapy通过检查请求所指向的资源的散列来检查重复项，默认情况下会丢弃URL中的片段。可以通过更改request_fingerprint模块中的Keep_Fragments命令来更改此行为。(参见下面的scrapy发布说明摘录) “scrapy.utils.request.request_fingerprint()的新keep_fragments参数允许为URL中具有不同片段的请求生成不同的指纹(问题4104)” 我的问题是，如何实际修改这个参数？
浏览 20提问于2020-09-09得票数 0
回答已采纳
2回答
我正在做一个数据抓取项目，并且是一个新的刮刮项目。它看起来很强大，但也很棘手(至少一开始是这样)。
我的MySQL数据库包括两个表："thelist“和"data”。
thelist表是一个实体列表--业务、博客、场所等--我已经为这些实体刮过目录站点(使用机械化、BeautifulSoup和regex)。数据表中的行id是"thelist_id“，它是返回到thelist表的外键。
现在，我想使用蜘蛛到每个实体的自己的网站和刮电子邮件。我计划使用python脚本从"thelist“中选择一个实体，并使用os.system运行scrapy并发送命令行参数。
$
浏览 5提问于2015-10-19得票数 1
回答已采纳
代码来源：是python和scrapy的新手。我搜索递归蜘蛛并找到了这个。
我有几个问题：
接下来是怎么做的？它只是从页面中获取href链接并将其添加到请求队列中吗？
抓取是从网页的哪一部分抓取的？
下面的代码会刮掉网页上的所有链接吗？
让我说我想从这个网站抓取和下载每一个文件
我可能会这样做的方式是刮刮这个网站上的每一个链接，并检查URL的内容标题和下载，如果它是一个文件。这可行吗？
抱歉，如果这是个糟糕的问题..。
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.
浏览 0提问于2016-03-24得票数 0
我有一个elasticsearch管道，它将索引所有抓取的内容到elasticsearch。我的问题是从start_urls页面抓取的内容被编入了索引。这些数据甚至没有通过我的elasticsearch管道传递。我遗漏了什么？在scrapy中有什么设置可以实现它吗？scrapy是否只考虑从start_url页面抓取页面中的抓取内容？
浏览 0提问于2014-08-26得票数 0
2回答
我想从一个显然使用javascript生成表的站点(这个站点是oddsportal.com)中抓取内容。
我看到Scrapy无法加载动态内容，我阅读selenium可以处理它，但我计划使用web服务器。
有什么方法可以解析这个站点或获取动态请求并使用scrapy解析它吗？
例如，我想从这个页面导入完整的表，包括标题、匹配名和赔率。
浏览 3提问于2016-01-28得票数 1
回答已采纳
1回答
我正在尝试使用scrapy和selenium来抓取javascript网站。我使用selenium和一个chrome驱动程序打开javascript网站，使用scrapy从当前页面抓取到不同列表的所有链接，并将它们存储在一个列表中(到目前为止，这是最好的方法，因为尝试使用seleniumRequest跟踪链接并回调到解析新页面函数已经导致了很多错误)。然后，我循环遍历URL列表，在selenium驱动程序中打开它们，并从页面中抓取信息。到目前为止，这个网站每分钟抓取16个页面，考虑到这个网站上的列表数量，这并不理想。理想情况下，我会让selenium驱动程序并行打开链接，如下所示： How
浏览 36提问于2021-02-05得票数 0
回答已采纳
3回答
我没有具体的代码问题，只是不知道如何用Scrapy框架从逻辑上解决以下问题：
我想要抓取的数据的结构通常是每个项的表行。够直截了当的对吧？
最后，我想为每一行刮掉标题、截止日期和Details。标题和到期日可立即在页面上找到.
但是 details 本身并不在表中--而是指向包含详细信息的页面的链接(如果没有意义的话，这里有一个表)：
|-------------------------------------------------|
| Title | Due Date |
|--------------------------
浏览 2提问于2012-02-17得票数 35
回答已采纳
2回答
我有以下使用Scrapy的Python脚本：
import scrapy
class ChemSpider(scrapy.Spider):
name = "site"
def start_requests(self):
urls = [
'https://www.site.com.au'
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def p
浏览 0提问于2019-06-21得票数 0
问题： Scrapy不断访问单个url，并不断递归地对其进行抓取。我已经检查了response.url，以确保这是它一直在抓取的单个页面，并且不需要查询字符串来为不同的url呈现相同的页面。
我为解决它所做的事情:
在Scrapy/spider.py下面，我注意到dont_filter被设置为True，并将其改为False。但这没什么用
我也在代码中设置了unique = True，但这也没有帮助。
附加信息
作为start_url提供的页面只有一个指向页面a.html的链接。刮a.html一次又一次。
代码
from scrapy.contrib.spiders import
浏览 2提问于2014-12-31得票数 1
回答已采纳
如何设置Scrapy并让它一个接一个地爬行?首先，看看我的代码：
def parse(self, response):
movies = Movie.query.filter(Movie.rating_num>6).all()
for m in movies:
url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P"
yield Request(url, self.
浏览 10提问于2017-08-03得票数 0
回答已采纳
1回答
我有一个蜘蛛，我用它来抓取一个网站。我只需要为我的项目的一部分javascript。所以我用scrapy抓取了站点的一部分，然后在selenium中打开URL。当URL打开时，scrapy仍在继续。如何让scrapy等待我的selenium逻辑完成？
提前谢谢。
浏览 0提问于2016-12-16得票数 0
我写了从Python script.Now启动抓取爬虫的代码，我想要一致的绕过网站列表，即我为一个网站运行爬虫，当它完成抓取时，我关闭爬虫并重复调用另一个网站的爬虫。
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from datetime import datetime
start_urls=['https://sentek.ru/','http://www.s-kab.ru/',https://sevkab.nt-
浏览 0提问于2019-04-27得票数 0
我正在尝试从我们公司创建的网站中提取内容。我已经在MSSQL Server中为Scrapy数据创建了一个表。我还设置了Scrapy并配置了Python来抓取和提取网页数据。我的问题是，如何将Scrapy抓取的数据导出到本地MSSQL Server数据库中？
这是Scrapy用于提取数据的代码：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
浏览 1提问于2017-04-07得票数 2
1回答
我要写一个基于scrapy的Gui应用程序，用户输入一个网站的URL，然后点击“爬网”按钮，整个网站就会被抓取并存储在内置的scrapy-db (sqlite)中。
如何使用scrapy帮助我抓取网站？
浏览 4提问于2012-03-09得票数 0
1回答
我有一个相当长的网站列表，我想下载登陆(index.html或同等)的页面。我目前正在使用Scrapy (非常感谢它背后的人--这是一个令人难以置信的框架)。在这个特定的任务上，Scrapy比我希望的要慢，我想知道，考虑到任务是多么简单，wget或其他替代方案是否会更快。有什么想法吗？
(这是我对Scrapy所做的。我能做些什么来优化scrapy来完成这个任务？)
所以我有一个起始URL列表，如下所示
start_urls=google.com yahoo.com aol.com
我从每个响应中抓取文本并将其存储在xml中。我需要关闭offsitemiddleware来支持多个域。
Scrap
浏览 0提问于2010-03-24得票数 2
回答已采纳
我是个新手，正在尝试抓取一个有几个链接的页面。我想跟随它并从该页面中抓取内容，并且从该页面有另一个我想抓取的链接。 我在shell上尝试了这个方法，它起作用了，但是，我不知道我在这里遗漏了什么。我希望能够通过以下链接爬行通过两个页面。我试着通读教程，但我真的不明白我在这里遗漏了什么。 这是我的items.py文件。 import scrapy
# item class included here
class ScriptsItem(scrapy.Item):
# define the fields for your item here like:
link = scrap
浏览 21提问于2019-04-21得票数 0
回答已采纳
2回答
我是新刮刮，目前正在学习如何从一个名单刮刮的URL信息。我已经能够从一个网址上抓取信息，通过在刮伤网站上的教程。然而，即使在谷歌在线搜索解决方案之后，我也面临着从url中刮出的url列表中的信息的问题。
我在下面写的刮刀可以从第一个网址刮起。但是，它不成功地从刮过的URL列表中抓取。这个问题从def parse_following_urls(self，response)开始:这样我就无法从被刮掉的URL列表中抓取
有人能帮忙解决这个问题吗？提前谢谢。
import scrapy
from scrapy.http import Request
class SET(scrapy.Item):
浏览 7提问于2016-02-12得票数 0
回答已采纳
我每天都在用scrapy抓取一个新闻网站。如何限制scrapy抓取已抓取的URL。此外，在SgmlLinkExtractor上是否有明确的文档或示例。
浏览 1提问于2010-10-06得票数 15
我实现了三层递归，以生成url的种子列表，然后从每个url中抓取信息。我想使用来利用我的系统的所有核心来加速爬行。这是我到目前为止实现的爬虫代码。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request
from CompanyInfoGrabber.Utility.utils import getAddress, getCompanyStatus, getDirectorDetail, getRegN
浏览 2提问于2017-11-23得票数 1
回答已采纳
1回答
我正在尝试抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。但它在刮掉第一页后突然完成了工作
具有解析功能和抓取功能的整个文件- Scraper.py
# -*- coding: utf-8 -*-
import scrapy
import csv
import os
from scrapy.selector import Selector
from scrapy import Request
class Proddduct(scrapy.Item):
price = scrapy.Field()
description = scrapy.Field()
浏览 11提问于2019-11-07得票数 1
2回答
我正在用Scrapy抓取一个网站，我想把结果分成两部分。通常我这样叫Scrapy：
$ scrapy crawl articles -o articles.json
$ scrapy crawl authors -o authors.json
这两个蜘蛛是完全独立的，根本不交流。这种设置适用于较小的网站，但较大的网站有太多的作者，我无法像这样爬行。
如何让articles爬行器告诉authors爬行器要爬行哪些页面并维护这个两个文件的结构？理想情况下，我不希望将作者的URL写到一个文件中，然后与另一个爬行器一起读回它。
浏览 3提问于2013-02-04得票数 6
回答已采纳
我想设置一个系统，保存所有的HTML文件抓取找到的s3。然后，在拉取任何页面之前，我想检查一下该页面是否已经被抓取并存储到S3。
我看过scrapy的ITEM_PIPELINES，但它似乎只适用于parse_item函数？
如果我有多个爬行器，那么添加一行代码看起来很愚蠢：
def parse(self, response):
self.push_and_save_to_s3(response.text)
def parse_item(self, response):
self.push_and_save_to_s3(response.text)
有没有我可以设置的中间件，每
浏览 1提问于2019-07-25得票数 0
1回答
我正在创建一个刮刮机器人，它从一个网站上抓取etfs，但不能让它用分页来抓取。我希望它能从第二页抓取，但是当我尝试这样做时，它会从基本URL中刮走。
代码：
class EtfsSpider(scrapy.Spider):
name = "etfs"
start_urls = ['https://etfdb.com/etfs/asset-class/bond/#etfs&sort_name=assets_under_management&sort_order=desc&page=2']
def parse(self, r
浏览 2提问于2022-08-14得票数 0
回答已采纳
我想要抓取的主http://192.168.1.1/robots.txt是http://192.168.1.1/adslconfig.htm，但是它首先尝试抓取这个url URL，并且失败了，状态代码为401，并且它的referer头也被设置为None，所以它只是浪费了几秒钟的时间。 这并不是唯一的一个，它还试图抓取我想要的主URL，但一开始失败了，referer标头设置为None 但在第二次尝试中，它成功了，状态代码为200，referer标头为http://192.168.1.1/adslconfig.htm 是不是因为referer头而失败？ 如何防止这两次不成功的抓取，并用第一次尝试
浏览 17提问于2021-09-28得票数 0
我有一个spiders.py在一个抓取项目与下列蜘蛛..。
class OneSpider(scrapy.Spider):
name = "s1"
def start_requests(self):
urls = ["url1.com",]
yield scrapy.Request(
url="http://url1.com",
callback=self.parse
)
def parse(self,response):
浏览 0提问于2018-07-04得票数 0
回答已采纳
我试图用Scrapy抓取一个网站，但是网站的网址没有改变，页面是用java脚本加载的。
在我执行搜索之前，站点和URL是这样的：
这是我执行搜索后站点和URL的外观：
在这些情况下，我如何使用Scrapy从站点获取数据？
浏览 0提问于2016-07-26得票数 1
1回答
我一直在试着刮不同的页。首先，我使用解析函数的xpath(@href)从第一个页面抓取一个URL。然后，我尝试从解析函数请求回调中抓取URL上的文章。但不起作用。
我怎样才能解决这个问题？这是我的代码：
import scrapy
from string import join
from article.items import ArticleItem
class ArticleSpider(scrapy.Spider):
name = "article"
allowed_domains = ["http://joongang.joins.com
浏览 2提问于2015-10-16得票数 0
回答已采纳
1回答
我正在使用cloudscraper来抓取一个cloudflare保护的url，它的工作方式是：
scraper = cloudscraper.create_scraper()
response = scraper.get(url).text
如何将这个响应以scrapy形式传递给我的parse函数？我可以以某种方式将它放在scrapy.Request()中吗？
浏览 0提问于2021-02-04得票数 0
1回答
我需要防止从网页加载图像，css文件，主题和脚本。在使用scrapy的基本抓取中 有什么方法可以从setting.py或其他网站上阻止他们吗？ 导入scrapy class MySpyder(scrapy.Spider):
name = 'Spiderr'
start_urls = [l.strip() for l in open("Archive").readlines()]
def parse(self,response):
tittle = response.xpath("/html/body/"
浏览 14提问于2020-08-14得票数 0
回答已采纳
我在看一些在线视频的时候创建了一个抓取蜘蛛。它从网站上抓取个人资料url。我想扩展这一点，以报废数据，如地址，姓名，电话，网站网址从每个配置文件网址抓取。 我在考虑创建分离的刮板。一个用于抓取配置文件url。以及从抓取的第一url中抓取数据的第二个url。 有没有其他的解决方案？ 这是我的爬虫，它抓取配置文件的urls。 # -*- coding: utf-8 -*-
import scrapy
from ..items import ...scraperItem
class SpiderSpider(scrapy.Spider):
name = 'spider'
浏览 22提问于2019-04-14得票数 1
回答已采纳
1回答
我已经开发了一个代码来抓取单个页面的数据，但是我不知道如何使用我的刮取代码来刮取多个数据
import scrapy
class QuoteSpider(scrapy.Spider):
name = 'quote'
start_urls = ['https://www.goodreads.com/quotes/tag/love?page=2']
def parse(self, response):
url=response.url
text=response.css(".mediumText:n
浏览 2提问于2022-06-04得票数 -1
我正在使用scrapy抓取网站，现在我需要设置代理来处理已经发送的请求。有没有人能帮我在scrapy应用中解决这个代理问题。请提供任何样本链接，如果你有这样做。我需要解决方案，这是从哪个IP的请求。
浏览 0提问于2012-03-22得票数 5
我使用Scrapy从网站的第一页抓取信息，并将数据导出为.csv文件，如下所示：
scrapy crawl spidername -o data.csv
我想要获得form的输出：
{'Title': [u'Message'],
'Link': [u'url'],
'Text': [u'Hello World']}
{...........
.....} etc
但相反，我在一个{}中获得了所有内容，即
{[all 'Title' data],
[all 'Link&
浏览 1提问于2015-10-19得票数 0
1回答
我试图使用下面的代码从中从A开始抓取项目。
import scrapy
from scrapy.selector import Selector
from ..items import RozeepkItem
class JobcatsSpider(scrapy.Spider):
name = 'jobcats'
allowed_domains = ['www.rozee.pk']
start_urls = ['https://www.rozee.pk/jobs-by-industry']
def p
浏览 3提问于2020-06-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
