为什么我的代码返回空白？(用Scrapy抓取)
代码返回空白可能有多种原因，以下是一些可能的原因和解决方法：
- 网络连接问题：首先要确保你的网络连接正常，可以尝试访问其他网站来确认。如果网络连接有问题，可以尝试重新连接网络或者检查网络设置。
- 网站反爬虫机制：有些网站会设置反爬虫机制，阻止爬虫程序的访问。这可能是导致返回空白的原因之一。你可以尝试使用代理IP或者设置合适的请求头信息来绕过反爬虫机制。
- 页面结构变化：如果你的代码是基于特定网页结构编写的，当网页结构发生变化时，可能会导致返回空白。你可以检查目标网页的结构是否发生了变化，并相应地修改你的代码。
- 请求错误：在使用Scrapy抓取网页时，可能会出现请求错误，导致返回空白。你可以检查你的请求是否正确，包括URL是否正确、请求方法是否正确等。
- 数据提取错误：如果你的代码中有数据提取的部分，可能是数据提取的逻辑有问题导致返回空白。你可以检查你的数据提取逻辑是否正确，包括XPath或CSS选择器是否正确、提取的数据是否存在等。
- 日志输出问题：Scrapy默认会将日志输出到控制台，你可以检查控制台输出的日志信息，看是否有错误提示或者警告信息。
总结起来，代码返回空白可能是由于网络连接问题、网站反爬虫机制、页面结构变化、请求错误、数据提取错误或者日志输出问题等原因导致的。你可以根据具体情况逐一排查，并进行相应的调整和修复。
相关·内容
1回答
抓取蜘蛛不能正确抓取数据
、、、、
我正在尝试从我的大学网站上抓取关于循环的数据，使用scrapy进行一个项目，但我的爬虫没有正确地抓取数据。有很多空白元素，而且由于某些原因，我无法抓取通知的'href‘属性。我假设我的CSS选择器是错误的，但我无法找出我到底做错了什么。我用'Selector Gadget‘Chrome扩展复制了我的CSS选择器。我一直在学习scrapy，所以如果你能解释我做错了什么，那就太好了。 我正在抓取数据的网站是：https://www.imsnsit.org/imsnsit/notifications.php 我的代码是： import scrapy
from ..items imp
浏览 10提问于2020-11-21得票数 0
1回答
我试图使用Python中的Scrapy框架从中抓取数据，但是当我在
scrapy shell
并尝试学习如何提取数据，使用
response.css("my css path")
或
response.xpath("my xpath")
我总能得到空名单。然后，当我在的shell中获取和查看响应时，我会得到一个几乎空白的页面，它不包含我想要刮掉的数据(项目、价格等)。在这种情况下，Scrapy还会为我的目的工作吗？若否，是否有其他选择？谢谢!
浏览 1提问于2018-07-29得票数 0
回答已采纳
1回答
我已经用Scrapy一个月了。我能够抓取和抓取几个网站(事实上我已经抓取了900个网站)，基于pipelines.Now给出的关键字，问题是当我们遇到javapages (ajax)时，抓取不能抓取。我正在尝试使用以下代码，并对抓取ajax页面进行适当的更改
你们有没有用scrapy抓取javapages的好主意？
第二个问题是，我面临的问题是scrapy无法抓取登录页面
浏览 2提问于2013-06-19得票数 0
回答已采纳
我正在尝试测试抓取网页的Scrapy，我不明白为什么我的爬虫只抓取一个页面，我尝试评论规则和allowed_domains都没有成功。我想我遗漏了一些愚蠢的东西如果能帮上忙我会很感激的。
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.spider import BaseSpider
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
class NYSpider(CrawlSpider):
name = "ny
浏览 3提问于2012-03-21得票数 1
回答已采纳
首先，我从网站上抓取了所有的硬币链接，并要求那些链接。但是scrapy没有串行地请求从链接list.after请求这些链接抓取数据成功，但当保存到csv文件时，它使一个完整的抓取项目后每一次都是一个空行。我期待它将从链接列表中串行请求，它不会使任何空白row.how我能做到吗？
我使用的是python 3.6和scrapy版本1.5.1
我的代码：
import scrapy
class MarketSpider(scrapy.Spider):
name = 'market'
allowed_domains = ['coinmarketcap.com
浏览 3提问于2018-12-02得票数 0
2回答
我无法抓取整个网站，Scrapy只能在表面抓取，我想抓取更深的部分。我已经用谷歌搜索了5-6个小时，但没有任何帮助。我的代码如下：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from scrapy.spider import BaseSpider
from
浏览 0提问于2013-03-19得票数 11
我目前正在学习使用scrapy进行web抓取，并尝试/学习各种登录stackoverflow的方法，然后提取一些问题来练习web抓取。我已经使用scrapy和pyquery成功登录到stackoverflow，使用的代码如下：
import scrapy
import requests
import getpass
from pyquery import PyQuery
from scrapy import FormRequest
from scrapy.utils.response import open_in_browser
class QuoteSpider(scrapy.Spide
浏览 3提问于2020-10-13得票数 1
我想做的事
我想使用Python的Scrapy蜘蛛制作json文件。我目前正在学习“用Python和JavaScript进行数据可视化”。在抓取过程中，不知道为什么不创建json文件。
目录结构
/root
nobel_winners scrapy.cfg
/nobel_winners:
__init__.py items.py pipelines.py spiders
__pycache__ middlewares.py settings.py
/nobel_winners/spiders:
__init__.py __pycache__
浏览 0提问于2018-07-28得票数 1
回答已采纳
2回答
Scrapy没有提取数据
、、、、
这是一个粗糙的代码，我想从mouthshut.com中抓取数据，它包含了中间的强标记。我能够运行它，并且标题即将到来，但它们是空白的。为什么它没有提取任何数据？
import scrapy
from scrapy.selector import Selector
from shut.items import ShutItem
class criticspider(scrapy.Spider):
name ="shut"
allowed_domains =["mouthshut.com"]
start_urls =["http:
浏览 2提问于2015-01-21得票数 0
我用刮痕来抓取一些信息，但是我被数据的句柄吓呆了。在for循环中，第一步是找到一个名为selectors的“根”xpath，然后循环。我的想法是，如果是第一个选择器，是ul的第一个选择器，那么我可以抓取第一个选择器的所有数据！相反，scrapy返回所有元素的数组。我用选择变量作为“这”
import Scrapy
class SecccionAmarillaSpider( scrapy.spider ):
name="seccion_amarilla"
start_urls = ['https://www.seccionamarilla.com.mx/result
浏览 0提问于2018-09-28得票数 0
回答已采纳
1回答
在我开始使用python scrapy爬行之前，我想检查一下。我在linux上使用。
用这个settup scrapy在它的抓取上正确地使用tor。我检查scrapy是否正确使用tor的方法是在myspider中抓取。
class mySpider(scrapy.Spider):
def start_requests(self):
yield Request('https://check.torproject.org/', self.parse)
def parse(self, response):
logging.inf
浏览 0提问于2016-05-10得票数 3
1回答
我试图爬行-抓取一个网站与抓取和飞溅。我想从图像中的响应中抓取特定的html代码。以下是响应及其标头： ? 下面是响应(我想要抓取的html )： ? 我可以使用Inspect工具找到该HTML。我的代码返回的是html，我可以用"View page source“工具看到它。因此，这意味着Javascript在嵌入代码之前会对代码进行修改。但是，启动角色是运行javascript并返回HTML，不是吗？？response.body返回页面的源代码，而不是我在上面提到的响应中需要的html代码。 import scrapy
from scrapy_splash import
浏览 18提问于2019-05-30得票数 1
我是一个全新的Scrapy新手，我可以在这里给你一些提示。我意识到有很多类似的问题，但似乎没有一个能解决我的问题。我有以下代码为一个简单的网络刮板写的： import scrapy
from ScriptScraper.items import ScriptItem
class ScriptScraper(scrapy.Spider):
name = "script_scraper"
allowed_domains = ["https://proplay.ws"]
start_urls = ["https://proplay
浏览 15提问于2020-06-12得票数 0
回答已采纳
2回答
我正试着用Scrapy从一个商业网站上抓取。对于价格标签，我想删除"$"，但我的当前代码不起作用。
def parse(self, response):
for sel in response.xpath('//section[@class="items-box"]'):
item = ShopItem()
item['name'] = sel.xpath('a/div/h3/text()').extract()
item['price'] = sel
浏览 0提问于2016-05-11得票数 3
回答已采纳
我试着用认证系统抓取整个网站。没有我的auth函数，一切都可以正常工作。当我使用我的auth函数时，只抓取登录和抓取主页。为什么它不抓取规则部分中定义的所有链接？ from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy.http import Request, FormRequest
class TSpider(CrawlSpider):
name = 't'
allowed_domains = [
浏览 22提问于2019-06-03得票数 0
回答已采纳
2回答
抓取下一页的抓取循环
、、、
你好，我正在尝试进入单词抓取器和爬虫，但是我不明白为什么我的代码不能转到下一页和循环。 import scrapy
from scrapy import*
import scrapy
from scrapy import*
class SpiderSpider(scrapy.Spider):
name = 'spider'
start_urls = ['https://www.thehousedirectory.com/category/interior-designers-architects/london-interior-desi
浏览 27提问于2021-03-31得票数 0
回答已采纳
1回答
我正在抓取一个网站，并试图将输出保存到MongoDB中。但是蜘蛛的日志显示数据被刮掉了..。
这是我的爬虫代码
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from teste.items import IngressoRapidoItem
class IngressoRapidoSpider(BaseSpider):
name = "IR"
allowed_domains = ["ingressorapido.com.br"]
浏览 1提问于2013-08-30得票数 1
2回答
我想使用python和scrapy从网页中抓取一些信息，但当我尝试这样做时，我的项目的输出是空的……
首先，我用scrapy开始了一个新项目。然后，我在items.py文件中编写了以下代码：
import scrapy
class KakerlakeItem(scrapy.Item):
info=scrapy.Field()
pass
接下来，我使用以下代码在爬行器的文件夹中创建了一个新文件：
import scrapy
from kakerlake.items import KakerlakeItem
class Kakerlakespider(scrapy.Spide
浏览 3提问于2015-11-07得票数 2
我使用scrapy从网页抓取信息。我已经写了爬虫代码，它工作得很好。我还有一些其他的python代码文件来优化抓取的数据。
总而言之，我有一个批处理文件，我首先在其中使用"Scrapy Crawl“命令，然后运行我的python文件来优化抓取的信息。
问题是，批处理脚本在"Scrapy Crawl“命令的末尾停止，并且不会继续执行批处理文件中后面的行。我该如何解决这个问题？
批处理文件的内容：
CD "spiders_folder"
scrapy crawl mySpider -o outputData.json -t json
python refineDat
浏览 1提问于2013-05-09得票数 1
回答已采纳
我在64位Windows Vista上使用的是Python.org 2.7版。我一直在测试下面的Scrapy代码，以递归地抓取www.whoscored.com站点上的所有页面，该站点用于足球统计：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy.item import Item
from scrapy.spid
浏览 0提问于2014-07-18得票数 11
回答已采纳
4回答
嗨，我是刚开始刮刮的，我正试着从阿里巴巴的 页面上抓取分类和分类网址。我试图刮它，并把它放在一个CSV文件。
以下是我在电子表格中打开它时要给出的视图：-
categories categories_urls
Agricultural Growing Media its URL
Animal Products its URL
. .
. .
浏览 0提问于2018-08-31得票数 0
回答已采纳
我发现的所有Scrapy示例都谈到了如何抓取单个页面，或者如何抓取多个级别的页面，当每个最深的页面被保存为一个独立的Item时。但我的情况有点复杂。
例如，网站结构是：
A (List page of books)
--> B (Book summary page)
----> C (Book review pages)
----> D (Book download pages)
因此，Item的定义如下所示：
class BookItem(scrapy.Item):
name = scrapy.Field()
type = scrapy.Field()
浏览 6提问于2021-07-30得票数 1
回答已采纳
我打算用Scrapy在上抓取html内容。
但是，由于站点的Javascript使用和#，我想我也必须使用Selenium (Python)。
我想写我自己的代码，但我是编程新手，所以我想我需要帮助；
我想先进入ntry.com，然后单击一个名为的锚点转到
<body>
<div id="wrap">
<div id="container">
<div id="content">
<a href="/sco
浏览 2提问于2016-11-26得票数 0
scrapy crawler通过shell脚本调用，该脚本用作crontab条目中的命令行。shell脚本如下所示：
抓取targethost.com
当时间到期时，它确实执行了，但似乎只调用了构造函数(我用debug输出进行了验证)。这个问题可以通过重写shell脚本来解决：
scrapy crawl targethost.com &> cronlog.log
我只是不知道为什么。
浏览 0提问于2011-11-03得票数 0
我正在从他们的学习(一个网络爬行框架)。
通过以下示例和文档，我创建了我的爬行器，以便使用站点地图抓取数据
from scrapy.contrib.spiders import SitemapSpider
from scrapy.selector import Selector
from MyProject1.items import MyProject1Item
class MySpider(SitemapSpider):
name="myspider"
sitemap_urls = ['http://www.somesite.com/sitemap
浏览 2提问于2014-02-04得票数 4
1回答
我用Scrapy1.5编写了一个刮刀器，它成功地导航到一个网页(运行运行在IISV8.5上的ASP.NET )，提交一个表单，然后开始抓取。几个小时后，所有页面都开始返回空白数据。我相信当这种情况发生时，我的ASP.NET会话id将过期。我不可能通过整个表格(几千页)，同时以一个尊重的速度爬行，但该表不会改变在不同的会话。我的方法是抓取直到页面被返回为空白，然后返回到表单提交页面并重新提交表单。我一直在跟踪页码，这样我就可以找到我停下来的地方了。问题是，当我重新提交表单时，页面仍然是空白的。如果我停止刮刀，并将计数变量手动设置为最后一页刮刀，当我重新启动刮板时，它可以正常工作。使用fiddle
浏览 2提问于2018-05-15得票数 1
回答已采纳
1回答
我有一个蜘蛛，我用它来抓取一个网站。我只需要为我的项目的一部分javascript。所以我用scrapy抓取了站点的一部分，然后在selenium中打开URL。当URL打开时，scrapy仍在继续。如何让scrapy等待我的selenium逻辑完成？
提前谢谢。
浏览 0提问于2016-12-16得票数 0
1回答
我想创建一个Scrapy脚本来抓取任何craigslist子域中的计算机音乐会的所有结果:例如：这个查询返回了许多文章的列表，我试图用CrawlSpider和linkExtractor抓取每个结果的标题和href (不仅仅是第一页上的结果)，但没有任何结果，但是脚本什么也没有返回。我会在这里粘贴我的脚本，谢谢
import scrapy
from scrapy.spiders import Rule,CrawlSpider
from scrapy.linkextractors import LinkExtractor
class CraigspiderSpid
浏览 3提问于2016-03-13得票数 0
我正在抓取this website，我需要的大部分数据都是用Ajax呈现的。 我一开始试着用Ruby (因为Ruby是我最了解的语言)来解决这个问题，但是没有成功。然后我被建议用Python和Scrapy来做这件事，我试过了，但我不明白为什么我无法获得数据。 import scrapy
class TaricSpider(scrapy.Spider):
name = 'taric'
allowed_domains = ['ec.europa.eu/taxation_customs/dds2/taric/measures.jsp?Lang=en&
浏览 17提问于2019-09-16得票数 0
回答已采纳
1回答
我正在开发一个PyQt4工具，这是使用抓取网站抓取。我启动了一个新的进程多进程，以便从ui运行Scrapy爬行器。一切正常~ ui是阻塞的，Scrapy是抓取的。
我希望有一个非阻塞的ui，尽管我希望在PyQt主循环中集成Twisted事件循环。
有没有人知道如何尽可能简单地实现这一点？我不熟悉Scrapy / PyQt / Multiprocessing / Twisted。
我用的是PyQt4，python2.7和Scrapy 0.12.0.2546的on buntu12.04盒子。
提前谢谢。
浏览 2提问于2013-02-24得票数 1
回答已采纳
1回答
当尝试使用scrapy查看或抓取 (或该域中的大多数页面)时，我得到一个空白页面。查看页面源代码会返回一堆隐藏的javascript，但仅此而已。
我尝试过许多不同的用户代理、代理、无代理、设置等(例如来自的scrapy view http://www.kw.com/kw/agent/johndoucette -s USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/4302357130 Safari/537.36" )
浏览 1提问于2015-09-24得票数 0
我正试图从monsterindia.com上爬几页。但是，每当我在scrapy shell上编写任何xpath时，它都会给出空的结果。但是，应该有某种方式，因为view(response)命令给了我相同的html页面。
我执行了这个命令：
scrapy shell "https://www.monsterindia.com/search/computer-jobs"
在我的终端上，然后尝试了几种方法来形成不同的x路径，比如- response.xpath('//*[@class="job-tittle"]/text()').extract()。但
浏览 1提问于2019-04-12得票数 0
回答已采纳
抓取网站：http://quotes.toscrape.com 我使用的是Scrapy 2.3.0。 我试着从上面的网站上抓取所有的引文以及它的作者和标签。 有没有人能解释一下为什么这个代码 Error :
AttributeError: 'list' object has no attribute 'css' 在第1行： author = quote.css('.author::text').extract() ? 我正在学习使用scrapy，我被卡住了。导入scrapy class QuotesSpider( scrapy.Spid
浏览 48提问于2020-09-06得票数 0
回答已采纳
1回答
刮伤不是爬过链接
、、
我是用链接提取器抓取链接，我使用的是正确的XPath表达式，但我不知道为什么它会无限大，打印某种源代码，而不是餐馆的名称和地址。我知道在我的限制XPath表达式中有一些错误，但是无法知道它是什么。
代码：
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class TripadSpider(CrawlSpider):
name = 'tripad'
allowed_domains = ['
浏览 5提问于2021-12-14得票数 0
回答已采纳
尝试抓取此网站，但代码返回空csv - PYTHON Scrapy
import scrapy
from scrapy.item import Field
from scrapy.item import Item
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.loader.processors import MapCompose
from scrapy.linkextractors import LinkExtractor
from scrapy.loa
浏览 3提问于2020-11-15得票数 0
我的垃圾代码不能工作，我不明白为什么。我只是刚刚开始抓取，所以我现在并不真正关心哪个网站。我知道这个问题与我选择的url无关。
下面是我的代码：
import scrapy
class Twitter(scrapy.Spider):
name = "twitter_following"
start_urls = ['https://www.digitalocean.com']
浏览 0提问于2017-07-15得票数 0
1回答
我的爬行器运行正常，我设法用例如这样的代码行来控制日志记录：
logging.info("MyCrawler构建的URL列表！“)
并输出消息到控制台。
根信息: MyCrawler构建的URL列表！
在运行蜘蛛时，我会收到以下许多消息：
2017-08-25 13:40:15 scrapy.extensions.logstats信息:爬行26页(2页/分钟)，刮0项(0项/分钟)消息：
消息：
消息：
消息：
消息：
消息：
消息：
消息：
2017-08-25 13:41:12 scrapy.extensions.logstats信息:爬行42页( 16页/分钟)
浏览 2提问于2017-08-25得票数 0
1回答
背景
总的来说，我对使用Scrapy和webscraping非常陌生，我正在尝试访问目标网页，填充那里的表单，提交表单并从返回到条目的页面中刮取数据。完成这些步骤后，我想回到目标网页，用不同的信息填充表单，刮掉已经返回的新数据，并将这些数据附加到这些相同的项中。
我有什么
下面的代码填写目标表单，抓取返回的页面以获取信息，并将该信息放置到项中。
import scrapy
from AirScraper.items import AirscraperItem
class airSpider(scrapy.Spider):
name = "airSpider"
浏览 0提问于2015-05-12得票数 0
1回答
我试图从一个网站的几个页面中抓取不同的信息。在第16页之前，一切正常:页面被抓取，抓取，我的数据库中的信息存储，但是在第16页之后，它停止抓取，但继续抓取。我查看了这个网站，有470多个页面提供了信息。HTML标签是一样的，所以我不明白为什么它会停止抓取。
Python：
def url_lister():
url_list = []
page_count = 1
while page_count < 480:
url = 'https://www.active.com/running?page=%s' %page_count
浏览 0提问于2018-01-24得票数 4
我目前正在尝试从这个网站上抓取特定的数据，但是当我在此之后使用cmd爬行时，json和csv文件就会变成空白，我做错了什么呢？
import scrapy
class RatesSpider(scrapy.Spider):
name = 'rates'
allowed_domains = ['https://www.ratehub.ca/best-mortgage-rates/5-year/fixed']
start_urls = ['http://https://www.ratehub.ca/best-mortgage-rate
浏览 2提问于2021-04-12得票数 1
回答已采纳
2回答
我试着用CSVFeedSpider从CSV文件中抓取一些行文件的结构是下一个: id |类别|价格我需要抓取那些只有一个特殊类别“付费”的行我做下一步：
class Outillage_spider(CSVFeedSpider):
name = 'domain.com'
allowed_domains = ['domain.com', 'www.domain.com']
start_urls = ('http://www.domain.com/file.csv',)
delimiter = ';'
headers
浏览 0提问于2012-02-01得票数 0
回答已采纳
我正在尝试抓取nordstrom的产品描述。我获得了所有的项目链接(存储在本地mongodb db中)，现在正在遍历它们，下面是一个示例链接https://www.nordstrom.ca/s/leith-ruched-body-con-tank-dress/5420732?origin=category-personalizedsort&breadcrumb=Home%2FWomen%2FClothing%2FDresses&color=001 我对爬行器的代码是： def parse(self, response):
items = NordstromItem()
浏览 23提问于2020-05-02得票数 0
我想要抓取的主http://192.168.1.1/robots.txt是http://192.168.1.1/adslconfig.htm，但是它首先尝试抓取这个url URL，并且失败了，状态代码为401，并且它的referer头也被设置为None，所以它只是浪费了几秒钟的时间。 这并不是唯一的一个，它还试图抓取我想要的主URL，但一开始失败了，referer标头设置为None 但在第二次尝试中，它成功了，状态代码为200，referer标头为http://192.168.1.1/adslconfig.htm 是不是因为referer头而失败？ 如何防止这两次不成功的抓取，并用第一次尝试
浏览 17提问于2021-09-28得票数 0
2回答
我正在尝试使用Scrapy：从这个网站上抓取
下面是返回我在爬行器中导出的最后一项的函数：
def parse_post(self, response):
theitems = []
pubs = response.xpath("//div[@id='pubs']/ul/li/a")
for i in pubs:
item = FspeopleItem()
name = str(response.xpath("//div[@id='maincol']/h1/text() | //no
浏览 1提问于2016-04-04得票数 1
我想在登录之前抓取一个使用大量验证码挑战的网页(例如，超过20个挑战)。
我如何登录，通过我解决验证码，用我的物理手，即不使用Selenium等，然后让web抓取运行。我试着在Scrapy文档、教程和网络搜索中找到做同样事情的代码，但什么也没找到。
强制性的代码没有做我想问的事情，怎么做：
import scrapy
class BadSpider(scrapy.Spider):
name = "bad"
def start_requests(self):
[...]
def parse(self, response):
浏览 1提问于2019-06-10得票数 0
我尝试用Scrapy (1.5.0)- Python从网站上抓取数据。
项目目录：
stack/
scrapy.cfg
stack/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
stack_spider.py
这是我的items.py
imp
浏览 3提问于2018-06-06得票数 0
回答已采纳
我正在使用"scrapy crawl post“命令用Scrapy抓取一个博客。我需要每5分钟检查一次新帖子。我该怎么做呢？
提前谢谢。
浏览 0提问于2016-11-22得票数 1
2回答
我正在尝试这个示例代码
from scrapy.spiders import Spider, Request
import scrapy
class MySpider(Spider):
name = 'toscrapecom'
start_urls = ['http://books.toscrape.com/catalogue/page-1.html']
urls = (
'http://books.toscrape.com/catalogue/page-{}.html'.format(i + 1
浏览 0提问于2019-04-17得票数 0
这是
这是我的代码
import scrapy
class get_taiex(scrapy.Spider):
name='get_taiex'
def start_requests(self):
url ='https://www.twse.com.tw/indicesReport/MI_5MINS_HIST?response=html&date=20191101'
yield scrapy.Request(url, callback=self.parse)
def parse(self, r
浏览 2提问于2019-11-27得票数 0
回答已采纳
3回答
我编写了以下脚本来从中抓取数据
import scrapy
class MySpider(scrapy.Spider):
name = 'jobs'
start_urls = ['https://www.freelancer.in/jobs/python_web-scraping_web-crawling/']
def parse(self, response):
for title in response.xpath('//div[@class = "JobSearchCard-primary-he
浏览 1提问于2017-10-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
