下载延迟scrapy
下载延迟是指在使用网络爬虫框架Scrapy进行数据抓取时，设置的下载延迟时间，即两次连续请求之间的等待时间间隔。下载延迟可以有效控制爬虫请求的频率，避免对目标网站造成过大的负载压力，同时也可以降低被目标网站屏蔽或封禁的风险。
分类：
- 固定下载延迟：设置固定的时间间隔，每次请求都会等待相同的时间间隔后再发起下一次请求。
- 随机下载延迟：在一定范围内随机生成下载延迟时间，每次请求都会在不同的时间间隔后再发起下一次请求。
优势：
- 控制爬虫请求频率：合理设置下载延迟可以避免对目标网站造成过大的请求压力，维护正常的网站运行。
- 降低被封禁风险：通过设置适当的下载延迟，可以降低被目标网站屏蔽或封禁的风险，保证爬虫的可持续稳定运行。
应用场景：
- 网站数据爬取：在进行大规模网站数据爬取时，合理设置下载延迟可以确保爬虫请求的合理性和稳定性。
- 数据挖掘与分析：在进行数据挖掘和分析任务时，通过设置下载延迟可以控制数据采集的速度，避免对目标数据源过度依赖。
推荐的腾讯云相关产品： 腾讯云提供了丰富的云计算产品，其中适用于下载延迟控制的产品包括：
- 云服务器（ECS）：提供了高性能的云服务器实例，可根据实际需求选择合适的规格和配置，满足爬虫运行的需求。 产品介绍链接：https://cloud.tencent.com/product/cvm
- 云数据库MySQL（CDB）：提供了高可靠、可扩展的关系型数据库服务，可以用于存储爬取到的数据。 产品介绍链接：https://cloud.tencent.com/product/cdb
- 内容分发网络（CDN）：通过在全球部署节点，提供高可用、低延迟的内容分发服务，加速数据的传输和访问。 产品介绍链接：https://cloud.tencent.com/product/cdn
请注意，以上只是腾讯云提供的一些相关产品，不代表其他云计算品牌商提供的产品不适用或不推荐使用。在实际选择使用云计算产品时，需要根据具体的需求和情况进行综合评估和比较，选择最适合的解决方案。
相关·内容
2回答
这对我来说不是问题，没有它我可以活下去，但我只是好奇它是否可能，以及如何。
今天，我了解到，scrapy.Request不会以与它们已经启动的顺序相同的顺序结束。
伪码示例：
class SomeSpider(scrapy.Spider):
def parse(self, response):
# get all ads(25) from ads list
for ad in adList():
add_url = findAddUrl()
yield scrapy.Request(add_url, ca
浏览 1提问于2018-05-08得票数 1
回答已采纳
的Scrapy文档中说："AutoThrottle扩展调整了下载延迟。“然后，节流算法部分中的文档继续说明“下载延迟不能小于DOWNLOAD_DELAY或大于AUTOTHROTTLE_MAX_DELAY”，所以我假设它们可以相互结合使用？
我想知道如果值是复合的，AUTOTHROTTLE是否会覆盖DOWNLOAD_DELAY，或者这两个设置是否可以相互结合使用？到底是哪一种情况呢？
浏览 0提问于2018-07-05得票数 0
1回答
每次我运行我的代码时，我的ip地址都会被禁止。我需要帮助将每个请求延迟10秒。我尝试将DOWNLOAD_DELAY放入代码中，但没有给出任何结果。任何帮助都是非常感谢的。
# item class included here
class DmozItem(scrapy.Item):
# define the fields for your item here like:
link = scrapy.Field()
attr = scrapy.Field()
class DmozSpide
浏览 0提问于2015-05-23得票数 10
回答已采纳
我正在使用刮刮从一个网站下载一些文章以及图片在文章中。
关于这个场景的一些信息：
文章来自主域(jandan.net)
文章中的图片来自其他网站。(例如tankr.net)
主域有访问频率限制，因此我必须设置download_delay以避免<403>错误。
scrapy.contrib.pipeline.images.ImagesPipeline下载的图像
似乎图像下载也受到download_delay设置的限制。
如何在限制主域下载速度的同时加快图像下载速度？
浏览 5提问于2015-06-22得票数 4
我使用FilesPipeline下载文件，但是这些文件是以散列的方式下载的，所以我决定改变它。我用过，但是蜘蛛似乎从来没有用过我的管道。
settings.py
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'myspider.pipelines.MySpiderPipeline': 1,
#'scrapy.pipelines.files.FilesPipeline':
浏览 8提问于2020-01-27得票数 1
回答已采纳
我使用scrapy解析以下站点：。当我一步一步地对shell进行解析时，一切都很好，也就是说，这一行工作如下：
response.xpath("//script[contains(., 'banksData')]/text()").re(r'"name":"(.*?)","code"')
但当我开始爬行的时候，我就得到了跟踪日志。
2017-06-16 20:59:27 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: banksru)
2017
浏览 5提问于2017-06-16得票数 1
回答已采纳
2回答
Scrapy似乎不允许安装以前的版本。
列出的方法包括：
easy_install -U Scrapy
和：
pip install Scrapy
这两种方式都只是下载Scrapy的最新版本，这是我不需要的。如何获取scrapy以下载0.12版？
浏览 4提问于2012-07-07得票数 1
1回答
我做了这个蜘蛛，它检查引用列表的库存(大约3500个引用)。
现在蜘蛛花了大约37秒的时间刮掉400个引用。CPU在5%左右，网卡(1 1Gbps)在18%左右。我的互联网连接是300 this对称的，它只连接到这台计算机。
有什么办法提高业绩吗？这是一场好表演吗？也许ISP路由器是瓶颈？
import scrapy
from scrapy.crawler import CrawlerProcess
class Spider(scrapy.Spider):
name = "Spider"
start_urls = ['URLS']
浏览 0提问于2017-02-24得票数 5
回答已采纳
我有一个问题，当下载多个pdf文件在.asp网站上使用Scrapy。这是该网站的网址：https://ceo.maharashtra.gov.in/searchlist/SearchRollPDF.aspx。
现在，如果你浏览这个网站，它会向上面的同一个URL发送多个表单请求，并为同一页面生成最新更新的HTML内容。现在，我已经完成了每一步，包括解决验证码，最后，我已经到达了可以下载pdfs的最后一步。
当您填写所有表单详细信息(包括验证码)时，您将看到多个下载相同数量的独特pdf文件的链接。这就是我遇到问题的地方。
现在，当您单击任何链接时，它会向上面的URL发送一个POST请求，
浏览 0提问于2019-09-14得票数 1
我在命令行中创建了一个scrapy项目，并添加了两个爬行器myspider1和myspider2。每当我运行"scrapy crawl myspider1“或""scrapy crawl myspider2”“时，它都会启动"myspider1”。
当我运行"scrapy list“时，它也会启动myspider1
我在python的vertualenv下运行它，但我不明白它为什么要这样做。似乎每当我使用scrapy运行命令时，它总是执行我的爬行器文件夹中的第一个爬行器。
你知道为什么会发生这种事吗？
浏览 2提问于2016-02-09得票数 1
2回答
我使用Scrapy来抓取一个网页并下载一些文件。由于我得到的file_url将重定向到另一个url (302个重定向).So，所以我使用另一个方法handle_redirect来获得重定向的url。我像这样自定义文件管道。
class MyFilesPipeline(FilesPipeline):
def handle_redirect(self, file_url):
response = requests.head(file_url)
if response.status_code == 302:
file_url = re
浏览 8提问于2016-08-06得票数 3
回答已采纳
我将在Scrapy downloadermiddleware中间件中使用一些阻塞代码(等待免费代理)。我打算使用
但它在下载中间件中确实不起作用，因为等待isinstance(response, (Response, Request))的方法process_request(self, request, spider)
如何最好地做到这一点？
浏览 0提问于2014-11-03得票数 6
我遇到了我的蜘蛛的问题，这些蜘蛛不是交付导入的，然后我获取了它们的start_urls，并尝试使用scrapy shell来查找bug。不幸的是，即使是粗糙的外壳也会永远加载，并返回twisted.internet.error.TimeoutError，我该如何解决这个问题呢？敬请查看我的scrapy shell命令和下面的错误
root@cf59900d79a8:/workspace# scrapy shell "https:www.mystart_url.com"
2020-08-28 04:37:53 [scrapy.utils.log] INFO: Scrapy 1.5
浏览 0提问于2020-08-28得票数 0
2回答
我在使用Scrapy下载一个大的~ 1.8gb文件时遇到了问题，我的代码：
import scrapy
class CHSpider(scrapy.Spider):
name = "ch_accountdata"
allowed_domains = ['download.companieshouse.gov.uk']
start_urls = ['http://download.companieshouse.gov.uk/en_monthlyaccountsdata.html']
custom_settings
浏览 12提问于2017-08-01得票数 2
2回答
刮伤的蟒蛇-我一直爬0页
、、、
我尝试过遵循多个教程，但无论我如何尝试，我总是得到相同的结果“爬行0页(0页/分钟)，刮0项(0项/分钟)”。
我的代码非常简单：
import scrapy
class SpiderSpider(scrapy.Spider):
name = 'spider'
allowed_domains = ['books.toscrape.com/']
start_urls = ['http://books.toscrape.com//']
def parse(self, response):
print
浏览 3提问于2020-11-03得票数 0
回答已采纳
1回答
我试图登录到Scrapy，但我收到了很多“重定向(302)”的消息。这发生在我使用我的真实登录和假登录信息。我也尝试了与另一个网站，但仍然没有运气。
import scrapy
from scrapy.http import FormRequest, Request
class LoginSpider(scrapy.Spider):
name = 'SOlogin'
allowed_domains = ['stackoverflow.com']
login_url = 'https://stackoverflow.com/us
浏览 3提问于2017-04-17得票数 2
回答已采纳
试图找出刮刮是如何工作的，并使用它来查找论坛上的信息。
items.py
import scrapy
class BodybuildingItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
pass
spider.py
from scrapy.spider import BaseSpider
from scrapy.selector import Selector
from bodybuilding.items import Bodybuildi
浏览 4提问于2017-10-06得票数 0
回答已采纳
1回答
我一直在尝试让Scrapy从一个网站下载所有的PDF文件，但是我似乎无法让它真正下载这些文件。爬虫运行得很好，可以访问url的所有页面，但是没有任何内容被下载。 我是Python和webscraping的新手，所以我不确定我是忽略了还是不理解如何将别人的问题与我的问题联系起来。我遵循了Scrapy网站和其他网站上的一些教程和演练，但我就是不能理解它。 此外，我也想只下载包含"spec_sheet“的文件，如果可能的话(位于下载部分的任何灯的网站，并也命名的PDF是什么，他们在网站上，而不是一个随机的字母和数字字符串，当他们下载。 任何帮助都将不胜感激！ import scrapy
f
浏览 43提问于2021-01-19得票数 2
2回答
我的刮痕爬虫使用，它在我的电脑上工作。但是，当我在vps上运行它时，它会在每个请求上返回403错误。
2018-05-26 09:43:18 [scrapy.proxies] DEBUG: Proxy user pass not found
2018-05-26 09:43:18 [scrapy.proxies] DEBUG: Using proxy <http://104.237.210.29:2716>, 20 proxies left
2018-05-26 09:43:19 [scrapy.downloadermiddlewares.retry] DEBUG: Retryin
浏览 2提问于2018-05-26得票数 0
回答已采纳
我正在尝试运行一个刮板程序，我得到了这个错误：
2020-03-16 10:59:21 [scrapy.core.engine] INFO: Spider opened
2020-03-16 10:59:21 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-03-16 10:59:21 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:60
浏览 0提问于2020-03-16得票数 0
1回答
我已经建立了一个刮板，并希望下载一些图片使用代理刮除。我不知道它是否真的通过代理下载。响应头不显示IP。此外，如果我将IP更改为随机IP，它仍然会下载图像。如何确保它使用代理下载图像？谢谢
Pipelines.py
import scrapy
from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
class MyImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
浏览 2提问于2017-03-24得票数 0
回答已采纳
1回答
我有一个蜘蛛，我用它来抓取一个网站。我只需要为我的项目的一部分javascript。所以我用scrapy抓取了站点的一部分，然后在selenium中打开URL。当URL打开时，scrapy仍在继续。如何让scrapy等待我的selenium逻辑完成？
提前谢谢。
浏览 0提问于2016-12-16得票数 0
4回答
请参阅下面的代码示例版本，它使用Scrapy Image管道从站点下载/刮取图像：
import scrapy
from scrapy_splash import SplashRequest
from imageExtract.items import ImageextractItem
class ExtractSpider(scrapy.Spider):
name = 'extract'
start_urls = ['url']
def parse(self, response):
image = Imageextr
浏览 0提问于2017-07-18得票数 2
回答已采纳
我有两种物品：
class MovieItem(scrapy.Item):
id = scrapy.Field()
image_urls=scrapy.Field()
image_paths =scrapy.Field()
torrents = scrapy.Field()
#...other fields
class TorrentItem(scrapy.Item):
id = scrapy.Field()
movie_id = scrapy.Field()
image_urls=scrapy.Field()
ima
浏览 1提问于2016-08-30得票数 0
回答已采纳
在Windows 10上使用Python3.7.2，我很难让Scrapyv1.5.1下载一些PDF文件。我跟踪了，但似乎错过了什么。Scrapy为我提供了所需的PDF URL，但没有下载任何。此外，也不会引发错误(至少)。
有关守则是：
scrapy.cfg：
[settings]
default = pranger.settings
[deploy]
project = pranger
settings.py：
BOT_NAME = 'pranger'
SPIDER_MODULES = ['pranger.spiders']
NEWSPIDER_MODUL
浏览 1提问于2019-02-20得票数 1
回答已采纳
我无法通过我的公司网络通过pip (pip install Scrapy)安装Scrapy。
有没有其他方法可以下载和安装Scrapy？谢谢你的帮助。
浏览 1提问于2016-07-27得票数 0
2回答
蜘蛛不会转到下一页
、、、
蜘蛛代码：
import scrapy
from crawler.items import Item
class DmozSpider(scrapy.Spider):
name = 'blabla'
allowed_domains = ['blabla']
def start_requests(self):
yield scrapy.Request('http://blabla.org/forum/viewforum.php?f=123', self.parse)
def parse(self
浏览 1提问于2016-08-24得票数 0
回答已采纳
我正在尝试从等网站下载APK。当您单击“下载APK”按钮时，在Tor浏览器中会弹出一个弹出窗口，让您可以选择打开或保存文件(见下文)。
我想保存这个文件。
到目前为止，我已经尝试使用以下蜘蛛让它与Scrapy一起工作：
import scrapy
from apkmirror.items import ApkmirrorItem
class ApkmirrorScraperSpider(scrapy.Spider):
name = "apkmirror-scraper"
allowed_domains = ["apkmirror.com
浏览 1提问于2017-05-19得票数 0
回答已采纳
我是新来Scrapy的，请耐心听我说。
我有一个爬虫，它访问一个页面，然后下载一个文件。最终，我希望将文件名以及其他有用的信息写入db表。
我只想将信息写入db表，如果文件确实被下载(并且不是‘最新的’)
-->现在，我正在努力找出一个文件是否已经下载或者是‘最新的’。
如果下载了一个文件，我会从日志中看到：
2017-08-22 17:25:16 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
....,
'downloader/response_count': 5,
'downloader/respon
浏览 24提问于2017-08-23得票数 1
回答已采纳
1回答
从网站下载json文件？
、、、
我试着创建一个爬行器从一个网站下载一些json文件-
这是我的抓取蜘蛛：(首先测试了蜘蛛-所以它只输出到json文件的链接，这很好--请参阅下面的注释代码)，但是我想下载json-文件到我的pc上的一个文件夹。
import scrapy
class spiderWords(scrapy.Spider):
name = 'spiderWords'
allowed_domains = ['kaikki.org']
start_urls = ['https://kaikki.org/dictionary/Spanish/words.html&#
浏览 2提问于2021-12-20得票数 -1
回答已采纳
这就是我想要抓取的页面。当我使用SplashRequest打开它时，我得到了一个具有相同源代码的不同页面。以下是我对splas的设置：
ROBOTSTXT_OBEY = False
SPLASH_URL = 'http://192.168.99.100:8050'
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewa
浏览 2提问于2018-08-18得票数 0
import scrapy
import json
class Brand(scrapy.Item):
name = scrapy.Field()
url = scrapy.Field()
brand_image = scrapy.Field()
productsList = scrapy.Field()
class QuotesSpider(scrapy.Spider):
name = "brandDetails"
def start_requests(self):
with open('bran
浏览 5提问于2018-09-29得票数 2
1回答
我在这里和其他网站上读了很多关于刮痕的文章，但我不能解决这个问题，所以我问你:P希望有人能帮我。
我想对主客户端页面中的登录名进行身份验证，然后解析所有类别，然后解析所有产品，并保存产品的标题、类别、数量和价格。
我的代码：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.item import Item, Field
from scrapy.spiders import CrawlSpider
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExt
浏览 0提问于2018-07-24得票数 0
1回答
我已经建立了一个简单的刮板下载图片从一个网站。不幸的是，我在下载这些图片时遇到了问题，所以没有任何东西被下载。我曾在网上搜索过类似的问题，并练习过这些，但对我来说不管用。我以前做过这项工作，所以我不明白为什么现在不行了。
我的刮刀：
import scrapy
from scrapy_exercises.items import ScrapyExercisesItem
class TestSpider(scrapy.Spider):
name = 'test'
start_urls = ['https://www.meadowhall.co.uk/e
浏览 4提问于2022-07-05得票数 1
回答已采纳
为什么我会收到这个错误？
[scrapy] WARNING: File (code: 302): Error downloading file from <GET <url> referred in <None>
我的浏览器中的URL下载似乎没有任何问题，302只是一个重定向。为什么scrapy不能简单地按照重定向下载文件呢？
process = CrawlerProcess({
'FILES_STORE': 'C:\\Users\\User\\Downloads\\Scrapy',
'USER_AGENT&
浏览 5提问于2016-05-22得票数 1
1回答
Spider运行正常，并将数据保存在mongodb中，但突然开始在数据库、json和csv中保存重复的值，我删除了下载图像的代码，它工作得很好，但我需要图像，有人能帮我吗？提前谢谢。
items.py
导入scrapy
class BucketItem(scrapy.Item):
# define the fields for your item here like:
store_name = scrapy.Field()
category = scrapy.Field()
sub_category = scrapy.Field()
name = scrapy.Field()
unit = s
浏览 0提问于2019-11-05得票数 0
1回答
我正在使用scrapy下载图像，但是得到了超时错误：
Retrying <GET http://www/***.jpg> (failed 1 times): User timeout caused connection failure
不过，我可以立即下载wget 的图像。DOWNLOAD_TIMEOUT (scrapy参数)设置为默认的180秒，因此这不应该是错误的根本原因。我试过使用scrapy与代理和非代理，两者都给了我上述错误。
浏览 2提问于2013-09-08得票数 7
回答已采纳
1回答
import scrapy
from selenium import webdriver
from scrapy.loader import ItemLoader
from scrapy.loader.processors import Join,MapCompose
from scrapy.crawler import CrawlerProcess
from scrapy.http import HtmlResponse
class TestSpider(scrapy.Spider):
name = "plus"
start_urls = ['http
浏览 0提问于2019-08-03得票数 0
我需要在Scrapy中运行一些多线程\多处理工作(因为我有一些使用阻塞调用的库)，并在完成之后将请求发送回Scrapy引擎。
我需要这样的东西：
def blocking_call(self, html):
# ....
# do some work in blocking call
return Request(url)
def parse(self, response):
return self.blocking_call(response.body)
我怎么能这么做？我认为我应该使用扭曲反应堆和延期对象。但是Scrapy parse回调必须只返回None
浏览 0提问于2014-09-15得票数 3
回答已采纳
我正在尝试刮这个，当我执行scrapy shell "https://redsea.com/en/apple-iphone-x-64gb-silver.html"时，它下载html页面，我可以在浏览器中使用view(response)查看下载的html：
但是，当我试图获取任何数据-product名称时，例如，通过response.css('.page-title')，它会给出空的响应：
抓取一个使用rest获取数据的网站，使用scrapy，只需下载没有数据的网站结构html，而刮取不能获得这些数据是有意义的。但在本例中，scrapy使用数据下载h
浏览 0提问于2017-11-07得票数 3
回答已采纳
1回答
在页面中，用户必须键入一些字段才能下载最重要的西班牙广播公司的频道时间表。一旦用户填写表单并单击Exportar按钮，浏览器将自动开始下载扩展名为formato下拉列表的文件。
现在，从我的Chrome浏览器可以很容易地获得文件。但是，我想用一个Scrapy脚本自动完成这个任务，下面您可以找到我到目前为止所做的工作：
from scrapy.item import Item, Field
from scrapy.http import FormRequest
from scrapy.spiders import Spider
from scrapy.selector import Select
浏览 2提问于2017-01-05得票数 0
回答已采纳
1回答
我已经将崇高的文本设置为在python版本3.4.3的基础上构建。我正在尝试下载Scrapy来测试一些东西，但是pip下载失败了。
我在崇高文本中的代码是：
import sys
print(sys.version)
pip install Scrapy
输出：
File "/Users/X/Documents/Learn/XX/Python1.py", line 3
pip install Scrapy
^
SyntaxError: invalid syntax
[Finished in 0.1s with exit code 1]
有人能
浏览 3提问于2015-05-02得票数 1
回答已采纳
2回答
这是我用来爬行网页的代码。我想刮的站点已经启用了图像延迟加载，所以刮伤只能抓取100个图像中的10个，其余的都是placeholder.jpg。在Scrapy中处理延迟加载映像的最佳方法是什么？
谢谢!
class MasseffectSpider(scrapy.Spider):
name = "massEffect"
allowed_domains = ["amazon.com"]
start_urls = [
'file://127.0.0.1/home/ec2-user/scrapy/amazon/amazon.html',
]
浏览 2提问于2016-04-30得票数 3
回答已采纳
我正在尝试重命名由我的Scrapy0.24蜘蛛下载的图片。现在，下载的图像以其URL的SHA1散列作为文件名存储。我想将它们命名为我使用item['model']提取的值。，但答案是针对早期版本的Scrapy，不适用于最新版本。
一旦我设法做到这一点，我还需要确保我帐户不同的图像被下载使用相同的文件名。因此，我需要下载每个图片到它自己唯一命名的文件夹，大概是基于原始URL。
这是我在管道中使用的代码的副本。在上面的链接中，但是它不适合我。没有出现错误，图像被正常下载。我的额外代码似乎对文件名没有任何影响，因为它们仍然以SHA1散列的形式出现。
pipelines.py
clas
浏览 1提问于2015-04-29得票数 14
回答已采纳
1回答
我有一个来自storm proxy的自动旋转代理，但我不知道如何正确使用scrapy。对于我发出的所有请求，IP都保持不变。storm proxies的支持表明，需要关闭当前连接才能更改IP。 但我不知道如何关闭连接或每次创建一个新请求，或者有其他方法吗？ 这是我现在的代码。 import scrapy
import scraper_helper
class EbayfastSpider(scrapy.Spider):
name = 'test'
custom_settings = {
'CONCURRENT_REQUESTS'
浏览 25提问于2021-05-04得票数 1
回答已采纳
我正在尝试用Anaconda安装Scrapy
在通过命令conda install -c conda-forge scrapy下载scrapy，然后将Anaconda/Scripts的路径指定给环境变量之后，我得到了以下错误：
C:\Users\Rodzice.Mateusz-PC>scrapy
Fatal error in launcher: Unable to create process using '"c:\bld\scrapy_1564674375870\_h_env\python.exe" "C:\Users\Rodzice.Mate
浏览 3提问于2019-08-03得票数 8
4回答
我尝试按照中描述的步骤在Windows7上安装Scrapy。在我的PC上安装了Python 3.5.1。虽然Scrapy不支持此python版本，但它已与最新的Anaconda成功安装，但无法运行爬行器脚本。我发现Scrapy只适用于Python版本，所以卸载3.5.1版本，卸载Anaconda，安装python3.3.5，安装pywin32并安装pip。pip导致pip install Scrapy失败，所以我安装了Anaconda并运行conda install -c scrapinghub scrapy Scrapy install，但是我看到安装的libs是针对Python3.5的，比
浏览 0提问于2016-06-15得票数 0
1回答
我正在尝试一个更长的time.Please做帮助。我安装了刮痕使用康达。我在命令行中测试了pip显示刮擦的，它运行得很好。虽然我在python终端中输入了导入刮擦，但它没有显示任何错误。但是，如果我创建了一个项目或执行了一个现有的scrapy项目，我会得到以下错误：
C:\Users\Nikeshh\Anaconda2\lib\site-packages\scrapy\commands\deploy.py:16: ScrapyDeprecationWarning: Module `scrapy.command` is deprecated, use `scrapy.commands` inst
浏览 1提问于2018-07-14得票数 0
大家好，我用python写了一个爬虫来抓取......
import scrapy
from c2.items import C2Item
try:
class C2(scrapy.Spider):
name = 'cn'
allowed_domains = ['priceraja.com']
start_urls = ['https://www.priceraja.com']
def parse_item(self, respon
浏览 12提问于2017-07-06得票数 0
1回答
我得到了网址列表，但图片没有下载。
import scrapy
from ..items import GoogleItem
class spider(scrapy.Spider):
name = 'google'
start_urls = [
"https://www.google.com/search?q=selena%20gomez&spell=1&ie=UTF-8&gbv=1&tbm=isch&sxsrf=ALeKk01ILeLRLtOpXXVyxa1PQYz38RnbRg%3A1586
浏览 1提问于2020-04-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
