在scrapy中间件中使用时，Signal.NEWNYM不提供新的ip地址
在Scrapy中间件中使用Signal.NEWNYM时，它并不提供新的IP地址。Signal.NEWNYM是Tor网络中的一个信号，用于请求新的身份，以便在网络上匿名浏览。然而，在Scrapy中使用Signal.NEWNYM并不能直接改变请求的IP地址。
Scrapy是一个用于爬取网站数据的Python框架，它提供了丰富的中间件机制来处理请求和响应。Signal.NEWNYM是一个信号，用于通知Tor网络切换到新的身份，以便绕过一些限制或提高匿名性。但是，要实现IP地址的更改，需要结合其他工具或服务。
如果你想在Scrapy中更改IP地址，可以考虑使用代理服务器。代理服务器允许你通过中间人的方式发送和接收网络请求，从而隐藏真实的IP地址。你可以在Scrapy的中间件中配置代理服务器，以实现IP地址的更改。腾讯云提供了云服务器（CVM）和弹性公网IP（EIP）等产品，可以帮助你实现代理服务器的搭建和管理。
另外，为了保护网络安全和防止滥用，使用代理服务器时需要遵守相关法律法规和服务提供商的规定。在选择代理服务器时，建议根据实际需求和预算考虑不同的产品和服务。
参考链接：
- Scrapy官方文档：https://docs.scrapy.org/
- 腾讯云云服务器（CVM）产品介绍：https://cloud.tencent.com/product/cvm
- 腾讯云弹性公网IP（EIP）产品介绍：https://cloud.tencent.com/product/eip
相关·内容
我正在使用一个抓取抓取与privoxy和tor。所有的配置都是正确的，我可以通过privoxy勉强通过tor网络。 我希望用来抓取每个地址的ip随着每个请求/x请求的数量而变化。我正在使用带有代理中间件的controller.signal(Signal.NEWNYM)，按照这里的回答：Scrapy with Privoxy and Tor: how to renew IP，但我没有得到任何ip更改。 这是用于更改tor电路和ip的中间件： def _set_new_ip():
with Controller.from_port(port=9051) as controller:
浏览 22提问于2020-03-29得票数 2
回答已采纳
2回答
我在和Scrapy，Privoxy和Tor打交道。我已经安装好并正常工作了。但是Tor每次都与同一个IP连接，所以我很容易被禁止。是否有可能告诉Tor每隔X秒或连接重新连接？
谢谢!
关于配置的编辑:对于用户代理池，我执行了以下操作： (如注释中所述，我必须放置一个_ init _.py文件)，对于Privoxy和Tor，我遵循 (我必须用终端手动创建私有用户和私有组)。它奏效了:)
我的蜘蛛是这样的
from scrapy.contrib.spiders import CrawlSpider
from scrapy.selector import Selector
from scrapy.h
浏览 5提问于2017-07-10得票数 21
回答已采纳
我创建了一个运行良好的scrapy项目，我希望它能在服务器上托管，每天运行，但我的服务器有两个网卡--一个是专门为scrapy添加的，一个仍然在工作，但我想只使用一个用于刮取或python的网卡，并且我可以指定此网卡Python或scrapy可以使用。
服务器: Windows 10
Python: 3.6
刮伤: 1.5
我正在寻找解决方案，并在互联网上找到了这个，但实际上，我不明白如何使用它。
请帮助我解决这个解决方案，可能是分配网卡到python，或将网卡分配到套接字或核心库，用于请求网站。
浏览 4提问于2018-12-03得票数 0
回答已采纳
我有一个现有的Laravel应用程序。现在，我想用Laravel创建另一个应用程序，使用与第一个应用程序相同的数据库，但要在自己的服务器上。
API路由将如下所示：
Route::apiResource('posts', PostsController::class)->only(['index', 'show']);
是否可以保护此路由并仅从新应用程序服务器的IP访问它？
浏览 38提问于2021-03-02得票数 0
回答已采纳
1回答
当我尝试使用Frontera和scrapy记录抓取时，它会给出一个错误，说没有名为record的模块，但是，我无法理解为什么会出现这个错误，因为我已经遵循了从进行记录的步骤。请帮助并感谢您的帮助。回溯是：
2017-07-04 15:38:57 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: alexa)
2017-07-04 15:38:57 [scrapy.utils.log] INFO: Overridden settings: {'AUTOTHROTTLE_MAX_DELAY': 3.0, 'DOWNLOA
浏览 15提问于2017-07-04得票数 1
2回答
我用scrapy编写了一个脚本，以使请求通过自定义中间件，以便对该请求进行代理。但是，脚本似乎对中间件没有任何影响。当我打印response.meta时，我得到了{'download_timeout': 180.0, 'download_slot': 'httpbin.org', 'download_latency': 0.9680554866790771}，它清楚地表明我的请求没有通过自定义中间件。我使用了CrawlerProcess来运行脚本。
spider包含：
import scrapy
from scrapy.crawl
浏览 0提问于2019-04-30得票数 1
回答已采纳
我可以通过Scrapy中的代理成功地访问http页面，但我不能访问https站点。我研究过这个话题，但对我来说还不清楚。是否可以通过带有Scrapy的代理访问https页面？我需要补点什么吗？或者添加一些自定义代码？如果可以确认这是一个标准的功能，我可以跟进更多的细节。希望这是一件容易的事。
编辑：
下面是我添加到设置文件中的内容：
DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, 'test_website.middlewares.P
浏览 2提问于2015-08-12得票数 2
我如何确保在每一个抓取的请求中获得新的ip？我尝试过使用stormproxies和smartproxies，但是对于会话，它提供的ip是相同的。
但是，ip在每次运行时都是新的。但是对于单个会话，ip是相同的。
我的代码如下：
import json
import uuid
import scrapy
from scrapy.crawler import CrawlerProcess
class IpTest(scrapy.Spider):
name = 'IP_test'
previous_ip = ''
count = 1
浏览 0提问于2020-12-27得票数 1
回答已采纳
3回答
我正在使用、Python、和Scrapy框架开发一个web爬行项目。它从电子商务购物网站抓取接近10k网页的。整个项目运行良好，但在将代码从测试服务器转移到生产服务器之前，我希望选择一个更好的代理ip提供商服务，这样我就不必担心我的IP阻塞或拒绝网站访问我的蜘蛛。
到目前为止，我还在使用Scrapy中的中间件从各种网站的免费代理ip列表( )中手动旋转ip。
现在我对我应该选择的选择感到困惑。
从或购买溢价代理列表
使用
使用VPN服务类似于
任何比以上三种方案更好的选择
浏览 7提问于2013-10-18得票数 14
1回答
Stem官员说，新的身份是通过以下方式建立的：
from stem import Signal
from stem.control import Controller
with Controller.from_port(port = 9051) as controller:
controller.authenticate()
controller.signal(Signal.NEWNYM)
下面是我的代码：
import urllib2
from stem import Signal
from stem.control import Controller
def con
浏览 0提问于2016-06-29得票数 0
请有人帮助我找到exceptions.ImportError的解决方案:没有代码抛出的名为middlewares的模块。
我的文件夹结构是：
这是我的DOWNLOADER_MIDDLEWARES in settings.py：
DOWNLOADER_MIDDLEWARES = {
'IpRotation.middlewares.MyCustomDownloaderMiddleware': 543,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
浏览 0提问于2015-10-12得票数 0
1回答
无法在Scrapy项目中使用代理
、、、、
我一直试图抓取一个网站，似乎已经确定并阻止了我的IP，并正在抛出一个429太多的请求响应。
我从这个链接安装了scrapy：，并按照给定的说明执行。我从这里得到了一个代理列表：，现在是我的settings.py和proxylist.txt的样子：
Settings.py
BOT_NAME = 'project'
SPIDER_MODULES = ['project.spiders']
NEWSPIDER_MODULE = 'project.spiders'
# Retry many times since proxies often fail
R
浏览 2提问于2017-11-07得票数 5
回答已采纳
如图所示，我正在使用scrapy从服务器抓取数据，但是服务器似乎阻止了我的ip，我很好奇Server阻止MyMac的ip或路由器的ip <code>e 210</code>
浏览 1提问于2016-02-05得票数 3
回答已采纳
1回答
我正在用Scrapy编写一个网络抓取程序，我需要设置它来共享cookie，但是我仍然对网络抓取和Scrapy相当陌生，所以我不知道如何做到这一点。我不知道我是否需要在设置中做一些事情，或者是中间件或者其他什么，所以任何帮助都是非常感谢的。
settings.py
# Name of project
BOT_NAME = 'LoginSpider'
# Module where spider is
SPIDER_MODULES = ['LoginSpider.spiders']
# Mode where to create new spiders
NEWSPID
浏览 0提问于2019-07-23得票数 0
回答已采纳
我想用proxy中间件向蜘蛛添加代理，但我不知道为什么它过滤了重复的请求
以下是代码：
class TaylorSpider(CrawlSpider):
name = 'Taylor'
allowed_domains = ['tandfonline.com']
start_urls = ['http://www.tandfonline.com/action/cookieAbsent']
def start_requests(self):
yield Request(self.start_url
浏览 3提问于2017-07-19得票数 0
回答已采纳
1回答
我正在使用刮除一些网页。我编写了我的自定义ProxyMiddleware类，在其中我用process_request(self，request，spider)方法实现了我的需求。这是我的代码(复制)：
class ProxyMiddleware(scrapy.downloadermiddlewares.httpproxy):
def __init__(self, proxy_ip=''):
self.proxy_ip = proxy_ip
def process_request(self,request,spider):
ip = random.choice(
浏览 1提问于2015-10-08得票数 5
1回答
我有一个程序需要使用scrapy刮几个不同的url，我需要它为每个url使用相同的用户代理和IP地址。所以，如果我像50个url一样抓取，我需要每个url都有一个唯一的用户代理和ip地址，只有在刮那个url的时候才会用到。但是当程序刮下下一个url时，IP地址和用户代理会被更改。
我已经得到它随机旋转用户代理，但现在我只需要对不同的用户代理与不同的urls，并使用相同的用户代理与相同的urls每次。至于IP地址，我甚至不能让它随意地旋转它们，更不用说用一个惟一的url对它们了。
SplashSpider.py
from scrapy.spiders import Spider
from scr
浏览 1提问于2019-05-22得票数 1
回答已采纳
我写了一个蜘蛛来从通过PROXY.获得我的IP，这是我的第一个蜘蛛。我想改变user_agent。我从本教程中获得了的信息
我完成了本教程中的所有步骤，这是我的代码。
settings.py
BOT_NAME = 'CheckIP'
SPIDER_MODULES = ['CheckIP.spiders']
NEWSPIDER_MODULE = 'CheckIP.spiders'
USER_AGENT_LIST = ['Mozilla/5.0 (iPhone; CPU iPhone OS 5_1 like Mac OS X) Apple
浏览 0提问于2015-10-30得票数 5
1回答
我正试着用Scrapy刮“”一页。
我运行这个命令
scrapy shell 'https://zhuanlan.zhihu.com/wangzhenotes'
并得到了
调试:爬行(400) <GET (引用:无)
我想我遇到了一种反擦伤。我怎么知道这个网站使用的是什么技术？
这是完整的日志记录
(base) $ scrapy shell 'https://zhuanlan.zhihu.com/wangzhenotes'
2020-07-01 09:46:03 [scrapy.utils.log] INFO: Scrapy 2.1.0 started
浏览 4提问于2020-07-01得票数 1
回答已采纳
2回答
-编辑-根据以前的调查结果改写主题+内容
我正在使用一个代理服务来抓取我的ip。为了获得新的ip，需要用我的代理服务关闭连接，用新的请求打开一个新的连接。
例如，如果我使用Chrome并通过代理服务访问，刷新页面将给我相同的ip，而关闭Chrome并重新打开+发送新请求将使ip旋转。
类似地，发送多个curl命令将在连接关闭时提供新的ip。例如，发送几个连续的curl -x proxy_adress:proxy_port ipinfo.io/ip给了我：
38.15.135.170
144.168.222.130
45.72.34.109
现在使用scrapy，我不明白如何强制关闭/重新打开每
浏览 12提问于2022-09-04得票数 2
回答已采纳
1回答
使用专用代理
、、、
我正在使用自定义配置的VM作为代理服务器(通过squid)，现在我尝试将它用于我的刮板。我正在使用来旋转我的ip列表定义，但问题是，我的代理在第一次尝试时就被视为死了，即使我已经验证了代理地址是活的并且工作得很好(我通过在火狐中设置一个代理来测试它，并试图同时浏览http和https网页。为测试目的，代理服务器是无密码的。
刮擦设置
DOWNLOADER_MIDDLEWARES = {
"scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None,
"scrapy.downloade
浏览 16提问于2022-12-02得票数 0
回答已采纳
我得到了一个代理池链接，它输出以下内容：
{
"msg": "success",
"list": [
"111.72.193.250:34621",
"114.99.28.7:25995",
"121.234.245.76:35513",
"220.186.155.66:49366",
"117.90.252.72:45037"
],
"data&#
浏览 2提问于2019-07-02得票数 0
我有一个Scrapy爬虫，我想轮换IP，这样我的应用程序就不会被阻塞。我正在使用request.meta['proxy'] = 'http://51.161.82.60:80'在scrapy中设置IP，但这是一个VM的IP。我的问题是，虚拟机或机器的IP是否可以用于scrapy，或者我需要代理服务器？
目前我正在做这件事。这不会抛出任何错误，但当我从http://checkip.dyndns.org得到响应时，它是我自己的IP，而不是我在meta中设置的更新IP。这就是为什么我想知道我是否需要代理服务器。
浏览 9提问于2018-12-06得票数 0
我已经创建了一个新项目，如下所示
scrapy startproject test
scrapy genspider test1 example.com
并按如下方式更改settings.py：
# -*- coding: utf-8 -*-
# Scrapy settings for test project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the docume
浏览 2提问于2017-02-16得票数 1
回答已采纳
2回答
我目前正在尝试通过python获取一个新的ip。
我在stackoverflow上找到了这个脚本：
import urllib2
from TorCtl import TorCtl
proxy_support = urllib2.ProxyHandler({"http" : "127.0.0.1:8118"})
opener = urllib2.build_opener(proxy_support)
def newId():
conn = TorCtl.connect(controlAddr="127.0.0.1", control
浏览 0提问于2013-05-05得票数 2
回答已采纳
我有一个有很多蜘蛛的Scrapy项目。有一个服务器端解决方案，可以重启HMA VPN以更改接口IP (这样我们就可以获得不同的IP，而不会被阻塞)。
有一个自定义的下载中间件，它为每个请求和响应发送相应的socket消息，以便服务器端解决方案可以触发VPN重启。显然，当VPN重启即将发生时，Scrapy不能产生任何新的请求-我们通过一个锁定文件来控制这一点。然而，在VPN重启实际发生之前，Scrapy必须处理所有尚未收到的响应。
将sleep放在下载中间件中将完全停止Scrapy。有没有一种方法可以处理响应，但推迟新的请求(直到锁文件被删除)？
当产生超过1x个并发请求时，显然就是这种情况。
浏览 1提问于2016-02-19得票数 1
2回答
我想要一些作业的网站地址，所以我写了一个刮擦蜘蛛，我想用xpath://article/dl/dd/h2/a[@class="job-title"]/@href,获得所有的值，但是当我使用命令执行这个蜘蛛时：
scrapy spider auseek -a addsthreshold=3
用来保存值的变量"urls"是空的，有人能帮我弄清楚吗，
这是我的代码：
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.selector import Selector
from scrapy.c
浏览 7提问于2014-06-26得票数 1
回答已采纳
2回答
我在python的scrapy中编写了一个脚本，使用get_proxies()方法生成的代理进行代理请求。我使用requests模块获取代理，以便在脚本中重用它们。但是，问题是，我的脚本选择使用的代理可能不是好的代理，因此有时它无法获取有效的响应。
如何让我的脚本继续尝试使用不同的代理，直到有一个有效的响应？
到目前为止我的剧本：
import scrapy
import random
import requests
from itertools import cycle
from bs4 import BeautifulSoup
from scrapy.http.request im
浏览 2提问于2019-02-21得票数 6
回答已采纳
我目前正在尝试遵循我在这里在线找到的脚本：
我尝试使用的代码如下：
import requests
from stem import Signal
from stem.control import Controller
with Controller.from_port(port = 9051) as controller:
controller.authenticate()
controller.signal(Signal.NEWNYM)
proxies = {
"http": "http://127.0.0.1:8118"
}
headers =
浏览 5提问于2018-08-25得票数 1
回答已采纳
1回答
我有15只蜘蛛，每只蜘蛛都有自己的内容可以发送邮件。我的蜘蛛也有自己的spider_closed方法，它启动邮件发件人，但它们都是一样的。在某个时候，蜘蛛计数将是100，我不想一次又一次地使用相同的函数。正因为如此，我试着使用中间件。我一直试图在中间件中使用spider_closed方法，但它不起作用。
middlewares.py
class FirstBotSpiderMiddleware:
def __init__(self, spider):
self.spider = spider
@classmethod
def from_cra
浏览 1提问于2020-11-26得票数 0
回答已采纳
如何使用代理设置active middlewares.py创建新请求 from urllib.parse import urlencode
from scrapy.http import Request
def get_url(url):
payload = {'api_key': 'my_api', 'url': url}
proxy_url = 'http://api.scraperapi.com/?'+urlencode(payload)
return
浏览 25提问于2020-07-06得票数 2
回答已采纳
通过搜索如何使用带有刮伤的代理，我发现了需要我使用某种中间件的解决方案。是否有一种方法可以让spider.py文件在执行请求时自行处理代理？例如，在Python请求库中，您可以在创建请求时添加代理参数，在使用scrapy时是否存在类似的情况？
浏览 7提问于2017-07-04得票数 1
回答已采纳
我正在尝试使用ip-api.com/php，但我的服务器上的响应非常慢，我发现这是因为file_get_contents
所以基本上，我有一个非常简单的脚本(我想是从github得到的)
function get_ip() {
//Just get the headers if we can or else use the SERVER global
if ( function_exists( 'apache_request_headers' ) ) {
$headers = apache_request_headers(
浏览 0提问于2018-03-15得票数 1
1回答
我使用scraper制作了一个网络刮刀，从获取音乐会门票数据。我已经能够成功地从页面上每个票证的元素中刮取数据，除了只能通过单击“票证”按钮进入票务页面并从页面上的票证中抓取票价才能访问的价格之外。
经过广泛的谷歌搜索，我发现Scrapy.js (以Splash为基础)可以在Scrapy中与页面上的JavaScript交互(比如需要单击的按钮)。我已经看到了一些关于Splash如何与JavaScript交互的基本示例，但没有一个使用了Splash与Scrapy的集成(甚至在文档中也没有)。
我一直遵循这样的格式:使用项目加载器将刮过的元素存储在解析方法中，然后通过调用第二个解析方法，发出请求，
浏览 2提问于2015-06-29得票数 6
我用Scrapy在我的数据库中记录了html页面。我想用同样的管道对它们进行修复。如何从数据库中获取页面，使其遵循与普通Scrapy管道相同的管道？
浏览 1提问于2017-08-17得票数 0
回答已采纳
我是scrapy的新手，我正在尝试使用一些代理来抓取一些craigslist页面，但我得到了一些错误，如下所示。我尝试了scrapy shell "https://craigslist.org"命令，它似乎工作得很好。
据我所知，如果我想使用代理，我必须构建定制的Downloader Middleware。我已经在这里这样做了：
class ProxyConnect(object):
def __init__(self):
self.proxies = None
with open(os.path.join(os.getcwd(), &#
浏览 0提问于2016-06-04得票数 1
给定Windows 2012 Server DHCP服务器
当为提供客户端MAC地址的IP地址添加IP保留时
这个客户已经关机了
具有不同MAC地址的不同Windows客户端请求此IP地址
然后，新客户端将获得IP地址，尽管MAC不匹配。
而预订将被重命名为新客户端FQDN。
那怎么会是预订呢？
浏览 0提问于2017-10-16得票数 0
1回答
在IIS的"IP地址和域限制“部分，是否有允许或禁止访问Amazon Elastic Load Balancer的选项？-我希望我的网站只对我自己(我的IP地址)可见。但是，如果我全部禁止，只允许我的IP地址，Amazon ELB就不能访问EC2实例。
使用Windows2012 IIS8。谢谢。
浏览 1提问于2013-02-13得票数 1
回答已采纳
1回答
关于自定义中间件和Scrapy项目中的init函数，我有一个问题。是否有人知道如何首先加载中间件，因为基本的init函数总是在加载之前？
浏览 2提问于2020-07-24得票数 0
我想使用Tor对一个网页发出多个GET请求。我想为每个请求使用不同的ipaddress，所以我编写了这个小程序。
from stem import Signal
from stem.control import Controller
import requests
def change_ip():
with Controller.from_port(port=9051) as contr:
contr.authenticate(password='abhishek')
contr.signal(Signal.NEWNYM)
sess
浏览 1提问于2020-07-07得票数 0
回答已采纳
所以我有一个非常简单的快递http服务器，它返回托管在127.0.0.1和6550端口上的简单html，它在本地主机上工作得很好。我将在这篇文章的末尾分享代码，但我不认为它能说明什么。
我想通过我的公共ip地址来达到这个目的，但我做不到(ERR_CONNECTION_TIMED_OUT)。当联机端口检查工具检查时，端口也显示关闭。
我有一个TP连接TD-W 9970调制解调器。这是港口转发：
📷
这是uPNP：
📷
我绝对相信我正在向正确的本地ip转发并使用正确的端口：
I注意到我从谷歌获得的公共ip和我从路由器获得的广域网信息是不同的。
我来自谷歌的公共ip : 85.107.**.13
我
浏览 0提问于2022-08-03得票数 -1
0
在L4交换机中，有一个“x转发-for”函数，它将客户端源ip地址放置在http报头中。
l4交换机只能知道第4层的信息，所以我很好奇如何将x转发-获取信息http头(http报头在第7层！！)。即使在https中，http报头也是加密的，L4如何切换解密这个加密的http报头，插入x-forwared以获取信息，并向后端发送数据包？
谢谢!
浏览 0提问于2022-04-30得票数 0
1回答
我的蜘蛛成功地提取了想要的数据，除了每次我运行这个蜘蛛时，它随机地遗漏了几个条目(大部分是1或2个)，这些请求的响应是200，并且没有涉及到javascript，因为当我单独测试那些URL时，它们工作得非常好。我试图通过减少并发请求的数量、增加下载延迟和增加下载超时来减缓抓取速度，但没有一个解决问题。下面是我输出的CSV文件在代码后面的图像。
蜘蛛代码：
import scrapy
from ..items import EurofaseItem
from scrapy.loader import ItemLoader
from itemloaders.processors import Ta
浏览 5提问于2022-03-17得票数 0
回答已采纳
我做了一个游戏，它需要客户端连接到服务器，但是服务器IP会随着每次游戏会话而不断变化，因为一个玩家既是主机(服务器)又是玩家(客户端)。我认为这将是很酷的，如果主机可以发送一个单一的数字(也许还有ascii字符)，其中将有IP和端口加密，我想要的一个很好的例子是kahoot，主机发送给每个人一个单一的数字，每个人都可以连接。我不是在寻找安全，只是一个简单的方式来传递IP和端口。我使用的是python2.7，但我只是想要一个关于如何做到这一点的解释(尽管代码会非常好)。 我希望它是这样的： 服务器： connection_code=encrypter(ip,port) 客户端： ip,port
浏览 18提问于2019-04-11得票数 0
1回答
所以我对网络和代理服务器的使用非常陌生。我有一个刮刀刮某些网站，但我意识到，我需要改变我的IP地址和诸如此类的，这样我就不会从网站引导。我在GitHub上找到了以下要使用的程序：
我每件事的实施情况如下：
蜘蛛：
# This package will contain the spiders of your Scrapy project
#
# Please refer to the documentation for information on how to create and manage
# your spiders.
import scrapy
from scrapy.spide
浏览 1提问于2015-11-07得票数 0
回答已采纳
我试图让Scrapy刮本地文件，而不是使用HTTPS的URL网站。我发现了一些与robots.txt文件相关的错误：
2020-07-13 23:58:43 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET file:///robots.txt> (failed 3 times): [Errno 2] No such file or directory: '/robots.txt'
2020-07-13 23:58:43 [scrapy.downloadermiddlewares.ro
浏览 2提问于2020-07-17得票数 1
回答已采纳
1回答
我一直在考虑在我的web应用程序中实现中间件的最优方法，它让我思考，中间件与事件有何不同？
假设在执行控制器之前，我要验证请求所来自的IP没有被列入黑名单。是创建新的中间件还是为OnRequest或BeforeController事件注册侦听器？这两个人不是实现了同样的目标吗？它们都在控制器之前执行，并且能够根据请求的内容采取行动。
我认为它们的不同之处在于中间件更加关注于前后控制器的概念，其中as事件可以用于整个应用程序中的所有类型的事情。
还有一个事实是，您可能不希望对每个请求执行IP检查，因此您必须有一种方法来排除/包括对某些控制器的检查。这在某种程度上与事件有关，因为他们背后的整个想法
浏览 0提问于2018-05-19得票数 1
回答已采纳
我正在运行一个非常简单的scrapy循环，在行https://api.ipify.org/中多次查询。
class IpSpider(scrapy.Spider):
name = "ip"
n = 0
use_proxy = True
def start_requests(self):
yield scrapy.Request(
"https://api.ipify.org/",
callback=self.parse_ip
)
浏览 20提问于2022-09-01得票数 0
回答已采纳
3回答
我不断地从www.caribbeanjobs.com被重定向。我已经编程我的蜘蛛不服从robot.txt，禁用cookies，尝试meta=dont_redirect。我还能做什么？
下面是我的蜘蛛：
import scrapy
from tutorial.items import CaribbeanJobsItem
class CaribbeanJobsSpider(scrapy.Spider):
name = "caribbeanjobs"
allowed_domains = ["caribbeanjobs.com/"]
浏览 4提问于2016-08-25得票数 2
回答已采纳
亚马逊S3存储桶策略在OpenStack Swift世界中是否等效？我们希望将某些容器的访问限制为特定的IP地址。任何其他IP地址都不应该能够访问这些容器。
浏览 0提问于2013-02-17得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
