Scrapy / Selenium -响应url未传递到web浏览器

Scrapy和Selenium是两种常用的网络爬虫工具，用于提取网页数据。在使用Scrapy和Selenium时，有时会遇到响应的URL未传递到web浏览器的问题。

这个问题通常出现在使用Selenium时，因为Selenium是一个自动化测试工具，它模拟用户在浏览器中的操作。当使用Selenium打开一个URL时，它会等待页面加载完成后才返回响应。但是在Scrapy中，当使用Selenium时，Scrapy并不会等待Selenium加载页面完成，而是立即返回响应。

解决这个问题的方法是使用Scrapy的中间件来处理Selenium的请求。中间件是Scrapy的一个扩展机制，可以在请求和响应之间进行处理。通过编写一个中间件，我们可以在请求发送到Selenium之前，将请求的URL传递给Selenium，并等待Selenium加载页面完成后再返回响应。

以下是一个示例中间件的代码：

from scrapy import signals
from scrapy.http import HtmlResponse
from selenium import webdriver

class SeleniumMiddleware(object):
    @classmethod
    def from_crawler(cls, crawler):
        middleware = cls()
        crawler.signals.connect(middleware.spider_opened, signal=signals.spider_opened)
        crawler.signals.connect(middleware.spider_closed, signal=signals.spider_closed)
        return middleware

    def spider_opened(self, spider):
        self.driver = webdriver.Chrome()  # 使用Chrome浏览器，需要安装ChromeDriver
        self.driver.set_page_load_timeout(10)

    def spider_closed(self, spider):
        self.driver.quit()

    def process_request(self, request, spider):
        self.driver.get(request.url)
        body = self.driver.page_source.encode('utf-8')
        return HtmlResponse(self.driver.current_url, body=body, encoding='utf-8', request=request)

在这个示例中，我们使用了Selenium的ChromeDriver来实例化一个Chrome浏览器对象。在process_request方法中，我们使用self.driver.get(request.url)来加载请求的URL，并使用self.driver.page_source获取页面的源代码。最后，我们使用HtmlResponse来构造一个新的响应对象，并将其返回。

要在Scrapy中启用这个中间件，需要在settings.py文件中添加以下配置：

DOWNLOADER_MIDDLEWARES = {
    'your_project_name.middlewares.SeleniumMiddleware': 543,
}

请将your_project_name替换为你的Scrapy项目的名称。

这样，当使用Scrapy发送请求时，中间件会将请求的URL传递给Selenium，并等待页面加载完成后再返回响应。这样就解决了响应的URL未传递到web浏览器的问题。

关于Scrapy和Selenium的更多信息，你可以参考以下链接：

Scrapy官方文档：https://docs.scrapy.org/
Selenium官方文档：https://www.selenium.dev/documentation/

Selenium 是一个Web 的自动化测试工具，可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。Selenium库里有个叫 WebDriver 的API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像BeautifulSoup 或者其他Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。

如果download middleware中响应状态异常时，需要进行验证码处理，其中可能包含下载验证图片，向验证码接口或本地服务发送请求获取验证结果，带着验证结果向目标验证地址发送请求，向上次响应状态异常的URL重新发送请求等许多操作。因为scrapy是异步的，如果这里的各种请求用requests完成的话，同步操作会影响scrapy的速度，那么如何在download middleware中使用scrapy.request完成所有操作呢？或者有其他更好的方案来解决scrapy中过验证的操作（因为觉得上边在download middleware各种请求太繁琐了）？

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

Scrapy / Selenium -响应url未传递到web浏览器

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐