python爬虫Scrapy框架爬取百度图片实例

Scrapy框架是一个强大的Python爬虫框架，它可以帮助我们快速地爬取网页数据。本文将介绍如何使用Scrapy框架爬取百度图片搜索结果页面中的网页图片。

一、Scrapy框架简介

Scrapy是一个基于Twisted的异步网络爬虫框架，它可以快速地爬取大量的网页数据。Scrapy框架具有以下特点：

1. 异步处理：Scrapy使用异步处理方式，可以大大提高爬虫的效率。
2. 支持多种数据存储方式：Scrapy支持多种数据存储方式，包括内存、文件系统和数据库等。
3. 可扩展性强：Scrapy框架具有良好的可扩展性，可以通过插件来扩展其功能。
4. 易于使用：Scrapy框架提供了简单易用的API,可以快速上手。

二、爬取百度图片搜索结果页面

要爬取百度图片搜索结果页面中的网页图片，我们需要先分析该页面的结构。百度图片搜索结果页面通常包含多个图片链接，每个图片链接都对应一个图片资源。我们可以使用Scrapy框架来爬取这些图片链接，并下载对应的图片资源。

以下是一个简单的Scrapy项目示例，用于爬取百度图片搜索结果页面中的网页图片：

import scrapy

from scrapy.http import Request

from urllib.parse import quote



class BaiduImageSpider(scrapy.Spider):

    name = 'baidu_image_spider'

    allowed_domains = ['image.baidu.com']

    start_urls = ['https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=index&fr=&hs=0&xthttps=111110&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E7%BE%8E%E5%A5%B3']



    def parse(self, response):

        for image in response.css('div.img'):

            img_url = image.css('img::attr(src)').get()

            if img_url:

                yield Request(url='https://www.baidu.com' + img_url, callback=self.parse_image)

                yield {'image_url': img_url}



    def parse_image(self, response):

        image_url = response.urljoin(response.css('img::attr(src)').get())

        yield {'image_url': image_url}

在上面的代码中，我们定义了一个名为BaiduImageSpider的Scrapy爬虫类。该类继承自scrapy.Spider,并定义了两个方法：parse()和parse_image()。parse()方法用于解析百度图片搜索结果页面，并提取其中的图片链接；parse_image()方法用于下载对应的图片资源。

在parse()方法中，我们首先使用CSS选择器div.img来定位百度图片搜索结果页面中的图片元素。然后，我们使用CSS选择器img::attr(src)来提取每个图片元素的src属性值，即图片链接。如果找到了图片链接，我们就使用Request()函数创建一个新的请求对象，并指定回调函数为parse_image()。最后，我们将提取到的图片链接添加到响应中，以便后续下载。

在parse_image()方法中，我们同样使用CSS选择器img::attr(src)来提取图片链接，并将其转换为完整的URL地址。然后，我们使用yield语句将提取到的图片链接添加到响应中。这样，当Scrapy框架收到这个响应时，就会自动调用parse_image()方法来下载对应的图片资源。