Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >scrapy 进阶使用

scrapy 进阶使用

作者头像
乐百川
发布于 2018-01-09 03:02:46
发布于 2018-01-09 03:02:46
2K00
代码可运行
举报
运行总次数:0
代码可运行

前段时间我写了一篇《scrapy快速入门》,简单介绍了一点scrapy的知识。最近我的搬瓦工让墙了,而且我又学了一点mongodb的知识,所以这次就来介绍一些scrapy的进阶知识,做一些真正有用的爬虫来。

scrapy组件介绍

首先先来介绍一下scrapy的体系结构和组件。

  • scrapy引擎。顾名思义,它负责调用爬虫爬取页面并将数据交给管道来处理。
  • 调度程序。调度程序从引擎获取请求,然后将这些请求交给相应的处理者来处理。
  • 下载器。下载器负责获取web页面,然后将它们交给引擎来处理。
  • 爬虫。这是我们要编写的部分,爬虫负责从页面抽取要处理的数据,然后交由管道来处理。
  • 项目管道。爬虫抽取出来的数据,就要交给管道来处理,我们可以编写自己的管道来清洗、验证和持久化数据。
  • 下载器中间件。下载器中间件在下载器和scrapy引擎之间工作,我们可以利用下载器中间件在将页面交给爬虫之前做一些事情。scrapy内置了一些下载器中间件,这些中间件将在后面介绍。
  • 爬虫中间件。爬虫中间件可以让我们控制爬虫的回调等等。在后面会介绍一些内置的爬虫中间件。

下面是scrapy官网的结构图,可以帮助我们理解scrapy的体系。

项目(Item)

在以前的爬虫中我们都是直接返回一个字典,其实这并不是最佳实践。scrapy提供了一个Item基类,我们可以通过继承这个类定义自己的结构化数据,比到处传递字典更好。下面是官方文档的例子。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import scrapy

class Product(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    stock = scrapy.Field()
    last_updated = scrapy.Field(serializer=str)

这些项目类一般都定义在scrapy项目的items.py文件中。定义好之后,在爬虫中我们就不应该在反掌字典了,而是初始化并返回我们自定义的Item对象。

请求和响应对象

scrapy通过请求和响应对象来处理网页请求,这部分的文档可以参考https://doc.scrapy.org/en/latest/topics/request-response.html。请求和响应还有一些子类,可以帮助我们完成更具体的工作。例如Request的子类FormRequest就可以帮助我们模拟用户登录。

有时候需要模拟用户登录,这时候可以使用FormRequest.from_response方法。这时候爬虫功能稍有变化,parse函数用来发送用户名和密码,抽取数据的操作放在回调函数中进行。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import scrapy

class LoginSpider(scrapy.Spider):
    name = 'example.com'
    start_urls = ['http://www.example.com/users/login.php']

    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response,
            formdata={'username': 'john', 'password': 'secret'},
            callback=self.after_login
        )

    def after_login(self, response):
        # 检查是否登录成功
        if "authentication failed" in response.body:
            self.logger.error("Login failed")
            return

        # 在这里继续爬取数据

管道(pipeline)

管道用来处理爬虫抽取到的数据,我们可以通过管道对数据进行验证和持久化等操作。管道其实就是带有process_item(self, item, spider)函数的一个普通类。下面是scrapy官方文档的例子,这个例子验证获取到的数据是否存在价格字段,并丢弃没有价格字段的无效数据。这里还引用了scrapy预定义的DropItem异常,这个异常必须在管道中抛出,表示管道应该丢弃这个数据。如果想了解scrapy异常,可以查看官方文档

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from scrapy.exceptions import DropItem

class PricePipeline(object):

    vat_factor = 1.15

    def process_item(self, item, spider):
        if item['price']:
            if item['price_excludes_vat']:
                item['price'] = item['price'] * self.vat_factor
            return item
        else:
            raise DropItem("Missing price in %s" % item)

管道不是一定义好就能用的,还需要在配置文件settings.py中激活。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ITEM_PIPELINES = {
    'myproject.pipelines.PricePipeline': 300,
    'myproject.pipelines.JsonWriterPipeline': 800,
}

将数据保存到MongoDB的管道

管道除了验证数据,还可以将数据保存到数据库中。这时候仅仅一个process_item(self, item, spider)函数就不够了。所以操作数据库的管道还应该包含几个函数用于建立和关闭数据库连接。

下面的例子也是scrapy官方文档的例子,演示了持久化数据管道的用法。这个管道是从类方法from_crawler(cls, crawler)中初始化出来的,该方法实际上读取了scrapy的配置文件。这和直接将数据库连接写在代码中相比,是更加通用的方式。初始化和关闭数据库连接的操作都在对应的方法中执行。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import pymongo

class MongoPipeline(object):

    collection_name = 'scrapy_items'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

使用文件和图片管道

文件和图片管道处理过程

除了自己编写管道之外,scrapy还预定义了几个管道,可以帮助我们方便的保存文件和图片。这些管道有以下特点:

  • 可以避免重复下载最近的文件。
  • 指定文件保存位置(文件系统或者亚马逊S3)

对于图片管道来说还有额外功能:

  • 将图片转换成常见格式(JPG)和模式(RGB)
  • 生成图片缩略图
  • 只下载大于某长宽的图片

使用文件管道的过程如下:

  1. 首先需要Item类中有file_urlsfiles两个属性,然后在爬虫中将想爬取的文件地址放到file_urls属性中,然后返回
  2. 在Item传递到文件管道的时候,调度程序会用下载器将地址对应的文件下载下来,将文件属性(包括保存路径等)放到files属性中,file_urlsfiles中是一一对应的

使用图片管道的过程是相似的,不过要操作的属性是image_urlsimages

如果你不想使用这几个属性,其实属性名也是可以修改的,需要修改下面四个属性。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
FILES_URLS_FIELD = 'field_name_for_your_files_urls'
FILES_RESULT_FIELD = 'field_name_for_your_processed_files'
IMAGES_URLS_FIELD = 'field_name_for_your_images_urls'
IMAGES_RESULT_FIELD = 'field_name_for_your_processed_images'

管道配置

要启用文件管道和图片管道,同样需要激活,当然如果同时激活这两个管道也是可行的。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}
# 或者
ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1}

文件和图片保存位置需要分别指定。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
FILES_STORE = '/path/to/valid/dir'
IMAGES_STORE = '/path/to/valid/dir'

文件和图片管道可以避免下载最近的文件,对应的文件过期时间也可以配置,单位是天。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 120 days of delay for files expiration
FILES_EXPIRES = 120

# 30 days of delay for images expiration
IMAGES_EXPIRES = 30

图片管道可以在保存图片的时候同时生成缩略图,缩略图配置是一个字典,键是缩略图的名字,值是缩略图长和宽。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
IMAGES_THUMBS = {
    'small': (50, 50),
    'big': (270, 270),
}

最后图片会保存成下面这样,图片的文件名是图片路径的SHA1哈希值。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/图片保存路径/full/完整图片.jpg
/图片保存路径/thumbs/small/小图片.jpg
/图片保存路径/thumbs/big/中图片.jpg

如果不想使用SHA1哈希值作为文件名,可以继承ImagesPipeline基类并重写file_path函数,这里是一位简书作者的爬虫项目,他重写了这个函数。我们可以作为参考。

如果要过滤小图片,启用下面的配置。默认情况下对图片尺寸没有约束,所以所有图片都会下载。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110

默认情况下文件和图片管道不支持重定向,遇到需要重定向的链接意味着下载失败,不过我们也可以启用重定向。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
MEDIA_ALLOW_REDIRECTS = True

下载器中间件

下载器中间件可以在scrapy引擎和爬虫之间操纵请求和响应对象。要启用下载器中间件,启用下面的配置。这是一个字典,字典的键是要启用的中间件,值会用来比较中间件之间的顺序。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

如果希望禁用某些内置的中间件,可以将值设置为None

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

编写自己的下载器中间件

自定义下载器中间件应该继承scrapy.downloadermiddlewares.DownloaderMiddleware类,该类有如下几个方法,用于操纵请求和响应,我们只要重写这几个方法即可。这几个方法的作用请参考官方文档,它们比较复杂,所以我就不说了。

  • process_request(request, spider)
  • process_response(request, response, spider)
  • process_exception(request, exception, spider)

内置的下载器中间件

scrapy内置了14个下载器中间件,我简单介绍一下其中的几个。详情参考文档。

CookiesMiddleware

用于在爬虫发起请求和获取响应的时候保持Cookie。

DefaultHeadersMiddleware

用于设置请求的默认请求头。

该配置位于DEFAULT_REQUEST_HEADERS,默认值如下。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
{
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
}
HttpProxyMiddleware

设置使用的网络代理。

UserAgentMiddleware

设置使用的用户代理。

爬虫中间件

与下载器中间件类似,启用爬虫中间件需要一个字典来配置。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
SPIDER_MIDDLEWARES = {
    'myproject.middlewares.CustomSpiderMiddleware': 543,
}

想要关闭某个中间件的时候传递None值。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
SPIDER_MIDDLEWARES = {
    'myproject.middlewares.CustomSpiderMiddleware': 543,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}

自定义爬虫中间件

编写自己的爬虫中间件需要继承scrapy.spidermiddlewares.SpiderMiddleware基类,并重写以下几个方法。

  • process_spider_input(response, spider)
  • process_spider_output(response, result, spider)
  • process_spider_exception(response, exception, spider)
  • process_start_requests(start_requests, spider)

内置的爬虫中间件

scrapy内置了5个爬虫中间件,这里我仅介绍一两个。

DepthMiddleware

该中间件记录了爬虫爬取请求地址的深度。

我们可以使用DEPTH_LIMIT来指定爬虫爬取的深度。

UrlLengthMiddleware

该中间件会过滤掉超出最大允许长度的URL,爬虫不会访问这些超长URL。

最大长度通过URLLENGTH_LIMIT配置来指定,默认值是2083。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
URLLENGTH_LIMIT = 2083

内建服务

scrapy内置了几个服务,可以让我们使用scrapy更加方便。

日志

爬虫类定义了log函数,我们可以方便的在爬虫类中记录日志。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import scrapy

class MySpider(scrapy.Spider):

    name = 'myspider'
    start_urls = ['https://scrapinghub.com']

    def parse(self, response):
        self.logger.info('Parse function called on %s', response.url)

日志相关的配置,点击可以跳转到官方文档查看详细信息。

发送电子邮件

有时候我们可能希望爬到一定数量的数据就发送电子邮件进行提醒。scrapy也内置了这个功能。我们可以通过构造函数参数来创建邮件发送器。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from scrapy.mail import MailSender
mailer = MailSender(这里是构造函数参数)

也可以从配置文件实例化。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mailer = MailSender.from_settings(settings)

然后调用send方法就可以发送邮件了。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mailer.send(to=["someone@example.com"], subject="Some subject", body="Some body", cc=["another@example.com"])

电子邮件相关配置参考官方文档

web服务

这个功能本来是写在官方文档内建服务条目下的,但是实际上这个功能已经变成了一个单独的项目,需要额外安装。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install scrapy-jsonrpc

然后在扩展中包含这个功能。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
EXTENSIONS = {
    'scrapy_jsonrpc.webservice.WebService': 500,
}

还需要在配置中启用该功能。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
JSONRPC_ENABLED = True

然后在爬虫运行的时候访问http://localhost:6080/crawler即可查看爬虫运行情况了。

该项目的其他配置查看其官方文档

优化爬虫

爬虫项目可以通过修改一些配置进行优化。

增大并发数

并发数可以通过下面的配置进行设置。具体的并发数需要根据服务器的CPU等设置来进行更改。一般来说服务器CPU使用在80%-90%之间利用率比较高。我们可以从并发数100开始反复进行测试。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
CONCURRENT_REQUESTS = 100

增大线程池

scrapy通过一个线程池来进行DNS查询,增大这个线程池一般也可以提高scrapy性能。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
REACTOR_THREADPOOL_MAXSIZE = 20

降低日志级别

默认情况下scrapy使用debug级别来打印日志,通过降低日志级别,我们可以减少日志打印,从而提高程序运行速度。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
LOG_LEVEL = 'INFO'

禁用Cookie

如果不是必须的,我们可以通过禁用Cookie来提高性能。如果需要登录用户才能爬取数据,不要禁用Cookie。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
COOKIES_ENABLED = False

关闭重试

频繁重试可能导致目标服务器响应缓慢,我们自己访问不了别人也访问不了。所以可以考虑关闭重试。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
RETRY_ENABLED = False

减少下载超时

如果网络连接比较快的话,我们可以减少下载超时,让爬虫卡住的请求中跳出来,一般可以提高爬虫效率。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
DOWNLOAD_TIMEOUT = 15

关闭重定向

如果不是必要的话,我们可以关闭重定向来提高爬虫性能。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
REDIRECT_ENABLED = False

自动调整爬虫负载

scrapy有一个扩展可以自动调节服务器负载,它通过一个算法来确定最佳的爬虫延时等设置。它的文档在这里

相关配置如下,点击链接可以跳转到对应文档。 * AUTOTHROTTLE_ENABLED * AUTOTHROTTLE_START_DELAY * AUTOTHROTTLE_MAX_DELAY * AUTOTHROTTLE_TARGET_CONCURRENCY * AUTOTHROTTLE_DEBUG * CONCURRENT_REQUESTS_PER_DOMAIN * CONCURRENT_REQUESTS_PER_IP * DOWNLOAD_DELAY

部署爬虫

官方文档介绍了两种部署爬虫的方式,可以将爬虫部署到服务器上远程执行。第一种是通过Scrapyd开源项目来部署,也是这里要介绍的方式。第二种是通过scrapy公司提供的商业收费版服务Scrapy Cloud部署,推荐有财力的公司考虑。

服务器端

首先服务器需要安装scrapyd包,如果是Linux系统还可以考虑使用对应的包管理器来安装。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install scrapyd
apt-get install scrapyd

然后运行scrapyd服务,如果使用系统包管理器安装,那么可能已经配置好了systemd文件。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
scrapyd
# 或者
systemctl enable scrapyd

scrapyd附带了一个简单的web界面可以帮助我们查看爬虫运行情况,默认情况下访问http://localhost:6800/来查看这个界面。

scrapyd的配置文件可以是~/.scrapyd.conf或者/etc/scrapyd/scrapyd.conf。下面是一个简单配置,绑定所有端口,这样一来从任意位置都可以访问web界面。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[scrapyd]
bind_address = 0.0.0.0

scrapyd的功能可以查看其API文档

客户端

客户端如果要上传爬虫,可以通过服务器API的端点addversion.json来实现,或者安装一个简便工具scrapyd-client

首先安装客户端工具。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install scrapyd-client

这个客户端目前好像有bug,在windows下运行scrapy-deploy命令不会直接执行,而是弹出一个文件关联对话框。如果你遇到这种情况,可以找到Python安装路径下的脚本路径(例如C:\Program Files\Python36\Scripts),然后编写一个scrapyd-deploy.bat批处理文件,内容如下。这样就可以正常运行了。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
@"c:\program files\python36\python.exe" "c:\program files\python36\Scripts\scrapyd-deploy" %*

然后切换到项目路径,编辑项目全局配置文件scrapy.cfg,添加部署路径。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[deploy]
url = http://192.168.64.136:6800/
project = quotesbot

然后直接运行scrapy-deploy命令,就可以看到项目已经成功部署到服务器上了。

运行爬虫需要使用scrapyd的API,例如使用curl,可以用下面的命令。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 curl http://192.168.64.136:6800/schedule.json -d project=quotesbot -d spider=toscrape-css

或者使用Jetbrains 系列IDE 2017.3的基于编辑器的HTTP客户端。

然后点击Jobs就可以看到爬虫已经开始运行了。如果要查看状态,点击右边的log即可。

以上就是scrapy的进阶介绍了,利用这些功能,我们可以编写更加实用的爬虫,并将它们部署到服务器上。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年12月05日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Scrapy(4)spider 帮助你寻找最美小姐姐
我们都知道我们平常想下载一些漂亮的图片来装饰自己的桌面,可是找到了都是需要收费的网站,真的很恼火,所以今天小编,可能要带大家实现这么一个工具,可以用来爬取某个网站的好看的图片
公众号---人生代码
2020/05/16
5020
起点小说爬取--scrapy/redis/scrapyd
之前写了一篇网络字体反爬之pyspider爬取起点中文小说 可能有人看了感觉讲的太模糊了,基本上就是一笔带过,一点也不详细。这里要说明一下,上一篇主要是因为有字体反爬,所以我才写了那篇文章,所以主要就是提一个字体反爬的概念让大家知道,其中并没有涉及到其他比较难的知识点,所以就是大概介绍一下。
星星在线
2018/08/21
1.8K0
起点小说爬取--scrapy/redis/scrapyd
收藏| Scrapy框架各组件详细设置
大家好,关于Requests爬虫我们已经讲了很多。今天我们就说一下Scrapy框架各组件的详细设置方便之后更新Scrapy爬虫实战案例。
刘早起
2020/05/14
7430
分布式爬虫搭建系列 之三---scrapy框架初用
其次,通过我们的神器PyCharm打开我们的项目--crawlquote(也可以将PyCharm打开我们使用虚拟环境创建的项目)
wfaceboss
2019/04/08
5860
分布式爬虫搭建系列 之三---scrapy框架初用
Python自动化开发学习-Scrapy
讲师博客:https://www.cnblogs.com/wupeiqi/p/6229292.html 中文资料(有示例参考):http://www.scrapyd.cn/doc/
py3study
2020/01/08
1.6K0
新闻推荐实战(四):scrapy爬虫框架基础
本文属于新闻推荐实战-数据层-构建物料池之scrapy爬虫框架基础。对于开源的推荐系统来说数据的不断获取是非常重要的,scrapy是一个非常易用且强大的爬虫框架,有固定的文件结构、类和方法,在实际使用过程中我们只需要按照要求实现相应的类方法,就可以完成我们的爬虫任务。文中给出了新闻推荐系统中新闻爬取的实战代码,希望读者可以快速掌握scrapy的基本使用方法,并能够举一反三。
用户9656380
2022/04/14
8780
新闻推荐实战(四):scrapy爬虫框架基础
#Python爬虫#Item Pipeline介绍(附爬取网站获取图片到本地代码)
当spider爬取到item后,它被发送到项目管道(Item Pipeline),通过几个组件按顺序进行处理。每一个Item Pipeline是一个实现了简单方法的Python类,它接收到一个item并对其执行一个操作,也要决定该item是否应该继续通过管道,或者被丢弃,不再进行处理。
程序员迪迪
2022/01/06
1.4K0
scrapy框架
scrapy genspider 应用名称 爬取网页的起始url (例如:scrapy genspider qiubai www.qiushibaike.com)
全栈程序员站长
2022/09/07
1.7K0
scrapy框架
一个scrapy框架的爬虫(爬取京东图书)
我们的这个爬虫设计来爬取京东图书(jd.com)。 scrapy框架相信大家比较了解了。里面有很多复杂的机制,超出本文的范围。 1、爬虫spider tips: 1、xpath的语法比较坑,但是你可以在chrome上装一个xpath helper,轻松帮你搞定xpath正则表达式 2、动态内容,比如价格等是不能爬取到的 3、如本代码中,评论爬取部分代码涉及xpath对象的链式调用,可以参考 # -*- coding: utf-8 -*- # import scrapy # 可以用这句代替下面三句,但不推荐
用户1225216
2018/03/05
1.4K0
Scrapy框架的使用之Scrapy入门
接下来介绍一个简单的项目,完成一遍Scrapy抓取流程。通过这个过程,我们可以对Scrapy的基本用法和原理有大体了解。 一、准备工作 本节要完成的任务如下。 创建一个Scrapy项目。 创建一个Spider来抓取站点和处理数据。 通过命令行将抓取的内容导出。 将抓取的内容保存的到MongoDB数据库。 二、准备工作 我们需要安装好Scrapy框架、MongoDB和PyMongo库。 三、创建项目 创建一个Scrapy项目,项目文件可以直接用scrapy命令生成,命令如下所示: scrapy st
崔庆才
2018/06/25
1.4K0
Scrapy框架的使用之Item Pipeline的用法
Item Pipeline是项目管道,本节我们详细了解它的用法。 首先我们看看Item Pipeline在Scrapy中的架构,如下图所示。 图中的最左侧即为Item Pipeline,它的调用发生
崔庆才
2018/06/25
7.3K1
Scrapy框架
简单网页的爬取可以利用re模块,复杂网页的爬取对于内容的提取则会显得十分麻烦。Scrapy框架是python下的一个爬虫框架,因为它足够简单方便受到人们的青睐。
爱编程的小明
2022/09/05
4960
Scrapy框架
Scrapy框架之批量下载360妹纸图
0.导语1.项目初始化2.定义存储结构3.Spider核心代码4.pipeline下载及存储5.json知识
公众号guangcity
2019/09/20
5510
Scrapy框架之批量下载360妹纸图
爬虫框架scrapy
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
菲宇
2019/06/12
1.8K0
爬虫框架scrapy
Scrapy项目实战:爬取某社区用户详情
get_cookies.py from selenium import webdriver from pymongo import MongoClient from scrapy.crawler import overridden_settings # from segmentfault import settings import time import settings class GetCookies(object): def __init__(self): # 初始化组件
hankleo
2020/09/17
5720
实操 | 从0到1教你用Python来爬取整站天气网
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。
润森
2019/09/17
7470
实操 | 从0到1教你用Python来爬取整站天气网
17.splash_case06_ScrapySplashTest-master
taobao.py # -*- coding: utf-8 -*- from scrapy import Spider, Request from urllib.parse import quote from scrapysplashtest.items import ProductItem from scrapy_splash import SplashRequest script = """ function main(splash, args) splash.images_enabled = f
hankleo
2020/09/17
3950
Python(十六)
接下来的几篇,我们将介绍一下最流行的爬虫框架 Scrapy。本篇,我们会介绍一下 Scrapy 的基本使用。
1ess
2021/11/01
3260
Python(十六)
【0基础学爬虫】爬虫基础之scrapy的使用
大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬虫】专栏,帮助小白快速入门爬虫,本期为自动化工具 Selenium 的使用。
K哥爬虫
2024/07/01
1680
【0基础学爬虫】爬虫基础之scrapy的使用
《手把手带你学爬虫──初级篇》第6课 强大的爬虫框架Scrapy
Scrapy是一个Python爬虫应用框架,爬取和处理结构性数据非常方便。使用它,只需要定制开发几个模块,就可以轻松实现一个爬虫,让爬取数据信息的工作更加简单高效。
GitOPEN
2019/01/29
1.1K0
《手把手带你学爬虫──初级篇》第6课  强大的爬虫框架Scrapy
相关推荐
Scrapy(4)spider 帮助你寻找最美小姐姐
更多 >
LV.0
这个人很懒,什么都没有留下~
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验