第四次：初识爬虫框架Scrapy

一、前言

今天给大家分享的是，Python里的爬虫框架Scrapy学习，包含python虚拟环境的搭建、虚拟环境的使用、Scrapy安装方法详解、Scrapy基本使用、Scrapy项目目录及内容基本介绍，let's go！

二、Python爬虫框架Scrapy简介

三、看代码，边学边敲边记虚拟环境、Scrapy框架

1.新建一个虚拟环境

下面 操作之前你需要准备好：

(1) 你的版本是3.x，最好系统里只有一个python环境,后面所有学习笔记都基于的。

(2)环境里先安装模块，基本方法 。

(3)选择好虚拟环境的安装目录(我选的是H盘目录下的文件夹，建议你选的目录路径里最好不要有中文)。

安装完成后再自己选择的目录下会多出一个文件夹(虚拟环境)，我这里为,后面所有爬虫学习过程中需要的模块、接口都将(安装)在里面。

2.打开虚拟环境，安装Scrapy框架

进入到目录(我的虚拟环境目录)，按住+鼠标右键，打开或者(如果是就先输入)，再输入，进入虚拟环境，你会发现在路径前面多了一个括号里面是你的虚拟环境名称，表示你进入了虚拟环境。具体看下面：

安装模块(下面操作都是在虚拟环境下)：

方法一：直接pip安装(最简单，安装慢，可能出错)

方法二：轮子(wheel)安装(比较简单，安装速度还可以，基本不出错)

点击这里下载scrapy的文件，然后移动到你的虚拟环境目录下(比如我的就移动到),

方法三：豆瓣源安装(比较简单，安装速度快，方便，推荐)

3.快速进入虚拟环境方法

安装模块，用于管理我们所建的虚拟环境

安装完成后，打开 - > -> - > -> -> ，在中输入如下

workon环境变量新建过程

在上面设置完成后，我们在执行下面命令，即可简单快速进入虚拟环境：

4.创建一个基于Scrapy框架的项目

创建成功后文件目录结构：

目录功能基本介绍:

创建一个(伯乐在线)的爬虫项目文件：

执行完成后会在项目的目录下多出一个文件，文件内容如下：

四、后言

    今天讲的东西涵盖面还比较广，特别是虚拟环境管理这块，还有很多命令，很实用，后面会慢慢给大家提及，大家也可以自己百度、谷歌查一下，另外，模块今天也算正式开始，go on!