爬虫系列-Python如何爬虫抓取网页

用户10002156

发布于 2023-08-07 10:28:18

1880

发布于 2023-08-07 10:28:18

文章被收录于专栏：生活处处有BUG

背景

最近在学爬虫技术，顺便记录一下学习的过程，供各位小伙伴参考。

Python爬虫抓取网页

当 URL 路径或者查询参数中，带有中文或者特殊字符的时候，就需要对 URL 进行编码（采用十六进制编码格式）。URL 编码的原则是使用安全字符去表示那些不安全的字符。

安全字符，指的是没有特殊用途或者特殊意义的字符。

URL基本组成

本节讲解第一个 Python 爬虫实战案例：抓取您想要的网页，并将其保存至本地计算机。

首先我们对要编写的爬虫程序进行简单地分析，该程序可分为以下三个部分：

• 拼接 url 地址
• 发送请求
• 将照片保存至本地

明确逻辑后，我们就可以正式编写爬虫程序了。

导入所需模块

本节内容使用 urllib 库来编写爬虫，下面导入程序所用模块：

from urllib import request
from urllib import parse

拼接URL地址

定义 URL 变量，拼接 url 地址。代码如下所示：

url = 'https://www.sogou.com/web?{}'
#想要搜索的内容
word = input('请输入搜索内容:')
params = parse.quote(word)
full_url = url.format(params)

向URL发送请求

发送请求主要分为以下几个步骤：

• 创建请求对象-Request
• 获取响应对象-urlopen
• 获取响应内容-read

代码如下所示：

#重构请求头
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
#创建请求对应
req = request.Request(url=full_url,headers=headers)
#获取响应对象
res = request.urlopen(req)
#获取响应内容
html = res.read().decode("utf-8")

保存为本地文件

把爬取的照片保存至本地，此处需要使用 Python 编程的文件 IO 操作，代码如下：

filename = word + '.html'
with open(filename,'w', encoding='utf-8') as f:
    f.write(html)

完整程序如下所示：

from urllib import request,parse

# 1.拼url地址
url = 'https://www.sogou.com/web?{}'
word = input('请输入搜索内容:')
params = parse.quote(word)
full_url = url.format(params)

# 2.发请求保存到本地
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
req = request.Request(url=full_url,headers=headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')

# 3.保存文件至当前目录
filename = word + '.html'
with open(filename,'w',encoding='utf-8') as f:
    f.write(html)

尝试运行程序，并输入编程帮，确认搜索，然后您会在 Pycharm 当前的工作目录中找到“编程帮.html”文件。

函数式编程修改程序

Python 函数式编程可以让程序的思路更加清晰、易懂。接下来，使用函数编程的思想更改上面代码。

定义相应的函数，通过调用函数来执行爬虫程序。修改后的代码如下所示：

from urllib import request
from urllib import parse

# 拼接URL地址
def get_url(word):
  url = 'https://www.sogou.com/web?{}'
  #此处使用urlencode()进行编码
  params = parse.urlencode({'query':word})
  url = url.format(params)
  return url
  
# 发请求,保存本地文件
def request_url(url, filename):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
        'Referer': 'https://www.sogou.com/web'  # 添加Referer字段，指向百度的主页
    }
    # 请求对象 + 响应对象 + 提取内容
    req = request.Request(url=url, headers=headers)
    res = request.urlopen(req)
    html = res.read().decode('utf-8')
    # 保存文件至本地
    with open(filename, 'w', encoding='utf-8') as f:
        f.write(html)
    
# 主程序入口

if __name__ == '__main__':
  word = input('请输入搜索内容:')
  url = get_url(word)
  print(url)
  filename = word + '.html'
  request_url(url,filename)

除了使用函数式编程外，您也可以使用面向对象的编程方法（本教程主要以该方法），在后续内容中会做相应介绍。