Python爬虫多次请求后被要求验证码的应对策略

原创

小白学大数据

发布于 2025-04-17 08:40:59

10000

代码可运行

运行总次数：0

代码可运行

在互联网数据采集领域，Python爬虫是一种强大的工具，能够帮助我们高效地获取网页数据。然而，在实际应用中，许多网站为了防止恶意爬取，会在检测到频繁请求时要求用户输入验证码。这无疑给爬虫的正常运行带来了挑战。本文将详细介绍Python爬虫在多次请求后被要求验证码时的应对策略，并提供具体的实现代码。

一、验证码的类型及原理

验证码（CAPTCHA）是一种区分用户是人类还是自动化程序的公共全自动程序。常见的验证码类型包括：

图片验证码：通过扭曲、变形的字符或数字组合，让用户识别并输入。
滑块验证码：要求用户将滑块拖动到指定位置。
点击验证码：要求用户点击图片中的特定位置或识别其中的元素。
短信验证码：通过发送短信验证码到用户手机，验证用户身份。

验证码的原理是利用人类视觉识别能力优于机器识别能力的特性，阻止自动化程序（如爬虫）的访问。当网站检测到短时间内多次请求时，会触发验证码机制，以确保后续操作是由真实用户完成。

二、Python爬虫被要求验证码的原因

请求频率过高：爬虫在短时间内发送大量请求，触发网站的反爬机制。
IP地址被识别：使用单一IP地址进行频繁请求，容易被网站识别为爬虫。
缺乏伪装：爬虫请求头（User-Agent、Referer等）未进行伪装，容易被网站识别。
数据采集模式：某些网站对特定数据采集模式敏感，一旦检测到类似爬虫的行为，会要求验证码。

三、应对策略

（一）降低请求频率

降低请求频率是最简单直接的应对方式。通过合理控制爬虫的请求间隔，避免触发网站的反爬机制。

import time

def fetch_data(url):
    response = requests.get(url)
    return response

urls = ["http://example.com/page1", "http://example.com/page2", ...]

for url in urls:
    data = fetch_data(url)
    # 处理数据
    time.sleep(2)  # 每次请求间隔2秒

（二）使用代理IP

使用代理IP可以隐藏爬虫的真实IP地址，避免因IP被封导致的验证码问题。常见的代理IP获取方式包括使用免费代理池或付费代理服务。

import requests

def fetch_data_with_proxy(url, proxy):
    proxies = {
        "http": proxy,
        "https": proxy
    }
    response = requests.get(url, proxies=proxies)
    return response

proxy_list = ["http://192.168.1.1:8080", "http://192.168.1.2:8080", ...]

for proxy in proxy_list:
    data = fetch_data_with_proxy("http://example.com", proxy)
    # 处理数据

（三）伪装请求头

通过修改请求头中的User-Agent、Referer等字段，伪装成正常的浏览器请求，降低被识别为爬虫的风险。

import requests

def fetch_data_with_headers(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
        "Referer": "http://example.com"
    }
    response = requests.get(url, headers=headers)
    return response

data = fetch_data_with_headers("http://example.com")
# 处理数据

（四）验证码识别与自动处理

对于图片验证码，可以使用OCR（光学字符识别）技术进行识别。常见的OCR工具包括Tesseract和百度OCR等。

使用Tesseract进行验证码识别

安装Tesseract：
- Windows：下载安装包并配置环境变量。
- Linux：sudo apt-get install tesseract-ocr。
使用Python调用Tesseract进行验证码识别。

from PIL import Image
import pytesseract
import requests
from io import BytesIO

def recognize_captcha(image_url):
    response = requests.get(image_url)
    image = Image.open(BytesIO(response.content))
    captcha_text = pytesseract.image_to_string(image)
    return captcha_text

captcha_url = "http://example.com/captcha.jpg"
captcha_text = recognize_captcha(captcha_url)
print("识别的验证码：", captcha_text)

四、综合案例：爬取需要验证码的网站

以下是一个综合应用上述策略的完整案例，爬取一个需要验证码的网站数据。

import requests
import time
import random
import pytesseract
from PIL import Image
from io import BytesIO

# 配置
captcha_url = "http://example.com/captcha.jpg"
target_url = "http://example.com/data"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Referer": "http://example.com"
}

# 代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 构造代理字典
proxies = {
    "http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}",
    "https": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
}

def fetch_captcha():
    # 使用代理请求验证码图片
    response = requests.get(captcha_url, headers=headers, proxies=proxies)
    image = Image.open(BytesIO(response.content))
    captcha_text = pytesseract.image_to_string(image)
    return captcha_text

def fetch_data_with_captcha(captcha_text):
    data = {
        "captcha": captcha_text
    }
    # 使用代理发送请求
    response = requests.post(target_url, headers=headers, data=data, proxies=proxies)
    return response

def main():
    while True:
        captcha_text = fetch_captcha()
        response = fetch_data_with_captcha(captcha_text)
        if response.status_code == 200:
            print("数据获取成功：", response.text)
            break
        else:
            print("验证码错误或请求失败，重新尝试...")
        time.sleep(random.uniform(1, 3))  # 随机停留1到3秒

if __name__ == "__main__":
    main()