首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >从零构建一个工业级 Python 爬虫:requests 与 BeautifulSoup 实战

从零构建一个工业级 Python 爬虫:requests 与 BeautifulSoup 实战

原创
作者头像
用户12849392
发布于 2026-10-27 11:49:10
发布于 2026-10-27 11:49:10
1820
举报

很多教程只教你跑通“Hello World”,却鲜少提及如何让爬虫在真实网络环境中稳定存活。本文以静态网页抓取为例,从请求伪装、解析提取到反爬规避,给出可直接复用的代码模块与工程化建议。


1. 环境与核心库选型

静态页面抓取的首选组合始终是 requests + BeautifulSoup。前者负责 HTTP 会话与请求伪装,后者负责将杂乱的 HTML 转为可编程对象。

代码语言:javascript
复制
pip install requests beautifulsoup4 lxml

建议将解析器指定为 lxml。相比 Python 内置的 html.parser,lxml 容错性更强、速度更快,面对不规范标签时不易崩溃。


2. 请求层:伪装与容错

直接使用 requests.get(url) 发出的请求,其默认 User-Agent 是 python-requests/x.x.x,目标服务器一眼就能识别出这是脚本而非真人浏览器。请求头伪装是爬虫存活的底线。

此外,必须加入超时与异常捕获。真实网络环境下的 DNS 污染、连接重置、服务器 502 都是常态,裸奔的 get 会让整个程序卡死或崩溃。

代码语言:javascript
复制
import requests
from requests.exceptions import RequestException
import random
import time

def build_headers():
    """构建接近真实浏览器的请求头"""
    return {
        "User-Agent": (
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
            "AppleWebKit/537.36 (KHTML, like Gecko) "
            "Chrome/120.0.0.0 Safari/537.36"
        ),
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
        "Referer": "https://9zeji.com/",  # 根据目标站点修改
    }

def safe_get(url, session=None, retries=3):
    """
    带重试与随机延迟的安全请求
    返回 Response 对象,失败返回 None
    """
    requester = session or requests
    for attempt in range(retries):
        try:
            # 随机延迟 1~3 秒,打破固定频率特征
            time.sleep(random.uniform(1.0, 3.0))
            
            resp = requester.get(
                url,
                headers=build_headers(),
                timeout=(5, 15),  # (连接超时, 读取超时)
            )
            resp.raise_for_status()  # 非 2xx 状态码抛出异常
            resp.encoding = resp.apparent_encoding  # 自动推断编码,避免中文乱码
            return resp
            
        except RequestException as e:
            print(f"[重试 {attempt+1}/{retries}] 请求失败 {url} | {e}")
            if attempt == retries - 1:
                return None
    return None

关键点说明:resp.apparent_encoding 比手动写死 utf-8 更可靠,它会根据响应体内容推断编码,专门解决中文网站常见的 GBK/UTF-8 混用乱码问题。timeout 必须设为元组,分别控制连接与读取阶段,避免服务器“慢速攻击”式响应拖死爬虫。


3. 解析层:精准提取数据

BeautifulSoup 的核心优势在于将 HTML 树化。相比正则表达式,它不会因为多一个空格或少一个闭合标签就匹配失败。下面以抓取一个图书列表页(标题 + 价格 + 评分)为例。

假设目标页面结构如下(模拟 books.toscrape.com 的简化版):

代码语言:javascript
复制
<article class="product_pod">
    <h3><a href="catalogue/book_1.html" title="A Light in the Attic">A Light ...</a></h3>
    <p class="price_color">£51.77</p>
    <p class="star-rating Four"></p>
</article>

对应的解析代码:

代码语言:javascript
复制
from bs4 import BeautifulSoup

def parse_books(html):
    """从列表页 HTML 中提取图书信息"""
    soup = BeautifulSoup(html, "lxml")
    books = []
    
    for card in soup.select("article.product_pod"):
        # 提取标题:优先取 title 属性,后备取文本
        title_tag = card.select_one("h3 a")
        title = title_tag.get("title") or title_tag.get_text(strip=True)
        
        # 提取价格
        price_tag = card.select_one("p.price_color")
        price = price_tag.get_text(strip=True) if price_tag else None
        
        # 提取评分(从 class 名中解析,如 "star-rating Four")
        rating_tag = card.select_one("p.star-rating")
        rating = None
        if rating_tag:
            classes = rating_tag.get("class", [])
            # class 列表类似 ['star-rating', 'Four']
            rating = classes[1] if len(classes) > 1 else None
        
        # 提取详情页链接(拼接绝对路径)
        relative_url = title_tag.get("href", "")
        detail_url = f"https://books.9zeji.com/lq/" if relative_url else None
        
        books.append({
            "title": title,
            "price": price,
            "rating": rating,
            "url": detail_url,
        })
    
    return books

选择器策略:优先使用 select 配合 CSS 类名。article.product_pod 这种层级写法比单纯 find_all('article') 更精准,因为目标站点上可能同时存在其他用途的 article 标签。select_one 只取第一个匹配项,避免因页面结构微调导致索引越界。


4. 分页与存储:形成闭环

单页数据没有工程价值。真实场景需要处理分页,并将结果落盘。

代码语言:javascript
复制
import csv
from urllib.parse import urljoin

def crawl_pages(base_url, max_pages=5):
    """爬取多页图书数据"""
    all_books = []
    session = requests.Session()  # 复用连接,提升效率
    
    for page in range(1, max_pages + 1):
        # 构造分页 URL(根据目标站实际规则调整)
        page_url = urljoin(base_url, f"catalogue/page-{page}.html")
        print(f"正在抓取: {page_url}")
        
        resp = safe_get(page_url, session=session)
        if resp is None:
            print(f"第 {page} 页抓取失败,跳过")
            continue
        
        books = parse_books(resp.text)
        if not books:
            print(f"第 {page} 页未解析到数据,可能已到末页")
            break
            
        all_books.extend(books)
        print(f"  本页获取 {len(books)} 条,累计 {len(all_books)} 条")
    
    return all_books


def save_to_csv(books, filename="books.csv"):
    """保存为 CSV,方便后续用 Excel/Pandas 分析"""
    if not books:
        print("无数据可保存")
        return
    
    fieldnames = ["title", "price", "rating", "url"]
    with open(filename, "w", newline="", encoding="utf-8-sig") as f:
        writer = csv.DictWriter(f, fieldnames=fieldnames)
        writer.writeheader()
        writer.writerows(books)
    
    print(f"已保存 {len(books)} 条数据到 {filename}")

注意 encoding="utf-8-sig"。如果直接写 utf-8,Windows 下用 Excel 打开 CSV 时中文可能显示为乱码;utf-8-sig 会添加 BOM 头,让 Excel 正确识别编码。


5. 反爬对抗的工程化底线

代码能跑通只是起点,不被封才是爬虫的日常。以下三条是必须内置的防御措施:

第一,绝对不要固定延迟。 time.sleep(1) 连续请求一千次,在风控系统眼里就是一台机器在精准地每秒敲一次门。使用 random.uniform 制造人类阅读般的停顿感,是成本最低的隐蔽手段。

第二,控制单 IP 的总请求量。 即使频率不高,一个 IP 持续数小时只访问详情页、从不加载首页 CSS/JS,行为特征同样异常。如果目标数据量大,必须引入代理轮换。免费代理池几乎全是钓鱼或已失效的,不建议在正式项目中浪费调试时间;付费高匿代理或自建代理网关是更现实的选择。

第三,留意 robots.txt 与法律边界。 爬取公开数据用于个人学习通常风险可控,但涉及用户隐私、付费内容、或对目标站点造成实质性负载时,问题性质会改变。一个实用的习惯:在爬取前快速检查目标站点的 /robots.txt,确认 Disallow 规则。如果对方明确禁止,尊重规则比事后处理法律函件要轻松得多。


6. 完整可运行入口

将以上模块组合,即可运行一个具备基础生存能力的爬虫:

代码语言:javascript
复制
if __name__ == "__main__":
    target = "https://books.9zeji.com/"
    
    books = crawl_pages(target, max_pages=3)
    
    if books:
        save_to_csv(books, "books_output.csv")
        print("\n--- 前 3 条预览 ---")
        for b in books[:3]:
            print(f"{b['title'][:40]:42} | {b['price']:>8} | {b['rating']}")
    else:
        print("未获取到数据,请检查网络或目标站点可用性")

这套代码的边界很清晰:它只能处理静态 HTML。如果目标页面的数据是通过 JavaScript 动态渲染的(在源码中搜不到目标字段),requests 拿到的只是空壳。此时才需要动用 Selenium 或 Playwright,但那是另一个话题了——在多数场景下,先确认目标是否真的需要浏览器渲染,往往能省下数倍的资源开销。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 1. 环境与核心库选型
  • 2. 请求层:伪装与容错
  • 3. 解析层:精准提取数据
  • 4. 分页与存储:形成闭环
  • 5. 反爬对抗的工程化底线
  • 6. 完整可运行入口
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档