首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >一个案例要你Python 爬虫入门

一个案例要你Python 爬虫入门

原创
作者头像
用户12849392
发布于 2026-11-12 16:10:27
发布于 2026-11-12 16:10:27
1220
举报

一、什么是网络爬虫?

网络爬虫(Web Crawler)是一种按照既定规则自动抓取互联网信息的程序。它就像一只不知疲倦的"蜘蛛",在网页之间穿梭,把需要的数据收集起来。爬虫广泛应用于数据采集、舆情监控、价格比对、学术研究等领域。


二、环境准备

在开始之前,确保你的 Python 环境中安装了以下库:

代码语言:javascript
复制
pip install requests beautifulsoup4
  • requests:用于发送 HTTP 请求,获取网页内容
  • beautifulsoup4:用于解析 HTML,提取所需数据

三、基础爬虫示例

下面是一个简单的爬虫,用于抓取豆瓣电影 Top 250 的电影名称和评分:

代码语言:javascript
复制
import requests
from bs4 import BeautifulSoup
import time


def fetch_douban_top250():
    """抓取豆瓣电影 Top 250"""
    
    # 设置请求头,模拟浏览器访问
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                       "AppleWebKit/537.36 (KHTML, like Gecko) "
                       "Chrome/120.0.0.0 Safari/537.36"
    }
    
    all_movies = []
    
    # Top 250 共 10 页,每页 25 部
    for page in range(10):
        url = f"https://movie.douban.com/top250?start={page * 25}&filter="
        
        try:
            response = requests.get(url, headers=headers, timeout=10)
            response.raise_for_status()  # 检查请求是否成功
            response.encoding = "utf-8"
        except requests.RequestException as e:
            print(f"请求失败: {e}")
            continue
        
        soup = BeautifulSoup(response.text, "html.parser")
        items = soup.find_all("div", class_="item")
        
        for item in items:
            # 提取电影名称
            title = item.find("span", class_="title").get_text()
            # 提取评分
            rating = item.find("span", class_="rating_num").get_text()
            # 提取评价人数
            comment = item.find("div", class_="star").find_all("span")[-1].get_text()
            
            movie_info = {
                "电影名称": title,
                "评分": rating,
                "评价": comment
            }
            all_movies.append(movie_info)
            print(f"{title} | 评分: {rating} | {comment}")
        
        # 礼貌爬取,每次请求间隔 1 秒
        time.sleep(1)
    
    return all_movies


def save_to_csv(movies, filename="douban_top250.csv"):
    """将数据保存为 CSV 文件"""
    import csv
    
    with open(filename, "w", newline="", encoding="utf-8-sig") as f:
        writer = csv.DictWriter(f, fieldnames=["电影名称", "评分", "评价"])
        writer.writeheader()
        writer.writerows(movies)
    
    print(f"\n数据已保存至 {filename}")


if __name__ == "__main__":
    print("=" * 50)
    print("开始抓取豆瓣电影 Top 250...")
    print("=" * 50)
    
    movies = fetch_douban_top250()
    
    if movies:
        print(f"\n共抓取 {len(movies)} 部电影")
        save_to_csv(movies)
    else:
        print("未抓取到任何数据")

四、代码解析

步骤

说明

设置 Headers

添加 User-Agent 模拟浏览器,避免被网站识别为爬虫而拒绝访问

发送请求

使用 requests.get() 获取网页 HTML 内容

解析 HTML

BeautifulSoup 将 HTML 解析为树形结构,方便定位元素

提取数据

通过 find() 和 find_all() 方法定位目标标签,用 get_text() 提取文本

礼貌爬取

time.sleep(1) 控制请求频率,减轻服务器压力

异常处理

try-except 捕获网络异常,保证程序健壮性


五、进阶技巧

1. 使用 Session 保持会话

代码语言:javascript
复制
session = requests.Session()
session.headers.update({"User-Agent": "Mozilla/5.0..."})
response = session.get(url)

2. 处理动态加载页面

对于 JavaScript 渲染的页面,可以使用 Selenium 或 Playwright:

代码语言:javascript
复制
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://wlt.topajiao.com")
content = driver.page_source
driver.quit()

3. 使用代理 IP

代码语言:javascript
复制
proxies = {
    "http": "http://your_proxy_ip:port",
    "https": "http://your_proxy_ip:port",
}
response = requests.get(url, headers=headers, proxies=proxies)

六、注意事项与法律边界

⚠️ 爬虫虽好,但请遵守以下原则:

  1. 遵守 robots.txt:在爬取前查看网站的 robots.txt 文件,了解哪些页面允许爬取。
  2. 控制爬取频率:不要高频请求,避免对目标服务器造成负担。
  3. 尊重版权与隐私:不要爬取和传播受版权保护的内容或个人隐私数据。
  4. 仅用于学习研究:将爬虫技术用于合法合规的场景。

七、总结

Python 爬虫的核心流程可以概括为:

代码语言:javascript
复制
发送请求 → 获取响应 → 解析内容 → 提取数据 → 存储数据

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、什么是网络爬虫?
    • 二、环境准备
    • 三、基础爬虫示例
    • 四、代码解析
    • 五、进阶技巧
      • 1. 使用 Session 保持会话
      • 2. 处理动态加载页面
      • 3. 使用代理 IP
    • 六、注意事项与法律边界
    • 七、总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档