网络爬虫(Web Crawler)是一种按照既定规则自动抓取互联网信息的程序。它就像一只不知疲倦的"蜘蛛",在网页之间穿梭,把需要的数据收集起来。爬虫广泛应用于数据采集、舆情监控、价格比对、学术研究等领域。
在开始之前,确保你的 Python 环境中安装了以下库:
pip install requests beautifulsoup4下面是一个简单的爬虫,用于抓取豆瓣电影 Top 250 的电影名称和评分:
import requests
from bs4 import BeautifulSoup
import time
def fetch_douban_top250():
"""抓取豆瓣电影 Top 250"""
# 设置请求头,模拟浏览器访问
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0.0.0 Safari/537.36"
}
all_movies = []
# Top 250 共 10 页,每页 25 部
for page in range(10):
url = f"https://movie.douban.com/top250?start={page * 25}&filter="
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status() # 检查请求是否成功
response.encoding = "utf-8"
except requests.RequestException as e:
print(f"请求失败: {e}")
continue
soup = BeautifulSoup(response.text, "html.parser")
items = soup.find_all("div", class_="item")
for item in items:
# 提取电影名称
title = item.find("span", class_="title").get_text()
# 提取评分
rating = item.find("span", class_="rating_num").get_text()
# 提取评价人数
comment = item.find("div", class_="star").find_all("span")[-1].get_text()
movie_info = {
"电影名称": title,
"评分": rating,
"评价": comment
}
all_movies.append(movie_info)
print(f"{title} | 评分: {rating} | {comment}")
# 礼貌爬取,每次请求间隔 1 秒
time.sleep(1)
return all_movies
def save_to_csv(movies, filename="douban_top250.csv"):
"""将数据保存为 CSV 文件"""
import csv
with open(filename, "w", newline="", encoding="utf-8-sig") as f:
writer = csv.DictWriter(f, fieldnames=["电影名称", "评分", "评价"])
writer.writeheader()
writer.writerows(movies)
print(f"\n数据已保存至 {filename}")
if __name__ == "__main__":
print("=" * 50)
print("开始抓取豆瓣电影 Top 250...")
print("=" * 50)
movies = fetch_douban_top250()
if movies:
print(f"\n共抓取 {len(movies)} 部电影")
save_to_csv(movies)
else:
print("未抓取到任何数据")步骤 | 说明 |
|---|---|
设置 Headers | 添加 User-Agent 模拟浏览器,避免被网站识别为爬虫而拒绝访问 |
发送请求 | 使用 requests.get() 获取网页 HTML 内容 |
解析 HTML | BeautifulSoup 将 HTML 解析为树形结构,方便定位元素 |
提取数据 | 通过 find() 和 find_all() 方法定位目标标签,用 get_text() 提取文本 |
礼貌爬取 | time.sleep(1) 控制请求频率,减轻服务器压力 |
异常处理 | try-except 捕获网络异常,保证程序健壮性 |
session = requests.Session()
session.headers.update({"User-Agent": "Mozilla/5.0..."})
response = session.get(url)对于 JavaScript 渲染的页面,可以使用 Selenium 或 Playwright:
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://wlt.topajiao.com")
content = driver.page_source
driver.quit()proxies = {
"http": "http://your_proxy_ip:port",
"https": "http://your_proxy_ip:port",
}
response = requests.get(url, headers=headers, proxies=proxies)⚠️ 爬虫虽好,但请遵守以下原则:
robots.txt 文件,了解哪些页面允许爬取。Python 爬虫的核心流程可以概括为:
发送请求 → 获取响应 → 解析内容 → 提取数据 → 存储数据原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。