用Python抓取亚马逊动态加载数据，一文读懂

小白学大数据

发布于 2025-02-19 09:32:31

6800

代码可运行

文章被收录于专栏：python进阶学习python进阶学习

运行总次数：0

代码可运行

一、动态加载数据的原理与挑战

亚马逊页面的动态加载主要基于现代前端技术，如AJAX、JavaScript框架（React、Vue.js）和WebSockets。这些技术使得页面内容在用户交互（如滚动、点击）或页面加载后通过异步请求从服务器动态获取并渲染。例如，商品列表、用户评论和价格信息等可能不会在页面初次加载时全部展示，而是通过JavaScript动态加载。

这种动态加载机制为数据抓取带来了两大挑战：

数据隐藏在异步请求中：直接抓取HTML页面可能无法获取到完整数据，因为部分数据需要通过JavaScript动态加载。
反爬虫机制：亚马逊会通过检测IP访问频率、User-Agent、Cookie等方式识别爬虫行为，并采取限制措施，如IP封禁或验证码验证。

二、抓取动态加载数据的方法

（一）分析网络请求

抓取动态加载数据的第一步是分析网络请求，找到数据的源头。以下是具体步骤：

使用浏览器开发者工具（Chrome DevTools）：
- 打开亚马逊页面，按F12键打开开发者工具。
- 切换到“Network”（网络）标签页，刷新页面并观察请求。
- 筛选请求类型（如XHR、Fetch），找到加载数据的API请求。
- 查看请求的URL、参数、方法（GET/POST）以及返回的数据格式（通常是JSON）。
模拟请求：
- 使用Python的requests库模拟网络请求，获取数据。

（二）使用Selenium模拟浏览器行为

如果页面的数据加载依赖于JavaScript的动态执行，直接模拟请求可能无法获取到完整的数据。此时，可以使用Selenium库模拟浏览器行为，动态加载页面并获取数据。

（三）使用Playwright进行无头浏览器操作

Playwright是另一种强大的自动化工具，支持多种浏览器（如Chrome、Firefox、Safari）的无头模式操作。与Selenium相比，Playwright在性能和兼容性上更具优势。

三、实战代码：抓取亚马逊商品评论数据

为了更好地理解上述方法，我们以抓取亚马逊商品评论数据为例进行实战。我们将使用Selenium模拟浏览器行为，并结合代理服务以应对IP限制。

以下是完整的Python代码，结合代理服务抓取亚马逊商品评论数据：

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.proxy import Proxy, ProxyType
import time
import random

# 代理服务器信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 设置Selenium代理
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = f"{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
proxy.ssl_proxy = f"{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"

# 初始化WebDriver
options = webdriver.ChromeOptions()
options.Proxy = proxy
driver = webdriver.Chrome(options=options)

# 打开亚马逊商品页面
url = "https://www.amazon.com/dp/B07VGRJDF2"  # 示例商品页面
driver.get(url)

# 等待页面加载完成
time.sleep(5)  # 等待5秒，确保页面动态内容加载完毕

# 滚动页面以加载更多评论
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)  # 等待加载

# 获取评论元素
comments = driver.find_elements(By.CSS_SELECTOR, "div.review")  # 根据实际页面结构调整CSS选择器
for comment in comments:
    print(comment.text)

# 关闭浏览器
driver.quit()

四、数据解析与存储

获取到动态加载的数据后，下一步是解析和存储数据。常见的数据格式包括HTML、JSON等。Python提供了多种工具来解析这些数据。

（一）解析HTML数据

如果获取到的是HTML页面内容，可以使用BeautifulSoup库进行解析：

from bs4 import BeautifulSoup

html_content = driver.page_source  # 获取页面HTML内容
soup = BeautifulSoup(html_content, "html.parser")

# 提取评论数据
reviews = soup.find_all("div", class_="review")  # 根据实际页面结构调整
for review in reviews:
    reviewer = review.find("span", class_="reviewer").text.strip()
    rating = review.find("i", class_="rating").text.strip()
    comment = review.find("span", class_="comment").text.strip()
    print(f"Reviewer: {reviewer}, Rating: {rating}, Comment: {comment}")

（二）数据存储

解析后的数据可以根据需求存储到不同的格式中，如CSV、JSON文件或数据库中。

存储到CSV文件：Python复制

import csv

with open("amazon_reviews.csv", "w", newline="", encoding="utf-8") as file:
    writer = csv.writer(file)
    writer.writerow(["Reviewer", "Rating", "Comment"])
    for review in reviews:
        reviewer = review.find("span", class_="reviewer").text.strip()
        rating = review.find("i", class_="rating").text.strip()
        comment = review.find("span", class_="comment").text.strip()
        writer.writerow([reviewer, rating, comment])

存储到JSON文件：Python复制

import json

review_data = []
for review in reviews:
    reviewer = review.find("span", class_="reviewer").text.strip()
    rating = review.find("i", class_="rating").text.strip()
    comment = review.find("span", class_="comment").text.strip()
    review_data.append({"reviewer": reviewer, "rating": rating, "comment": comment})

with open("amazon_reviews.json", "w", encoding="utf-8") as file:
    json.dump(review_data, file, ensure_ascii=False, indent=4)