首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >别急着上浏览器:动态与静态网站抓取,先分清成本结构再动手

别急着上浏览器:动态与静态网站抓取,先分清成本结构再动手

原创
作者头像
小白学大数据
发布于 2026-11-13 17:03:35
发布于 2026-11-13 17:03:35
1410
举报

导读:很多人把「动态网站抓取」理解成「换个更重的工具」,于是上来就装浏览器内核,结果一个采集任务的机器成本翻了十倍,速度掉了两个数量级。真正的问题不在工具,而在内容在哪一层生成。这篇文章按「怎么判定 → 分几层抓 → 成本差多少 → 怎么优化 → 有哪些坑」的顺序讲完,附本机实跑的对比数据。一句话结论:静态站点的瓶颈在网络往返,动态站点的瓶颈在渲染等待;前者靠并发和复用摊薄,后者靠「少渲染」和「只渲染一次」压缩。两者的优化方向不通用,选错方向,加机器也救不回来。目录判定:内容在 HTML 里,还是在 JS 里抓取策略的三层结构实测:同一批页面,两条链路的成本差性能优化:并发、复用、去重、减法三个高频坑选型决策清单结语1. 判定:内容在 HTML 里,还是在 JS 里「静态 / 动态」说的不是站点有没有数据库,而是首屏 HTML 到达浏览器时,目标字段是否已经在里面。服务端渲染(SSR)的站点看起来是动态的,抓取上却是静态的;而一个纯前端渲染的单页应用,接口可能简单得只要一个 GET。判定方法有三种,从快到慢排列:方法一:看原始响应,不看渲染后的页面。 浏览器里「右键 → 查看网页源代码」看到的是服务端返回的原文,开发者工具 Elements 面板里看到的是 JS 执行后的 DOM。两者不一致,就说明目标字段是 JS 写进去的。

返回 0 或个位数,而页面上明明有几十个价格,基本可以判定为客户端渲染。方法二:抓包看 XHR / Fetch。 打开开发者工具的 Network 面板,筛选 Fetch/XHR,翻一页列表,观察有没有返回 JSON 的请求。如果有,而且 JSON 里就带着你要的字段,那这个站点根本不需要「抓页面」,直接请求接口就行,这是成本最低的一条路。方法三:禁用 JavaScript 复访一次。 在浏览器设置里关掉 JS 后刷新,页面变成白屏或者只剩骨架,说明数据靠脚本填充。三种信号对应三种处理方式,先判定再动手,能省掉大部分无效工作:

观察到的现象

内容生成位置

推荐策略

相对成本

源码里直接能搜到目标字段

服务端 HTML

请求 + 解析

1×

源码里没有,但有个返回 JSON 的 XHR

客户端,但数据来自接口

直接请求接口

1×(最省)

源码里没有,接口还带签名/加密参数

客户端

渲染,或人工在浏览器里取一次参数复用

6~12×

数据在 WebSocket 推送里

客户端

渲染并监听消息

10× 以上

2. 抓取策略的三层结构把抓取按「介入深度」分三层,优先级从上往下,能用上层就不用下层。2.1 第一层:接口与内嵌 JSON优先找接口。很多列表页在源码里会内嵌一份初始数据,形式是 <script id="__NEXT_DATA__" type="application/json"> 之类,用正则或者解析器把这段 JSON 抠出来,比渲染快得多,也比解析 DOM 稳。接口地址、请求头、签名参数一律从浏览器 Network 面板里复制当次请求复用,不要试图去猜域名结构或还原加密算法:接口随时可能改版,逆向出来的签名逻辑维护成本往往高于采集本身,而且容易踩到服务条款的红线。本文不提供任何签名还原或验证码绕过的做法。2.2 第二层:静态 HTML + parsel字段直接在 HTML 里时,用 HTTP 客户端拿文本,再交给 parsel 做 CSS/XPath 提取。这一层没有任何浏览器开销,是性能和稳定性的最优解。

2.3 第三层:浏览器渲染只有在前两层都走不通时才上浏览器。Playwright 现在是这一类里 API 最干净的选择,同步接口足够应付采集脚本:

三点提醒:wait_until="networkidle" 在长连接页面(有轮询、有埋点心跳)上经常等到超时,用 domcontentloaded 加显式 wait_for_selector 更可靠;选择器要以当次页面结构为准,上面的类名只是示例;Selenium 4 之后 capabilities= 参数已经移除,老教程里的写法直接报错。三层的取舍不必纠结,用一张表压住:

维度

接口直取

静态解析

浏览器渲染

单页耗时量级

几十毫秒

几十毫秒

数百毫秒到数秒

单实例内存

几 MB

几十 MB

数百 MB 起

并发能力

高(线程/协程)

高

低(受内核数限制)

抗改版能力

弱(接口一变就失效)

中

强

适用前提

接口可访问、参数可复用

字段在源码里

前两层都不可行

3. 实测:同一批页面,两条链路的成本差3.1 测试口径为了把「渲染」这一项的代价单独拎出来,我用 fetch_benchmark.py 做了一组本机对比,口径如下:样本是固定随机种子(seed=42)生成的脱敏样本 HTML,每页 10 条记录,只含公开演示字段,不是真实站点数据;网络往返用 30~80ms 的随机等待模拟,前端渲染用 350~700ms 的随机等待模拟,两者都是本机 time.sleep,不涉及任何线上站点;两条链路的解析部分完全相同,都走 parsel,这样差异只来自「请求 + 渲染」;本机环境:Python 3.13.14、matplotlib 3.11.1、pandas 3.1.0、parsel 1.12.1。如果把同目录下的 real_timings.csv(列约定 mode,page,latency_ms)放进去,脚本会自动改读真实采集数据,不再用模拟耗时。跑之前它会打印一行提示,方便确认当前用的是哪种数据。3.2 单页成本30 页样本跑下来,输出如下:

单页平均耗时差了一个数量级:

静态链路 56.6ms,动态链路 586.5ms,大约是 10 倍。而且长尾更难缠:静态最慢 83.8ms,动态最慢 770.0ms。也就是说动态页的成本不只是「均值高」,方差还大,排队和超时策略都得按最慢的那一档来设计,实际吞吐会比均值算出来的更差。这个数字的意义不在于精确,而在于量级。渲染引擎启动、加载样式与脚本、执行框架的水合逻辑,这些开销和「解析 10 条记录」完全不是一个量级的事。所以优化动态抓取,减掉一次渲染的价值,远大于把解析代码优化一百遍。顺带一提,如果指标里混进了超时请求,均值会忽高忽低、很难解释,所以统计口径固定为「成功返回的请求」,正文和图里的数字都是这个口径。4. 性能优化:并发、复用、去重、减法四类手段,按投入产出排序。前三类对静态页同样有效,第四类只针对动态页。4.1 并发:把等待时间叠起来静态抓取的时间几乎全花在等网络上,单线程跑等于把 CPU 闲置在那里数秒表。用线程池把等待重叠起来,收益接近线性:

脚本里 60 页的实测:

1 线程 3483.3ms,16 线程 240.9ms,加速约 14.5 倍(图上标注取整到毫秒,正文按脚本输出的小数)。注意曲线是「先陡后缓」的:从 8 线程到 16 线程只再快了 2 倍,边际收益在下降。并发不是越大越好,超过目标站点能承受的请求速率之后,多出来的线程只会把 429 的比例往上推,总吞吐反而掉下来。

线程池大小和信号量分开设是有意为之:池子开大一点防止个别慢请求把工作线程占死,信号量卡住实际并发数,两个旋钮各管一件事。4.2 连接复用:别让每次抓取都重新握手httpx.get() 是一次性的:新建连接、TLS 握手、发请求、关连接。批量抓取时,握手开销能占到总耗时的两三成。换成 httpx.Client() 复用连接池,顺便把默认头、超时、代理都挂在客户端上:

max_keepalive_connections 要和 4.1 里的信号量对齐,否则连接池会先于并发闸门成为瓶颈,表现为「线程都在排队等连接」。4.3 去重与增量:不抓已经抓过的翻页、重试、站点内部的重复链接,都会让同一批 URL 被请求好几遍。加一个 URL 集合做去重,第二轮里重复的链接直接跳过:

实测第二轮 50 个链接(30 个新链接 + 20 个与第一轮重复的链接),实际只抓了 30 页,跳过 20 页,耗时 1672.0ms;如果不去重,按单页 56.6ms 估算要 2830ms 左右,省了大约四成。

真实项目里这个集合要落到磁盘(SQLite 足够),否则进程一重启就全部重来。做增量采集时,还要把「上次抓取时间」一起存下来,按更新频率决定是否复抓,而不是无脑全量。4.4 减法:把动态页里用不上的资源掐掉动态页的渲染开销里,真正花在「拿到数据」上的比例很小,大部分耗在图片、字体、媒体、统计脚本上。在 page.route 里拦截并中断这些请求,通常能砍掉一大截等待时间:

这里刻意没有拦 stylesheet。有些站点的骨架高度依赖 CSS,样式被掐掉后懒加载不触发,wait_for_selector 会一路等到超时,反而更慢。拦截清单要按目标站点实测来定,别照抄别人的列表。还有一条更彻底的做法:同一个任务里只启动一次浏览器,页面复用、Cookie 复用,别每抓一页就 browser.new_page() 一次再关掉。浏览器冷启动是秒级的,摊到几十页上就是纯浪费。四类手段的收益和代价放在一起看:

手段

典型收益

主要代价

适用场景

并发

5~15 倍

触发限流的风险上升

静态页、接口抓取

连接复用

20%~30%

需要管理客户端生命周期

批量抓取

去重增量

按重复率,常见 30%~50%

需要持久化存储

翻页、长期跑的任务

资源拦截

动态页 30%~60%

可能破坏懒加载

浏览器渲染

降到静态层

5~10 倍

需要先判定内容位置

有条件时优先

5. 三个高频坑5.1 渲染完成不等于数据到齐page.goto() 返回只代表导航完成,此时 DOM 里可能还是骨架屏。等固定秒数是最常见的错误写法,网络一抖就随机失败。正确做法是等目标元素本身出现,而且要用数据节点,不要用容器节点:容器往往先渲染,数据后填进去。

5.2 浏览器实例反复冷启动一个页面一个 with sync_playwright(),看着干净,实际上每个页面都要付一次内核启动加首屏加载的代价。正确结构是浏览器和上下文在外层建一次,页面在里面轮换:

页面复用也要有度:连续抓几十页后,页面内存会缓慢上涨,建议每 N 页重建一次 page,N 取 50~100,具体看单页的数据量。5.3 频率一上来就是 403 / 429这是从「本机调试」切到「全量跑」时最典型的翻车点。本地试十条都正常,全量一开,前几百条还行,之后开始成片返回 429,再往后直接 403,有时候还会把出口 IP 关进小黑屋几小时。处理顺序是这样的:先降频,再退避,最后才考虑换出口。

代码语言:txt
复制
import time, random
def get_with_backoff(client: httpx.Client, url: str, max_retry: int = 4):
 for attempt in range(max_retry):
 resp = client.get(url, headers=HEADERS, timeout=15)
 if resp.status_code in (403, 429):
 wait = min(2 ** attempt, 30) + random.uniform(0, 1) # 加抖动,避免同时重试
 print(f"{resp.status_code} 触发限流,第 {attempt + 1} 次退避 {wait:.1f}s")
 time.sleep(wait)
 continue
 resp.raise_for_status()
 return resp
 raise RuntimeError(f"重试 {max_retry} 次仍被限流: {url}")

退避能解决「突发频率超了」,解决不了「单 IP 的日配额就这么多」。需要摊开单 IP 的请求频率时,我用的是亿牛云代理的隧道代理:控制台给一个固定的地址、端口和账号密码,配置到客户端里就行,出口 IP 由服务端自动轮换,不用自己维护 IP 池、也不用手动切换。

代码语言:txt
复制
proxy = "http://用户名:密码@隧道地址:端口"
with httpx.Client(proxy=proxy, timeout=15, headers=HEADERS,
 limits=httpx.Limits(max_connections=16)) as client:
 rows = fetch_static(url, client)

几点实际经验:代理接入后,并发闸门要重新调小,因为隧道本身的并发是有限的,照着直连的 16 线程配会开始出现连接被拒;换 IP 不代表可以无视频率,退避逻辑照样要留着;遇到 407 先查账号密码里的特殊字符有没有 URL 编码,这个坑比想象中常见。合规提醒:本文所有示例仅用于本机学习与统计,只取公开可见字段,务必控制请求频率,遵守目标站点的 robots.txt 与服务条款;涉及登录态、个人隐私数据的采集不在讨论范围内。6. 选型决策清单落到具体任务上,按这个顺序问自己四个问题:

顺序

问题

是 → 方案

否 → 下一步

1

有没有可复用的接口或内嵌 JSON?

直接请求接口,不碰页面

问题 2

2

源码里能否直接搜到目标字段?

httpx + parsel,加并发和连接复用

问题 3

3

是「少量页面、低频」还是「大量页面、高频」?

少量低频:Playwright 直接渲染,成本可接受

问题 4

4

大量高频,但渲染成本压不住?

折中方案:渲染首屏拿 Cookie/参数,后续走接口;或降到静态层

重新评估需求边界

再补三条经验判断:页面数量在几十这个量级、一周跑一次:别优化了,Playwright 直接上,写得快比跑得快重要。页面数量上千、天天跑:一定要把「渲染」从主链路上摘出去,哪怕多花两天找接口。目标站点在改版:优先选「解析层薄」的方案。接口改版改一处,DOM 改版可能改几十处选择器。7. 结语动态与静态抓取的区别,本质是成本结构不同:静态站点的钱花在网络上,动态站点的钱花在渲染上。前者可以通过并发和复用把成本摊薄到接近免费,后者的成本是刚性的,只能靠「不渲染」来消除。所以遇到慢,先别急着加机器、加代理、加线程。先花十分钟判断内容在哪一层生成,再决定往哪个方向优化。方向对了,一行 wait_for_selector 就能救回一个任务;方向错了,堆多少资源都是在给渲染引擎交学费。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档