# WorkBuddy 实战：完整解析知乎评论区 140+ 条回复——反爬绕行、DOM 探测与数据提取全记录

> 真实任务复盘。任务目标：让 WorkBuddy 完整读取一篇知乎专栏文章的评论区（约 197 条评论回复），归纳观点分布并做价值判断。本文记录完整过程：四次抓取全部失败、用户保存 HTML 后的解析方案、以及最容易被想当然的"点赞数提取"如何靠现场探测解决。附完整可复用代码。

## 一、任务与难点

需求很朴素：一篇知乎专栏（《现在的年轻人，凭什么叫 80 后、90 后"老登"？》，约 197 条评论回复），要求**完整**读取评论区，归纳大家观点，挑出有价值的评论做二次分析。

难点只有一个：**知乎的反爬是业内天花板级别**。评论区受登录态保护，常规抓取手段几乎全军覆没。

## 二、第一阶段：抓取兜底链四连败

按常规优先级逐个尝试，结果如下：

| 尝试 | 手段 | 结果 |
|---|---|---|
| 1 | `curl` 带浏览器 UA 直接请求 | **403 Forbidden**，服务端直接拒绝 |
| 2 | WebFetch 抓取正文 | 正文能拿到，**评论区 JSON 拿不到**（登录态保护） |
| 3 | Playwright 类浏览器自动化 | 能打开页面，但截图**纯黑**——知乎识别了自动化浏览器环境 |
| 4 | WebSearch 搜二手转载 | 找到了原文的多篇外站转载，**但没有一篇带评论区** |

这一轮的价值不在成功，而在**划清边界**：知乎评论区的数据只存在于"真实登录态的浏览器"里，任何沙盒环境都够不着。

**反直觉的结论在这里**：绕不开的时候，最稳的方案反而是——**让用户自己保存网页**。浏览器"另存为"得到的 HTML 是完整 DOM 快照，评论区数据全在里面（知乎专栏页的评论是服务端渲染进 HTML 的，不需要登录就能随页面一起存下来）。这个方案零技术门槛，且 100% 保真。

> 经验：AI 办公工具遇到"抓不到"的数据，别急着写更复杂的爬虫。**问用户要一份浏览器另存为的 HTML**，往往是成功率最高、成本最低的一步。

## 三、第二阶段：解析 HTML（完整代码）

拿到用户保存的 HTML 文件后，用 Python 做结构化提取。核心代码如下（已封装为可复用脚本）：

### 3.1 定位评论区边界

知乎专栏的每条一级评论都带 `<div data-id="数字">` 标记，以此为锚点切分：

```python
def find_comment_section(text: str) -> tuple[int, int]:
    """返回评论区的 (起始偏移, 结束偏移)"""
    start_match = re.search(r'<div data-id="\d+">', text)
    if not start_match:
        raise ValueError("无法定位评论区：可能是回答页（评论动态加载）或未登录版本")
    start = start_match.start()

    # 结束点：最后一个 data-id 块之后最近的 </article>
    last = None
    for m in re.finditer(r'<div data-id="(\d+)">', text):
        last = m
    if last:
        after = text[last.start():]
        art_end = after.rfind('</article>')
        if art_end > 0:
            return start, last.start() + art_end + len('</article>')
    return start, len(text)

def split_blocks(section: str) -> list[str]:
    """按评论块切分"""
    parts = re.split(r'(?=<div data-id="\d+">)', section)
    return [p for p in parts if 'data-id=' in p and 'CommentContent' in p]
```

### 3.2 点赞数提取：不要想当然，要现场探测

**这是全篇最重要的一个坑。** 最容易犯的错是照抄网上教程的正则，比如：

```python
# ❌ 想当然的写法——只对某一天的知乎 DOM 有效
re.search(r'HeartFill24[^>]*></svg></span>(\d+)</button>', block)
```

问题在于：**知乎随时会改 DOM**。点赞按钮的 SVG 类名、嵌套层级、数字位置都可能变。今天能跑的正则，明天就是 0 命中，而且不报错——**你以为提取到了数据，其实全是 0**。

正确做法是**先探测、再应用**：在第一条评论块上尝试多种已知结构，锁定命中的一种，再全局应用：

```python
def probe_like_button(block: str) -> re.Pattern | None:
    """在首个评论块上探测点赞按钮的真实 DOM 结构"""
    # 定位点赞 SVG（类名可能是 HeartFill / ZanFill 等）
    heart_match = re.search(r'<svg[^>]*class="[^"]*(HeartFill|ZanFill|ZAN)[^"]*"', block)
    if heart_match:
        after = block[heart_match.end():]
        # 已知变体 1：</svg></span>数字</button>
        if re.search(r'</svg></span>(\d+)</button>', after):
            return re.compile(r'</svg></span>(\d+)</button>')
        # 已知变体 2：aria-label 带"赞"字 + 数字
        m2 = re.search(r'aria-label="[^"]*赞[^"]*"[^>]*>(\d+)', block)
        if m2:
            return m2.re
    # 兜底：文字形式
    return re.compile(r'(\d+)\s*人赞同') if '人赞同' in block else None
```

探测失败就大声告警，**宁可返回 0 并提示人工检查，也不静默给错数据**：

```python
like_re = None
for b in blocks[:5]:
    like_re = probe_like_button(b)
    if like_re:
        break
if not like_re:
    print('WARNING: 未能探测到点赞按钮结构，点赞数将为 0，请人工检查 HTML！')
```

### 3.3 字段提取与去重

每条评论提取 7 个字段（ID、用户名、内容、点赞数、回复数、日期、IP 属地），内容里的表情图片保留 alt 文本为 `[表情]`，`<br>` 转换行，再剥离所有标签并做 HTML 反转义：

```python
def parse_block(block: str, like_re) -> dict:
    cid = (re.search(r'data-id="(\d+)"', block) or [None]) and re.search(r'data-id="(\d+)"', block).group(1)
    user_m = re.search(r'class="css-10u695f"[^>]*>([^<]+)</a>', block)
    content_m = re.search(r'CommentContent[^>]*>(.*?)</div>', block, re.DOTALL)
    if content_m:
        raw = content_m.group(1)
        raw = re.sub(r'<img[^>]*alt="([^"]*)"[^>]*>', r'[\1]', raw)  # 表情→[alt]
        raw = re.sub(r'<br\s*/?>', '\n', raw)
        text = html_module.unescape(re.sub(r'<[^>]+>', '', raw)).strip()
    reply_m = re.search(r'(\d+)\s*条回复', block)
    like_m = like_re.search(block) if like_re else None
    return {
        'id': cid, 'user': user_m.group(1) if user_m else '[匿名]',
        'content': text if content_m else '',
        'like_count': int(like_m.group(1)) if like_m else 0,
        'reply_count': int(reply_m.group(1)) if reply_m else 0,
        'date': ..., 'location': ...,
    }

def dedupe_by_id(comments):
    """同一评论可能出现在不同 DOM 作用域中，按 ID 去重"""
    seen, out = set(), []
    for c in comments:
        if c['id'] and c['id'] in seen:
            continue
        seen.add(c['id'])
        out.append(c)
    return out
```

### 3.4 实际运行结果

```
Comment section size: 812.4 KB
Top-level comment blocks (raw): 152
After dedupe: 140
Unique users: 128
Comments with ≥1 like: 46 / 140
Max likes: 25
```

140 条父评论 + 子回复全部结构化导出（JSON + 按点赞排序的可读文本），随后基于这份数据完成了立场分桶、TOP10 价值判断和舆论场画像分析。

## 四、踩坑清单

1. **RAR 压缩是多余的中间步骤**：用户好心把网页打成 RAR 再发，结果沙盒里没有 RAR5 解压后端（`7zr.exe` 独立版不支持 RAR5，`rarfile` 库依赖外部 unrar），连烧十几次调用。**直接发 HTML 原文件最稳。**
2. **点赞正则必须现场探测**（见 3.2）——网上任何"万能正则"都活不过知乎的下一次改版。
3. **同一条评论会在不同 DOM 作用域重复出现**，必须按 `data-id` 去重，否则统计全错。
4. **抓取失败要快速止损**：四条路各试一次，全失败就立刻转向"要用户文件"，不要在单条路上反复加注。

## 五、方法论沉淀

这次任务结束后，把整个流程固化成了一个可复用的 WorkBuddy 自定义 Skill（`zhihu-commentary-critical-reading`），包含：抓取兜底诊断脚本、HTML 解析脚本、立场分桶参考、以及一份"反模式档案"——里面记录的不是成功案例，而是这次任务里真实犯过的错（比如把评论区里"重名 + 同年 + 内容像"的弱证据叠加成"这就是作者本人"的错误判断）。

**核心理念：Skill 不只要沉淀"怎么做对"，更要沉淀"怎么错的"**——反面教材对下次任务的校准价值，往往比正面流程更高。

## 六、总结

| 环节 | 方案 | 关键经验 |
|---|---|---|
| 抓取 | 四连败 → 用户另存 HTML | 反爬死局下，"要文件"比"写爬虫"成功率高 |
| 解析 | `data-id` 锚点切块 + DOM 现场探测 | 结构不能想当然，先探测再应用 |
| 去重 | 按 ID 全局去重 | 同块多次出现是常态 |
| 沉淀 | 固化为自定义 Skill | 流程 + 反面教材一起存 |

AI 办公工作台做"非标准任务"的真实流程往往不是一条直线，而是**失败—转向—借力—固化**的循环。这份记录里的每一次失败都有它的位置。

---

*本文由 WorkBuddy（腾讯 AI 办公工作台）辅助完成——从抓取、解析到成文。文中所有代码均经过真实任务验证。*


真实任务复盘。任务目标：让 WorkBuddy 完整读取一篇知乎专栏文章的评论区（约 197 条评论回复），归纳观点分布并做价值判断。本文记录完整过程：四次抓取全部失败、用户保存 HTML 后的解析方案、以及最容易被想当然的"点赞数提取"如何靠现场探测解决。附完整可复用代码。

WorkBuddy 实战：完整解析知乎评论区 140+ 条回复——反爬绕行、DOM 探测与数据提取全记录

人工智能

WorkBuddy实战解析知乎评论区140+条回复：四次抓取失败后，通过用户保存HTML实现完整数据提取，含DOM探测、点赞数提取及去重技巧，附可复用Python代码。

代码解释

画像分析

WorkBuddy 

Python

JSON

WorkBuddy企业版限时双倍 Credits 活动

workbuddy

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

WorkBuddy 实战：完整解析知乎评论区 140+ 条回复——反爬绕行、DOM 探测与数据提取全记录-腾讯云开发者社区-腾讯云

WorkBuddy 实战：完整解析知乎评论区 140+ 条回复——反爬绕行、DOM 探测与数据提取全记录

WorkBuddy 实战：完整解析知乎评论区 140+ 条回复——反爬绕行、DOM 探测与数据提取全记录

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐