# 调试爬虫的老三样：JSON、正则、签名，我全搬进了浏览器

[![NWF4lI.png](https://developer.qcloudimg.com/http-save/yehe-1094457/f9407fa6cb6dad13062e79e3b30dcbc5.png)](https://zimgs.com/i/NWF4lI)

AI时代，爬虫工具站的价值在哪里？

用AI做加解密、curl转代码之类的工作，当然是手拿把掐的。

但真干活的兄弟都知道，不管你CodeX、Cursor，Agent有多聪明。

干活时它总归是得deep think一下。

有时候它这一思考，人的思路就被打断了，等回过神来，已经忘了要干嘛。

很多时候，远不如在工具站里CV一下来的方便。

所以在2026年的今天，对于搞爬虫的兄弟来说，一个好用的爬虫工具站，仍然具有独特的价值！

---

## 一、先说界面：为什么做成赛博朋克风

![NWFti7.png](https://developer.qcloudimg.com/http-save/yehe-1094457/e8e0875f7a2bae97e02fba53db31568f.png)

打开 KGtools 第一眼，你会注意到它不是那种白底蓝边的"企业风"。

深蓝和黑铺开工作区，青色高亮标记当前功能，代码区用等宽字体加语法高亮，还带行号。左右双栏——左边输入，右边结果，中间一条利落的面板边框。

这是我故意选的。原因很实际：**爬虫调试是长时间盯着屏幕的活**，一份接口响应可能几千行，一个正则改几十遍。深色底 + 语法高亮盯一小时，眼睛的疲劳程度和白底完全不是一个量级。加上左右并排，检查参数和对照输出时视线不用来回跳。

顶部按类别组织工具入口，同类功能集中切换。想看说明再点"使用说明"，平时把空间全留给眼前的文本和代码。

好看是其次，主要是**调试界面本身也该有辨识度**。

---

## 二、25 个工具，五个分类

新版把爬虫开发常用的能力重新归了类：

| 分类 | 数量 | 包含工具 |
|------|------|----------|
| 格式化 | 6 | JSON、Header、Cookie、Python Dict、JavaScript、HTML |
| URL 工具 | 2 | URL 解析、URL 编解码 |
| 转换工具 | 4 | cURL 转代码、Unicode 中文互转、时间转换、图片 Base64 互转 |
| 文本工具 | 4 | User-Agent 解析、正则验证、XPath 验证、文本对比 |
| 加解密 | 10 | Base64、MD5、SHA、HMAC、JWT 解析、RC4、AES、DES、RSA、多层加解密 |

覆盖面基本就是爬虫日常的闭环：**请求进来 → 拆参数 → 读响应 → 写规则 → 对签名 → 出代码。**

---

## 三、三个我最想说的细节

工具列表谁都能列，但这几个细节是踩过坑才做出来的。

### 1. JSON 报错，终于说人话了

从接口、日志或者调试窗口复制出来的 JSON，十个有九个是坏的——多一个逗号、用了单引号、混进注释。

以前工具只会冷冷地弹一个 "Unexpected token"。KGtools 会直接告诉你：**错在第几行、哪个位置、为什么**——"末尾多了逗号""字符串要用双引号""JSON 不能写注释"。

![NWFPdq.png](https://developer.qcloudimg.com/http-save/yehe-1094457/4521e90ee505c1f6c625b5b5aa63a429.png)

别小看这个。定位一个 JSON 错误，有时候比写爬虫本身还费时间。

### 2. 认得 Python 日志里复制出来的单引号

爬虫工程师都干过这事：从 Python 的 print 或日志里复制一段数据，长这样——

```python
{'name': '商品', 'available': True}
```

这不是 JSON，是 Dict。以前你得手动把单引号换双引号、把 True 改成 true、None 改成 null，麻烦得要死。

现在 KGtools 遇到这类内容，会识别出格式，给你两个入口：**"去 Dict 格式化"**（带着文本切到 Dict 工具继续处理）和**"按 Dict 转成 JSON"**（直接解析输出）。

![NWFYus.png](https://developer.qcloudimg.com/http-save/yehe-1094457/aac3c23ad775d2242babbaa705405970.png)

另外两个细节：JSON 里的长订单号、大整数会**保留原值**，不会格式化完末尾数字悄悄变掉；Header、Cookie 里的同名值以数组保留，JSON 出现重复键也会提醒——排查异常响应的时候，这些"不整齐"恰恰是线索。

### 3. 验证完的逻辑，能变成能跑的代码

这是我觉得最有价值的一块。

比如你在页面上调通了 AES 加解密——密钥、IV、模式、输出格式都填好了，结果也对了。以前到这一步，你还得**照着页面手工把这些配置再写一遍代码**。

现在点一下，直接生成一段 Node.js 脚本：加解密函数、当前密钥、适用的 IV 与模式、输出格式，还有输入样本的调用代码。你改参数，脚本实时同步。

正则验证也一样，Python、JavaScript 两种方案脚本都能出。页面里验证好的东西，直接带回项目接着用。

### 4. UA 在线解析，让一长串请求头变成看得懂的客户端信息

粘贴 User-Agent，就能查看其中可识别的浏览器及版本、操作系统、设备类型、渲染引擎和 CPU 架构，并提示是否命中常见 Bot 特征。复现浏览器请求、排查移动端与桌面端返回差异时，可以先核对 UA 声明的环境，少一轮逐段辨认字符串的工作。

![NWFrOa.png](https://developer.qcloudimg.com/http-save/yehe-1094457/680820ab298a2cb4400c28a2b4fb5d49.png)

### 4. 多层加解密：把编码和加解密串成一条线

Base64、Hex、URL、哈希、HMAC、AES、DES、RC4 按顺序组合，上一步结果自动传给下一步，不用再把结果来回复制到不同工具里。支持调整顺序、停用步骤、设置断点，结果一键复制：

![NcbiCh.png](https://developer.qcloudimg.com/http-save/yehe-1094457/0762ec746c6ceaed02c6f1d30ba928f9.png)

---

## 四、cURL 转代码：值得单独说一节

如果只能留一个工具，我会留它。

浏览器开发者工具里复制一条请求，粘贴进 KGtools，选语言和库——Python（requests / httpx / aiohttp）、JavaScript、Java、Go 都有模板。

重点是它不只会"翻译"，还替你处理那些**手动转换必踩的坑**：常见的认证方式、Cookie、重复查询参数、请求体，遇到它还没覆盖的选项会明确警告你，而不是闷声给你一段错的。

requests、httpx 模板还带超时、重试、并发和代理接入的配置选项。也就是说，生成的代码不是玩具，是**能直接进项目的起点**。

![NWFCVV.png](https://developer.qcloudimg.com/http-save/yehe-1094457/0ee2187b41e56d624ff874321ecd665b.png)

有翻页需求，如命令中存在 page、pn、pageNum 等，选择并发，还会直接适配成支持并发翻页采集的脚本：

![Ncbf54.png](https://developer.qcloudimg.com/http-save/yehe-1094457/edd36c1570cc5fbdbeab1e283f475ab6.png)

---

## 五、放进真实工作里，大概是这样用的

### 场景一：把一条列表请求，整理成脚本起点

浏览器复制 cURL → 粘进转换工具选 requests → URL 解析确认分页参数 → Header / Cookie 格式化整理请求信息 → UA 解析核对客户端环境（脚本拿到的页面和浏览器不一样时，先查 UA）→ 跑起来，响应粘进 JSON 工具看字段和分页。

### 场景二：给商品页写提取规则

HTML 格式化整理页面 → XPath 验证看节点、属性、count() → 正则验证提价格、日期、编号 → 复制方案脚本回项目。

XPath 验证不只给文本，`count()` 返回的数字、布尔值也照实显示——规则到底抓没抓到、抓多了还是漏了，一眼能判断。

### 场景三：签名错误，一步步拆

接口报签名错的时候：URL 解析核对参数 → 按文档拼好待计算文本，用 MD5 / SHA / HMAC 算 → 和预期值对照。

用 JWT 的，展开 Header 和 Payload，iat、exp、nbf 这些时间声明直接看，时间工具负责秒/毫秒单位换算。两份待签名文本看着一样却对不上？文本对比帮你找出那个多出来的空格。

### 场景四：页面变了，先做次样本回归

存一份正常样本，和当前返回按同样方式格式化后做文本对比，看字段和节点变了什么；再把当前样本丢进 XPath / 正则，看旧规则还灵不灵。

是先判断"数据变了"还是"规则该改了"，再动代码。

---

## 六、写在最后

KGtools 不是什么大东西，它就是把爬虫开发里那些**你每天都要做、但每次都得打断思路**的操作，收拢到一张顺手的工作台上。

JSON 出错时帮你找到位置、看懂原因；面对一长串 UA 帮你读出客户端信息；加解密验证完，把当前逻辑和参数一起带进可运行的脚本。

我自己就是工具站的第一用户。今天既是向大家汇报工作，也想听听大家还缺什么。

众人拾材火焰高，凡是有用的建议我后面都会尽快更新迭代！

https://cloud.tencent.com/developer/tools/blog-entry?target=https%3A%2F%2Fzimgs.com%2Fi%2FNWF4lI&objectId=undefined&objectType=undefined&contentType=markdown qct-click="" target="_blank" rel="noopener noreferrer" qct-exposure="" qct-area="链接" >

K哥爬虫工具站，船新版本，重磅上线！

https://cloud.tencent.com/developer/tools/blog-entry?target=https%3A%2F%2Fzimgs.com%2Fi%2FNWF4lI&objectId=undefined&objectType=undefined&contentType=markdown qct-click="" target="_blank" rel="noopener

Python 爬虫工程师

开发工具

安全

后端

KGtools爬虫工具站提供25个实用工具，覆盖JSON格式化、正则验证、签名加密、cURL转代码等爬虫开发全流程。针对爬虫调试痛点，支持JSON错误定位、Python Dict识别、加解密逻辑生成可运行代码，并内置UA解析与多层加解密功能。深色界面优化长时间调试体验，适合爬虫工程师提升工作效率。

代码解释

JavaScript

Python

Agent

JSON

Java

让每一个 Agent，都跑在云上

coding

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

K哥爬虫工具站，船新版本，重磅上线！-腾讯云开发者社区-腾讯云

K哥爬虫工具站，船新版本，重磅上线！

K哥爬虫工具站，船新版本，重磅上线！

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐