基于 Cloudflare Workers 构建高性能维基百科镜像服务：反向代理与 HTML 重写实践

摘要：本文介绍如何利用 Cloudflare Workers 构建一个高性能、高可用的维基百科镜像服务。通过边缘计算能力，实现请求代理、HTML 动态重写、智能缓存与容错回退，显著提升用户访问体验。方案适用于各类开源知识库、静态资源聚合等场景，具备良好的扩展性与工程实践价值。

背景与目标

维基百科作为全球最大的开放知识库，其内容对教育、科研和公众信息获取具有重要价值。然而，由于网络环境复杂性，部分用户在访问过程中可能面临加载缓慢、资源阻断等问题。

为提升访问体验，我们基于 Cloudflare Workers 构建了一个轻量级镜像服务，核心目标包括：

• 透明代理：将原始维基百科域名下的资源请求，通过自定义域名无缝代理；
• 动态重写：自动改写 HTML 中的链接、图片、脚本等资源地址，确保页面完整加载；
• 边缘缓存：利用 Cloudflare 全球边缘节点缓存静态资源与页面，降低延迟；
• 高可用保障：支持请求失败自动回退、主机健康检测与友好错误提示。

⚠️ 说明：本项目仅用于技术研究与教育目的，所有内容均来自维基媒体基金会公开授权的开放知识，严格遵守其使用条款。

技术架构概览

整体架构基于 Cloudflare Workers 的无服务器能力，无需后端服务器，全部逻辑在边缘节点执行：

用户请求
    ↓
自定义域名 (如 wikipedia.zyhorg.ac.cn)
    ↓
Cloudflare Worker（边缘执行）
    ├── HTML 请求 → 重写链接 + 短期缓存
    ├── 静态资源 → 直接代理 + 长期缓存
    └── 代理失败 → 自动回退 + 错误页

核心实现解析

1. 请求路由与代理路径设计

我们约定代理路径格式为：

https://wikipedia.zyhorg.ac.cn/__proxy__/原始主机名/原始路径

例如：

/upload.wikimedia.org/wikipedia/commons/a/a9/Example.jpg
→
https://wikipedia.zyhorg.ac.cn/__proxy__/upload.wikimedia.org/wikipedia/commons/a/a9/Example.jpg

Worker 通过判断 URL 是否以 /__proxy__/ 开头，决定进入代理转发逻辑或站点主逻辑。

2. HTML 动态重写（HTMLRewriter）

对于 HTML 页面，使用 Cloudflare 提供的 HTMLRewriter API，在流式响应过程中实时修改 DOM 属性：

• 重写 <a href>、<img src>、<script src> 等常见资源链接；
• 支持 srcset、data-srcset 等响应式图片属性；
• 处理内联 style="background: url(...)" 中的 URL；
• 自动跳转根路径 / 到维基百科首页（如 /wiki/Wikipedia:首页）。

new HTMLRewriter()
  .on('a', new AttrRewriter('href'))
  .on('img', new AttrRewriter('src'))
  .on('img', new AttrRewriter('srcset'))
  .on('*', new StyleAttrRewriter())
  .transform(response);

3. 智能缓存策略

• HTML 页面：缓存 15 分钟（max-age=900），平衡实时性与性能；
• 静态资源（图片/CSS/JS/字体等）：缓存 30 天（max-age=2592000）；
• 使用 caches.default + Cloudflare cacheEverything 指令，确保资源持久驻留边缘节点。

4. 容错与高可用设计

• 主机失败缓存：若某上游主机（如 upload.wikimedia.org）连续返回 5xx 错误，则在 1 小时内快速失败，避免无效请求；
• 双重回退机制：
  1. 首次失败后，尝试移除自定义请求头直接请求原始 URL；
  2. 若仍失败，返回友好错误页，提示用户稍后重试或访问源站；
• 安全头清理：自动移除 Content-Security-Policy、X-Frame-Options 等限制性响应头，避免嵌入或渲染问题。

5. 请求头与安全处理

• 转发 User-Agent、Referer 等关键头，模拟正常浏览器行为；
• 移除 Host、X-Forwarded-For 等 hop-by-hop 头，防止上游识别异常；
• 对主机名校验（仅允许字母、数字、点、连字符），防止 SSRF 风险。

部署与配置建议

1. DNS 设置：将自定义域名（如 wikipedia.zyhorg.ac.cn）CNAME 到 *.workers.dev，并开启 Cloudflare 代理（橙色云）；
2. Worker 路由：在 Cloudflare 控制台配置路由规则，如 wikipedia.zyhorg.ac.cn/*；
3. HTTPS 证书：启用“边缘证书”自动签发，确保全站 HTTPS；
4. 监控与日志：结合 Cloudflare Dashboard 查看请求量、缓存命中率、错误率等指标。

应用扩展场景

本方案不仅适用于维基百科，还可推广至：

• 开源文档站镜像（如 MDN、Kubernetes Docs）；
• 教育资源聚合平台；
• 企业内部知识库的外部访问加速；
• 多源静态资源统一代理与缓存。

总结

通过 Cloudflare Workers，我们以极低的成本实现了一个高性能、高可用的镜像代理服务。其核心价值在于：

• 边缘计算：逻辑靠近用户，延迟更低；
• 无服务器架构：免运维、自动扩缩容；
• 流式处理：HTMLRewriter 实现零内存占用的实时重写；
• 工程健壮性：缓存、回退、错误处理一应俱全。

开源声明：本文所涉代码逻辑已做通用化处理，完整实现可参考公开技术示例（非生产环境直接使用）。开发者应根据实际需求调整缓存策略、安全规则与错误处理逻辑。

作者：杖雍皓

标签：#Cloudflare #边缘计算 #反向代理 #HTML重写 #Web性能优化 #无服务器架构