首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >yolow64:我把 PageSift 里的 base64 编解码,拆成了一个独立的 Rust 库

yolow64:我把 PageSift 里的 base64 编解码,拆成了一个独立的 Rust 库

原创
作者头像
用户12863179
发布于 2026-11-09 12:52:27
发布于 2026-11-09 12:52:27
1010
举报

做 PageSift(给 LLM 流水线用的 Rust 网页内容引擎)的时候,base64 出现在几个绕不开的地方:浏览器截图、MCP 的图片资源、代理的 Basic 认证。这些地方对吞吐和内存分配都很敏感,而 Rust 生态现任的 base64 crate 在我的机器上只有约 1.5 GB/s。于是 PageSift 内部长出了一个自研编解码器,现在我把它拆出来单独立项了:yolow64,MIT 协议,已经发布到 crates.io。

做了什么

  • 运行时分发的 SIMD:x86-64 走 AVX2(Linux 下解码大块循环是汇编),AArch64 走 NEON,其余回退标量;CPU 特性检测做一次就缓存。
  • 零运行时依赖,只用 std;Rust 1.89 起。
  • API 按真实使用场景给:切片直写、追加到已有 Vec、自有输出、只校验不解码、流式解码、一次性生成 data URL。
  • 宽容模式只忽略空格、制表符、CR、LF 四种空白,且是单遍融合处理,不像旧办法那样先把空白过滤到另一个缓冲区再解码——邮件 MIME 那种每 76 字符带 CRLF 的输入就是给它准备的。

数据

口径先说清:i7-10700、固定 CPU 0、同进程交替测量、三次完整运行取中位数;仓库里有完整方法、可复现的对照程序和原始 CSV,README 里有三张吞吐条形图。

  • 严格模式,4 KiB–4 MiB:编码和解码都比 base64 crate 快约 6.5–9 倍,比 base64-simd 快约 1.7–2.5 倍。
  • CRLF 宽容解码:比 base64-simd 的 forgiving_decode 快约 4 倍。
  • 和 Go 生态最快的 moego 在同一台机器上基本打平(差 3–7%,在测量噪声量级)。

两条诚实的注脚:第一,128 字节以下的小输入三家互有胜负,那是纳秒级的固定开销之争,表格里原样印着;第二,三家的宽容接受规则并不完全相同,对比用的是三家都能接受的合法带填充 CRLF 输入,比的是速度不是语义等价。

用法

代码语言:toml
复制
[dependencies]
yolow64 = "0.1"

仓库:https://github.com/YOLOW92/yolow64

crates.io:https://crates.io/crates/yolow64

它是从 PageSift 拆出来的第一个独立项目。PageSift 本体在 https://github.com/YOLOW92/pagesift ,做网页内容抓取和文档解析的可以顺手看看。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 做了什么
  • 数据
  • 用法
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档