做 PageSift(给 LLM 流水线用的 Rust 网页内容引擎)的时候,base64 出现在几个绕不开的地方:浏览器截图、MCP 的图片资源、代理的 Basic 认证。这些地方对吞吐和内存分配都很敏感,而 Rust 生态现任的 base64 crate 在我的机器上只有约 1.5 GB/s。于是 PageSift 内部长出了一个自研编解码器,现在我把它拆出来单独立项了:yolow64,MIT 协议,已经发布到 crates.io。
口径先说清:i7-10700、固定 CPU 0、同进程交替测量、三次完整运行取中位数;仓库里有完整方法、可复现的对照程序和原始 CSV,README 里有三张吞吐条形图。
base64 crate 快约 6.5–9 倍,比 base64-simd 快约 1.7–2.5 倍。forgiving_decode 快约 4 倍。两条诚实的注脚:第一,128 字节以下的小输入三家互有胜负,那是纳秒级的固定开销之争,表格里原样印着;第二,三家的宽容接受规则并不完全相同,对比用的是三家都能接受的合法带填充 CRLF 输入,比的是速度不是语义等价。
[dependencies]
yolow64 = "0.1"仓库:https://github.com/YOLOW92/yolow64
crates.io:https://crates.io/crates/yolow64
它是从 PageSift 拆出来的第一个独立项目。PageSift 本体在 https://github.com/YOLOW92/pagesift ,做网页内容抓取和文档解析的可以顺手看看。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。