如何使用火焰图对 Rust 程序进行性能和内存占用分析

背景

Go 语言里做各种 CPU 和 Memory profiling 非常方便，尤其是火焰图这种可视化，排查问题非常方便，但是在Rust语言里，稍微有些困难，这次就来分享下如何使用工具对 Rust 程序进行 CPU 和 Memory 的火焰图分析。

为了支持 CPU 和 Memory Profiling，我们需要增加一些 API，比如在 Databend 中，它们的位置在：cpu/pprof.rs 和 mem/jeprof.rs 。

CPU Profiling

我们只需在 Databend 服务器上执行：

go tool pprof -http="0.0.0.0:8081" http://localhost:8080/debug/pprof/profile?seconds=30

• localhost:8080， Databend 的管理地址和端口
• 0.0.0.0:8081，go tool pprof server 地址
• seconds=30，采集时间为 30 s

这样就可以在浏览器中打开地址: <your-ip>:8081/ui/flamegraph 查看 CPU 的火焰图了，非常方便。

Memory Profiling

Memory 的火焰图要复杂些，需要做一些前置工作。

1. Enable memory profiling

cargo build --bin databend-query --release --features memory-profiling

2. 使用 MALLOC_CONF 启动

MALLOC_CONF=prof:true,lg_prof_interval:30 ./target/release/databend-query

• lg_prof_interval:30, 1GiB(2^30 bytes)生成一次 Dump文件

3. 替换更快的 add2line-rs

git clone https://github.com/gimli-rs/addr2line
cd addr2line
cargo b --examples -r
cp ./target/release/examples/addr2line <your-addr2line-find-with-whereis-addr2line>

这样你的 jeprof 就会从 30 分钟飞速到 3 秒。

4. 升级 jeprof 到最新版本

由于旧版 jeprof 不支持火焰图的一些参数，需要对 jeprof 进行升级，由于 jeporf 是一个 perl 脚本，升级就比较暴力。 首先找出本机的jeprof文件的路径：

whereis jeprof

然后打开jeprof 最新版，拷贝并覆盖你本机的 jeprof，注意不要覆盖旧版本的这两个参数，否则会执行失败：

my $JEPROF_VERSION = "5.2.1-0-gea6b3e973b477b8061e0076bb257dbd7f3faa756";
my $PPROF_VERSION = "2.0";

5. 生成火焰图

jeprof ./databend-query-main ./jeprof.206330.563.i563.heap --collapse | flamegraph.pl --reverse --invert --minwidth 3 > heap.svg

• flamegraph.pl 需要从 github下载
• databend-query-main，你的可执行文件路径
• jeprof.206330.563.i563.heap，选取一个heap 文件

References

[1] brendangregg/FlameGraph [2] https://github.com/jemalloc/jemalloc/blob/dev/bin/jeprof.in [3] Databend, Cloud Lakehouse: https://github.com/datafuselabs/databend

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

• Databend 文档：https://databend.rs/
• Twitter：https://twitter.com/Datafuse_Labs
• Slack：https://datafusecloud.slack.com/
• Wechat：Databend
• GitHub ：https://github.com/datafuselabs/databend