昨天我看到一个数字，停在那儿看了很久。为了查清楚自家的 AI 在过去几个月究竟干过什么，OpenAI 投入了大约 7000 块 GB200 和 GB300，每天...

一句话版本：这是一个吵了三年的问题，答案从"省"变成了"取决于"——而"取决于什么"，恰好是 2025 年最有意思的进展。本文整理 2023–2025 年约 3...

我在 WorkBuddy 专家中心创建了一个大模型能耗监控方向的专家——它基于我们团队公开的推理能耗实测数据集，回答"该不该量化"这类问题：给我 GPU 型号、...

做 LLM 部署的人大多有个默认假设：量化降低了显存占用和内存带宽压力，所以推理更省电。这个假设在论文和工程实践里被反复引用，但真正直接测过的很少——大部分"量...

事情是这样的。周一晨会，轮到我讲方案，笔记本接上会议室的HDMI线——屏幕一闪，然后黑了。投影仪显示"无信号"。我按 Win+P 切复制模式，没用；拔插HDMI...

做 LLM 推理优化时，多数人默认"权重低比特量化 = 省电"。我用 NVML 直接读功耗测了一轮后发现：低于某个模型规模的交叉点，NF4 反而更费电；而且这个...

①　部署过程中需要安装各种工具及下载大语言模型，确保AGX Orin 已经连接到了互联网。查看方法：控制台ping baidu.com。

聊并行之前得先知道敌人是谁。训练时一个参数要占多少字节？混合精度 + AdamW 的标准配置下：

同一个 torch.compile，A 快了一倍，B 基本没动。这就是本篇全部内容的缩影：编译器省的是开销，不是算力。算子越碎、Python 胶水越重，能省的越...

飞书已经成功连接到的Hermes Agent后，就想看看它到底可以给我做些什么，做到物尽其用。