AI Infra 系列 · 第六章 GPU 性能工程（四）：并行策略

模型大了训不动，第一反应往往是"多拿点卡"。但卡拿到手，怎么切才是真问题——切错一天白烧几万块。这篇不讲抽象理论，讲账本：671B 的模型每卡要装 10 TB 模型状态，连 ZeRO-2 都救不回来；张量并行每层两次 all-reduce，跨节点就废；专家并行的 all-to-all 流量能跟计算量打成 1:1。每一步都能用脚本算出来，不需要你有万卡集群。