DeepSpeed v0.18.8 发布：稳定性、Evoformer、多架构构建与ZeRO优化全面升级详解

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

DeepSpeed v0.18.8 于 2026 年 3 月 13 日 正式发布，这是一次以“修复问题 + 提升稳定性 + 改善开发与构建体验”为核心目标的补丁版本。 该版本共包含 9 次提交、16 个文件变更、260 行新增代码、84 行删除代码，覆盖 训练稳定性、日志控制、Evoformer 多架构支持、ZeRO Stage1/2/3、FP16 精度配置、NPU 构建、Async IO、测试与文档 等多个关键模块。

本文将完全基于官方更新内容，对 DeepSpeed v0.18.8 的所有变更进行逐条拆解与系统化解读，帮助你快速理解本次版本升级带来的实际价值。

一、版本概览与更新重点

1. 基本信息

• • 版本号：v0.18.8
• • 发布时间：2026 年 3 月 13 日
• • 版本类型：Patch Release（补丁版本）

2. 核心更新方向总结

本次 v0.18.8 主要聚焦以下几个方面：

• • 日志与内存监控优化：减少无意义的日志噪音
• • Evoformer Attention 多架构构建修复：解决编译与调度根因
• • FP16 loss_scale 校验增强：避免隐性训练错误
• • ZeRO Stage1/2/3 稳定性改进：CUDA stream 与日志行为修复
• • Bloom 模型推理测试修复
• • 华为 Ascend NPU Async IO 构建问题修复
• • AI 编码代理项目规范新增
• • 测试覆盖增强
• • 版本号更新

二、日志与内存使用输出优化

Suppress see_memory_usage logs

多个 ZeRO 相关模块中，see_memory_usage 的日志调用被统一优化：

• • 同一位置同时调用 force=True 与 force=False
• • 在 rank0 或非必要场景下避免重复打印

涉及模块包括：

• • ZeRO Offload
• • ZeRO Stage3
• • ZeRO Stage1 & Stage2
• • 参数分区与卸载流程

优化效果

• • 显著减少控制台日志噪音
• • 在大规模分布式训练中提升可读性
• • 不影响原有内存调试能力

三、Bloom 推理测试卡死问题修复

Fix hangs of bloom test

Bloom 推理容器在特定 Transformers 版本检测逻辑中存在异常行为。

修复点

• • 原逻辑在检测到 Transformers 版本超过 4.43.4 时，使用了 sys.exit
• • 修复为 直接抛出 RuntimeError

影响

• • 测试环境不再直接退出 Python 进程
• • 错误提示更加友好、可捕获
• • CI 与自动化测试稳定性提升

四、FP16 loss_scale 校验全面增强

Validate fp16.loss_scale is finite and non-negative

在 DeepSpeedFP16Config 中，新增了对 loss_scale 的严格校验逻辑。

新增校验规则

• • 不允许为 bool
• • 必须可转换为数值
• • 必须是 有限值（禁止 inf / -inf / nan）
• • 必须 ≥ 0
  • • 0 表示启用动态 loss scaling

对应测试用例新增

• • 覆盖非法值：-1、inf、nan、True
• • 覆盖合法值：0、1、2.0、字符串数值
• • 错误类型时，错误信息清晰明确

实际价值

• • 避免训练过程中出现难以排查的数值异常
• • 在配置阶段即阻断错误输入
• • 提升 FP16 训练的安全性与可维护性

五、Evoformer Attention：多架构构建与调度根因修复

这是 v0.18.8 中技术含量最高、影响最深远的更新之一。

1. 多架构 dispatch 根因修复

核心变化

• • 移除 CheckArch 中对 __CUDA_ARCH__ 的依赖
• • 修复多架构构建时的逻辑冲突
• • 明确不同架构对 fp16 / bf16 的支持范围

架构支持矩阵

2. DISPATCH_ARCHTAG 宏逻辑重构

• • 不再依赖编译期 GPU_ARCH 条件嵌套
• • 运行期根据 CC 直接选择 Sm70 / Sm75 / Sm80
• • 不满足 Tensor Core 条件直接报错

好处

• • 多架构 CUDA slice 行为更一致
• • 解决 Evoformer 在混合 GPU 环境下的异常构建问题

3. DS_EVOFORMER_GPU_ARCH 正式废弃

变化说明

• • 构建逻辑中不再读取该环境变量
• • 设置该变量时仅发出警告
• • 真正生效的构建控制方式为 TORCH_CUDA_ARCH_LIST

新推荐方式

TORCH_CUDA_ARCH_LIST='7.0;8.0'

4. Evoformer 构建文档全面更新

文档明确说明：

• • Evoformer 仅支持 SM ≥ 70
• • Tensor Core 为必要条件
• • 多架构构建完全依赖 TORCH_CUDA_ARCH_LIST
• • 低于 SM70 的目标会被自动裁剪

5. Evoformer Builder 测试新增

新增单元测试覆盖：

• • 低于 7.0 的 CC 被过滤
• • +PTX 后缀正确保留
• • 不再生成 -DGPU_ARCH 编译参数
• • CheckArch 中不再包含 __CUDA_ARCH__

六、Async IO：华为 Ascend NPU 构建问题修复

Fix async_io ops building error on Huawei Ascend NPU

修复内容

• • 修正源文件列表中缺失的逗号
• • 修复 CPU op 中对 NPU 判断逻辑
• • 避免 torch_npu 未声明导致的构建失败

影响

• • Ascend NPU 环境下 Async IO 可正常编译
• • 提升 DeepSpeed 在非 CUDA 平台的可用性

七、ZeRO 系列模块关键修复

1. ZeRO-3 CUDA stream 修复

修复点

• • 使用 current_stream() 替代 default_stream()
• • 避免梯度归约时的数据依赖问题

效果

• • CUDA Stream 同步更安全
• • 减少潜在死锁与性能异常

2. ZeRO 参数卸载与分区日志修正

• • 多处 print_rank_0 重复 force 参数修复
• • see_memory_usage 行为统一
• • 提升多卡训练日志一致性

3. ZeRO Stage1 & Stage2 稳定性增强

• • 优化 optimizer state 初始化前后的内存日志
• • 保持与 Stage3 行为一致

八、AI 编码代理项目规则正式加入

新增 AGENTS.md 与 CLAUDE.md

两份文件内容完全一致，作为 DeepSpeed 工作区级 AI 编码规范。

核心规则包括：

• • 提交必须带 Signed-off-by
• • 强制 yapf + flake8
• • 禁止无意义格式化提交
• • 新文件必须包含 Apache-2.0 License Header
• • 不允许直接 import torch.distributed
• • 删除无运行时价值的死代码
• • 注释强调“为什么”，而非“做什么”

意义

• • 明确 AI 编码参与项目的行为边界
• • 降低 Review 成本
• • 提升长期代码质量与一致性

九、版本号更新

• • version.txt 从 0.18.7 → 0.18.8
• • 正式标志该补丁版本发布完成

十、总结：为什么推荐升级到 v0.18.8

代码地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.18.8 虽然是一个 Patch 级别更新，但从实际改动内容来看，v0.18.8 已经远远超出了“简单修 Bug”的范畴，而是一次针对稳定性、可维护性与未来演进方向的系统性修正版本

·

我们相信人工智能为普通人提供了一种“增强工具”，并致力于分享全方位的AI知识。在这里，您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。 欢迎关注“福大大架构师每日一题”，发消息可获得面试资料，让AI助力您的未来发展。

·