anzhsoft

文章/答案/技术大牛

发布

LV0

发表了文章 5天前2026-07-16 21:30:31

22-mini-batch-micro-batch-dynamic-batch-size的区别

第 21 篇解释了 EngineRegistry和 BaseEngine如何把不同训练后端收进同一组 worker 合同。接下来最容易混淆的不是后端名字，而是 ...

anzhsoft 5天前2026-07-16 21:30:31

配置、算法、dynamic、size、后端

发表了文章 5天前2026-07-16 21:30:11

21-EngineRegistry如何让上层Trainer不关心底层后端

第 19 篇和第 20 篇分别拆了 FSDP/FSDP2 与 Megatron/MCore。读到这里，很容易产生一个反问：既然两个后端差异这么大，为什么上层 t...

anzhsoft 5天前2026-07-16 21:30:12

rank、后端、接口、配置、同步

发表了文章 5天前2026-07-16 21:29:48

20-Megatron-MCore-TP-PP-EP如何支撑MoE

第 19 篇讲 FSDP/FSDP2：当一次 RL update 进入 worker 内部，训练状态怎样被参数、梯度和 optimizer state 的 sh...

anzhsoft 5天前2026-07-16 21:29:49

路由、模型、配置、源码、后端

发表了文章 9天前2026-07-13 11:13:32

如何把 CubeSandbox 放进 veRL 训练链路

上一篇：腾讯开源 CubeSandbox：当 AI 开始替你动手，Sandbox 就不再是可选项，从 AI Agent 进入办公和研发场景讲起，解释了 Cube...

anzhsoft 9天前2026-07-13 11:13:32

测试、集群、模型、网络、并发

发表了文章 9天前2026-07-13 11:13:13

19-FSDP-FSDP2 把大模型切开训练

第三组解释了 rollout 如何把 response 生产出来，第四组导读把问题推进到 worker 内部。本文从最常用的 FSDP/FSDP2 后端切入：当...

anzhsoft 9天前2026-07-13 11:13:13

配置、算法、同步、源码、模型

发表了文章 9天前2026-07-13 11:13:05

腾讯开源 CubeSandbox：当 AI 开始替你动手，Sandbox 就不再是可选项

如果你第一次接触 AI Agent，可以先把 sandbox 理解成“给模型临时分配的一台隔离小电脑”。模型可以在里面运行 Python、Shell、测试命令，...

anzhsoft 9天前2026-07-13 11:13:05

开源、sandbox、模型、腾讯、网络

发表了文章 9天前2026-07-13 11:12:54

第四组导读-训练引擎与分布式核心

第三组把推理嵌入训练：response 不是训练脚本里顺手调用的一次生成，而是由 rollout service、backend adapter、KV cach...

anzhsoft 9天前2026-07-13 11:12:54

同步、分布式、后端、模型、算法

发表了文章 9天前2026-07-13 11:12:46

18-长尾rollout为什么agentRL容易让GPU空转

上一篇把工具、sandbox 和环境反馈接回了训练信号。本文继续看这个设计的代价：一旦 rollout 不再是单轮补全，而是长 prompt、长 respons...

anzhsoft 9天前2026-07-13 11:12:46

工具、同步、异步、gpu、并发

发表了文章 9天前2026-07-13 11:12:38

17-ToolCalling和Sandbox环境如何成为reward的一部分

上一篇说明了 agent loop 为什么必须坚持 token-in/token-out：多轮轨迹里既有模型生成 token，也有工具 observation ...

anzhsoft 9天前2026-07-13 11:12:38

系统、sandbox、工具、模型、配置

发表了文章 9天前2026-07-13 11:12:30

从 verl 源码读懂 AI 后训练：一套写给 AI Infra 读者的训推系统地图

当我们进入 RLHF、GRPO、Agent RL、多轮工具调用这些场景时，系统里同时出现了训练目标、数据流、controller、worker、reward、r...

anzhsoft 9天前2026-07-13 11:12:31

源码、地图、后端、算法、系统

发表了文章 16天前2026-07-06 14:22:59

16-AgentLoop为什么RL训练需要token-in-token-out

上一篇说明了 rollout 不只是调用后端生成，而是在训推共卡时管理显存状态。本文继续往上看一个更容易被低估的变化：当 rollout 从单轮补全变成 age...

anzhsoft 16天前2026-07-06 14:23:00

agent、token、工具、模型、状态机

发表了文章 16天前2026-07-06 14:13:55

15-KVCache-sleep-resume与显存复用

上一篇把 vLLM、SGLang、TRT-LLM 放进了 rollout backend 抽象。本文继续往下看：当 rollout engine 和训练 eng...

anzhsoft 16天前2026-07-06 14:13:55

同步、server、sleep、服务、生命周期

发表了文章 16天前2026-07-06 14:13:39

14-vLLM-SGLang-TRT-LLM在verl里如何被抽象

上一篇说明了 rollout 是训练系统里的推理服务边界。这一篇继续向下看：如果 rollout 是服务，那么 vLLM、SGLang、TRT-LLM 这些后端...

anzhsoft 16天前2026-07-06 14:13:39

配置、生命周期、同步、LLM、后端

发表了文章 19天前2026-07-03 17:13:57

13-Rollout训练系统里的推理服务

上一篇导读把第三组的问题定住了：当数据、reward 和算法合同都成立后，下一步要看 response 是怎么被生产出来的。本文先回答最基础的问题：rollou...

anzhsoft 19天前2026-07-03 17:13:57

服务、后端、同步、系统、源码

发表了文章 19天前2026-07-03 17:13:49

00-第三组导读-推理如何嵌入训练

第二组把算法从名字翻译成了工程合同：数据入口给出 raw_prompt、reward_model和 extra_info，reward 形成 token 级训练...

anzhsoft 19天前2026-07-03 17:13:49

服务、工具、数据、算法、系统

发表了文章 20天前2026-07-01 21:10:15

12-数据进入RL前经历了什么

上一篇把 reward 从“一个分数函数”拆成了系统接口。这一篇继续往上游走：reward manager 为什么能拿到 data_source、reward_...

anzhsoft 20天前2026-07-01 21:10:15

prompt、对象、配置、数据、dataset

发表了文章 20天前2026-07-01 21:09:59

11-Reward不是一个分数函数这么简单

上一篇写 KL、clip、entropy，说明 actor 更新需要限速器。但限速器限制的是 reward 和 advantage 驱动出来的更新方向。继续往前...

anzhsoft 20天前2026-07-01 21:10:00

系统、函数、路由、模型、数据

发表了文章 20天前2026-07-01 21:09:48

10-KL-clip-entropy给模型更新装限速器

上一篇写 DAPO、Dr. GRPO 和长度偏置，说明 reward、advantage 和 loss 聚合会把 response 长度变成训练变量。这一篇继续...

anzhsoft 20天前2026-07-01 21:09:48

配置、系统、源码、actor、模型

发表了文章 20天前2026-07-01 21:09:37

09-DAPO、Dr. GRPO 与长度偏置

上一篇解释了 GRPO 为什么能省掉 critic：它用同一 prompt 的多条 response 做组内相对 baseline，而不是训练一个 value ...

anzhsoft 20天前2026-07-01 21:09:37

actor、管理、配置、系统、源码

发表了文章 20天前2026-07-01 21:09:24

08-GRPO 为什么能省掉 critic

上一篇拆清了 PPO 后训练里的四个角色：actor 才是被 policy loss 更新的主策略，critic 只是给 PPO/GAE 提供 value ba...

anzhsoft 20天前2026-07-01 21:09:24

算法、系统、源码、response、token

12 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2019-10-14

个人成就

获得 12 次赞同
文章被阅读 3.7K 次

关注了：1关注者：11