dongdonglog

文章/答案/技术大牛

发布

LV3

发表了文章 4小时前2026-09-18 18:37:48

AI Infra 系列 · 第六章 GPU 性能工程（四）：并行策略

聊并行之前得先知道敌人是谁。训练时一个参数要占多少字节？混合精度 + AdamW 的标准配置下：

dongdonglog 4小时前2026-09-18 18:37:48

机器学习、大模型部署、算法、gpu、性能优化

发表了文章 2天前2026-09-16 18:05:47

AI Infra 系列 · 第六章 GPU 性能工程（三）：torch.compile 不是开关——碎算子能快一倍，GEMM 基本白搭

同一个 torch.compile，A 快了一倍，B 基本没动。这就是本篇全部内容的缩影：编译器省的是开销，不是算力。算子越碎、Python 胶水越重，能省的越...

dongdonglog 2天前2026-09-16 18:05:47

算法、性能优化、gpu、机器学习、大模型部署

发表了文章 4天前2026-09-14 17:23:53

运维事故总结 — K3s 重启后 Service 全挂：从 Failed to ensure chain jumps 讲透 kube-proxy 规则同步

一次节点重启之后，集群里 11 个应用全部卡在 Init:0/1。DNS 解析正常，Pod 之间互 ping 通畅，但从 Pod 到宿主机，没有任何一个进程能连...

dongdonglog 4天前2026-09-14 17:23:53

kubernetes、运维、linux、kubernetes-pod、网络通信

发表了文章 8天前2026-09-10 17:50:16

AI Infra 系列 · 第六章 GPU 性能工程（二）：B200 算力涨 2.25 倍，运数据的路一寸没宽，你的内核其实在等数据

2026 年 3 月，Tri Dao 和 Colfax、Meta、NVIDIA 的人一起发了 FlashAttention-4（arXiv:2603.05451...

dongdonglog 2天前2026-09-16 17:57:42

gpu、ruby on rails、大模型部署、性能优化、性能分析

发表了文章 10天前2026-09-08 13:51:10

AI Infra 系列 · 第六章 · GPU 性能工程（一）：训练慢，先别改代码，先做一次性能体检

有个反直觉的事实值得先说清楚：nvidia-smi 里的 GPU 利用率，说的是"GPU 有没有在干活"，不是"GPU 干的是不是正事"。一个内核要是写得烂，它...

dongdonglog 2天前2026-09-16 17:57:10

机器学习、算法、ruby on rails、大模型部署、自动推理

发表了文章 11天前2026-09-07 18:22:34

企业知识图谱落地指南：七阶段五门禁的工程化 SOP

"要不要做图谱"本身就该先被决策。如果业务问题不需要关系推理、不需要跨系统关联，那 RAG 优先就够了，别为技术而技术——G1 门禁的存在就是强制你想清楚。

dongdonglog 11天前2026-09-07 18:33:32

向量数据库、工程化、后端、算法、关系型数据库

关注了用户 11天前2026-09-07 16:21:47

点火三周

Elastic首席云解决方案架构师，拥有多个云厂商架构师认证。是一个活跃的知识分享者和社区活动者。

448 文章6 回答3.2K 关注者

发表了文章 14天前2026-09-04 14:28:59

知识图谱存储选型与 GraphRAG 落地：关系库、图库、向量库三路分工

答案不是"选一个"，而是"三个都要，各管一段"。关系库、图库、向量库，长得都像"数据库"，干的活完全不同：

dongdonglog 14天前2026-09-04 14:28:59

关系型数据库、向量数据库、开发者实验室、后端、GPU 云服务器

发表了文章 15天前2026-09-03 17:59:10

知识图谱实战：从 5 条威胁情报到一张知识图谱（附完整建模代码）

威胁情报（CTI）是知识图谱最"硬核"的落地场景之一：数据来自多源（报告、漏洞库、厂商公告、OSINT）、实体关系密集、分析问题天然是多跳关系型。MITRE A...

dongdonglog 15天前2026-09-03 17:59:10

算法、工程化、漏洞、owl、后端

关注了用户 15天前2026-09-03 17:59:08

刘宗斌-博士

中国式运营理论创始人，接受《企业管理》杂志社专访“中国式现代化需要中国式运营”，人民日报客户端转发。

33 文章2 回答15 关注者

发表了文章 16天前2026-09-02 18:22:07

AI Infra 系列 · 第五章训练与调度（下）：一万张 GPU 怎么排班，调度器才是训练场的隐形老板

如果你管过一个训练集群，下面这个场景一定不陌生：周三下午，三个团队同时提交作业——A 要 512 卡训大模型，B 要 64 卡微调，C 只要 8 卡跑实验。调度...

dongdonglog 16天前2026-09-02 18:22:07

kubernetes、nvidia、ruby on rails、GPU 云服务器、gpu

发表了文章 17天前2026-09-01 11:18:12

AI Infra 系列 · 第五章训练与调度（上）： 8 张卡 7 张闲？单机调优才是你欠下的第一笔账

先讲个真实的烦恼。你组里一个训练任务，跑了三天，nvidia-smi 一查：GPU 利用率 60%，还一跳一跳的，像打摆子。算法同学说"代码没问题"，网络同学说...

dongdonglog 16天前2026-09-02 18:24:25

ruby on rails、服务器配置、算法、GPU 云服务器、机器学习

发表了文章 18天前2026-08-31 10:18:06

一文搞懂 OWL、RDF、SHACL、Turtle：知识图谱的四种建模语言

做知识图谱的人桌面上永远摆着四个缩写：OWL、RDF、SHACL、Turtle。新手最常问：这四个是四选一吗？

dongdonglog 18天前2026-08-31 10:18:06

运维、owl、后端、算法、工程化

发表了文章 21天前2026-08-28 15:16:45

一文讲透本体、知识图谱、RAG：一张图看懂"形 / 图 / 值 / 用"四层分工

问题一：某股份制银行把客户征信、交易流水、关联企业数据建成了企业关联图谱（覆盖股权、担保、交易等 15 种关系类型），贷前审查时间从 72 小时缩短到 4 小时...

dongdonglog 21天前2026-08-28 15:16:45

后端、运维、大模型部署、算法、工程化

发表了文章 22天前2026-08-27 10:30:25

AI Infra 系列 · 第四章推理引擎 (下)：投机解码、量化、KV 池化、MoE 并行，一张卡当两张用

decode 慢的根源是串行：一次只能生成一个 token，每步都要把全部权重搬一遍。

dongdonglog 22天前2026-08-27 10:30:25

算法、机器学习、ruby on rails、自动推理、大模型部署

发表了文章 23天前2026-08-26 11:55:03

AI Infra 系列 · 第四章推理引擎 (上)：为什么 LLM 一次只蹦一个 token，vLLM 和 SGLang 到底差在哪

推理是单行道：用户的问题（prompt）先整体算一遍（这叫 prefill），然后一次只能生成一个 token（这叫 decode）。生成第 2 个 token...

dongdonglog 23天前2026-08-26 11:55:03

算法、自动推理、大模型部署、ruby on rails、机器学习

发表了文章 24天前2026-08-25 11:36:14

AI Infra 系列 · 第三章存储层（下）：训练慢别改学习率，先看 DataLoader

调优不当的输入管道可能浪费 50% 的 GPU 时间，而算法优化通常只给几个百分点

dongdonglog 24天前2026-08-25 11:36:14

机器学习算法、ruby on rails、自动推理、大模型部署、TI-OCR 训练平台

发表了文章 25天前2026-08-24 16:49:47

AI Infra 系列 · 第三章存储层（上）：GPU 饿着不是算法问题，是账单问题

一个 72 卡的 NVIDIA NVL72 机柜，如果每张 GPU 需要 200 MB/s 的训练数据才不闲着，整个机柜需要 14 到 20 GB/s 的聚合存...

dongdonglog 25天前2026-08-24 16:49:47

自动推理、TI-OCR 训练平台、大模型部署、ruby on rails、机器学习算法

发表了文章 29天前2026-08-20 11:33:06

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

第一章第五节讲过，2026 年推理系统最明确的一条主线，是分离式 Prefill/Decode——把 prefill 和 decode 拆到不同的 GPU 池，...

dongdonglog 29天前2026-08-20 11:33:06

大模型部署、gpu、自动推理、ruby on rails、机器学习算法

发表了文章 30天前2026-08-19 16:04:56

AI Infra 系列 · 第二章（上）：训练侧通信——NCCL 如何让 GPU 别等数据

一块 Blackwell 几秒钟能算完的矩阵，如果梯度同步要走一条又慢又绕的路，整张卡就得停下来干等。在我们第一章里 Meta 那份研究说，集群看着 100% ...

dongdonglog 30天前2026-08-19 18:17:11

gpu、机器学习算法、ruby on rails、学习方法、DevOps 解决方案

12 下一页

个人简介

具身智能公司 | 运维开发工程师
从 0 开始写博客，现在开始做一些AI工具、AI面试等等智能体，提供企业AI落地方案，以及自建算力集群/
自动化运维
网络工程
https://github.com/dongdonglog
广东省 | 深圳市
加入社区时间：2025-02-09

个人成就

获得 71 次赞同
文章被阅读 11.9K 次
文章获得 20 次首页推荐

关注了：3关注者：24

dongdonglog

AI Infra 系列 · 第六章 GPU 性能工程（四）：并行策略

AI Infra 系列 · 第六章 GPU 性能工程（三）：torch.compile 不是开关——碎算子能快一倍，GEMM 基本白搭

运维事故总结 — K3s 重启后 Service 全挂：从 Failed to ensure chain jumps 讲透 kube-proxy 规则同步

AI Infra 系列 · 第六章 GPU 性能工程（二）：B200 算力涨 2.25 倍，运数据的路一寸没宽，你的内核其实在等数据

AI Infra 系列 · 第六章 · GPU 性能工程（一）：训练慢，先别改代码，先做一次性能体检

企业知识图谱落地指南：七阶段五门禁的工程化 SOP

点火三周

知识图谱存储选型与 GraphRAG 落地：关系库、图库、向量库三路分工

知识图谱实战：从 5 条威胁情报到一张知识图谱（附完整建模代码）

刘宗斌-博士

AI Infra 系列 · 第五章训练与调度（下）：一万张 GPU 怎么排班，调度器才是训练场的隐形老板

AI Infra 系列 · 第五章训练与调度（上）： 8 张卡 7 张闲？单机调优才是你欠下的第一笔账

一文搞懂 OWL、RDF、SHACL、Turtle：知识图谱的四种建模语言

一文讲透本体、知识图谱、RAG：一张图看懂"形 / 图 / 值 / 用"四层分工

AI Infra 系列 · 第四章推理引擎 (下)：投机解码、量化、KV 池化、MoE 并行，一张卡当两张用

AI Infra 系列 · 第四章推理引擎 (上)：为什么 LLM 一次只蹦一个 token，vLLM 和 SGLang 到底差在哪

AI Infra 系列 · 第三章存储层（下）：训练慢别改学习率，先看 DataLoader

AI Infra 系列 · 第三章存储层（上）：GPU 饿着不是算法问题，是账单问题

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

AI Infra 系列 · 第二章（上）：训练侧通信——NCCL 如何让 GPU 别等数据

个人简介

个人成就

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

dongdonglog

AI Infra 系列 · 第六章 GPU 性能工程（四）：并行策略

AI Infra 系列 · 第六章 GPU 性能工程（三）：torch.compile 不是开关——碎算子能快一倍，GEMM 基本白搭

运维事故总结 — K3s 重启后 Service 全挂：从 Failed to ensure chain jumps 讲透 kube-proxy 规则同步

AI Infra 系列 · 第六章 GPU 性能工程（二）：B200 算力涨 2.25 倍，运数据的路一寸没宽，你的内核其实在等数据

AI Infra 系列 · 第六章 · GPU 性能工程（一）：训练慢，先别改代码，先做一次性能体检

企业知识图谱落地指南：七阶段五门禁的工程化 SOP

点火三周

知识图谱存储选型与 GraphRAG 落地：关系库、图库、向量库三路分工

知识图谱实战：从 5 条威胁情报到一张知识图谱（附完整建模代码）

刘宗斌-博士

AI Infra 系列 · 第五章 训练与调度（下）：一万张 GPU 怎么排班，调度器才是训练场的隐形老板

AI Infra 系列 · 第五章 训练与调度（上）： 8 张卡 7 张闲？单机调优才是你欠下的第一笔账

一文搞懂 OWL、RDF、SHACL、Turtle：知识图谱的四种建模语言

一文讲透本体、知识图谱、RAG：一张图看懂"形 / 图 / 值 / 用"四层分工

AI Infra 系列 · 第四章 推理引擎 (下)：投机解码、量化、KV 池化、MoE 并行，一张卡当两张用

AI Infra 系列 · 第四章 推理引擎 (上)：为什么 LLM 一次只蹦一个 token，vLLM 和 SGLang 到底差在哪

AI Infra 系列 · 第三章 存储层（下）：训练慢别改学习率，先看 DataLoader

AI Infra 系列 · 第三章 存储层（上）：GPU 饿着不是算法问题，是账单问题

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

AI Infra 系列 · 第二章（上）：训练侧通信——NCCL 如何让 GPU 别等数据

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

AI Infra 系列 · 第五章训练与调度（下）：一万张 GPU 怎么排班，调度器才是训练场的隐形老板

AI Infra 系列 · 第五章训练与调度（上）： 8 张卡 7 张闲？单机调优才是你欠下的第一笔账

AI Infra 系列 · 第四章推理引擎 (下)：投机解码、量化、KV 池化、MoE 并行，一张卡当两张用

AI Infra 系列 · 第四章推理引擎 (上)：为什么 LLM 一次只蹦一个 token，vLLM 和 SGLang 到底差在哪

AI Infra 系列 · 第三章存储层（下）：训练慢别改学习率，先看 DataLoader

AI Infra 系列 · 第三章存储层（上）：GPU 饿着不是算法问题，是账单问题