摘要:本地部署不是"把模型装进服务器"这么简单——国产算力适配、推理性能调优、长短请求调度、成本核算,任何一环没做好都会"装得上、用不好"。而这些坎,aiXco...
开启 vLLM 的 CPU offload 后,部分模型权重可以放到主机内存中,减轻 GPU 显存压力。但显存需求下降,不等于整台实例的内存就足够:主机内存和单...
摘要: GPU 算力租赁的选型依据是任务类型而非显卡型号:训练选计算型实例,推理选推理型实例,图形渲染选渲染型实例。腾讯云 GPU 云服务器(Cloud GPU...
ZStack 云轴科技不声不响的,又干了一件事——把 旗下的 MaaS 平台GPUWorks 开源了。
我这个项目上次被外部力量推动,是一位贡献者提交了完整的测量数据——一份 schema 校验通过的 energy.json,来自别人的 GPU。而昨天,另一位复现...
独立集群的 master 版本升级会重置 master 上所有组件的配置,影响 qgpu-scheduler 作为 Scheduler Extender 的配置...
我维护一个 GPU 能耗测量工具(MLCube 容器格式)。昨天一位复现者在干净的 Ubuntu 22.04 上跑"一键脚本",反馈:100% 失败。截图里第一...
你刷到的每一张 AI 旗舰显卡,宣传页都写着「XX 亿晶体管」「XX TB/s 显存带宽」。
上一篇里,我们聊了怎么读取 GPU 功耗、怎么设计一个基本实验、怎么避免三个最常见的坑。读完之后,你应该能跑通一条测量链路:写脚本、采数据、画曲线、算能耗。
为什么要写这篇过去半年我一直在做 LLM 推理能耗的实测工作,写了一系列关于量化省不省电的文章。但每次和朋友聊起这个话题,我发现大家卡住的地方往往不是“量化到底...
2026年7月,Blackwell租金涨27%、H100不降反升、国产超节点量产。这篇文章帮你理清选型逻辑,不被供应商话术带偏。