首页
学习
活动
专区
圈层
工具
发布

#gpu

模型塞进 GPU = 模型本地部署?大错特错

企业AI编程观察

摘要:本地部署不是"把模型装进服务器"这么简单——国产算力适配、推理性能调优、长短请求调度、成本核算,任何一环没做好都会"装得上、用不好"。而这些坎,aiXco...

8110

vLLM CPU offload 部署前,怎样同时筛主机内存和 GPU 显存?

AI 小笔记

开启 vLLM 的 CPU offload 后,部分模型权重可以放到主机内存中,减轻 GPU 显存压力。但显存需求下降,不等于整台实例的内存就足够:主机内存和单...

8710

GPU 算力租赁怎么选?实例类型、计费模式与适用场景对照

克劳德2048

摘要: GPU 算力租赁的选型依据是任务类型而非显卡型号:训练选计算型实例,推理选推理型实例,图形渲染选渲染型实例。腾讯云 GPU 云服务器(Cloud GPU...

19510

GPUWorks 开源,算力普惠的最后一公里被ZStack补上了

谢强byron

ZStack 云轴科技不声不响的,又干了一件事——把 旗下的 MaaS 平台GPUWorks 开源了。

10810

腾讯云GPU算力跑AI短剧渲染:秒剧两周交付竖屏出海短剧实战拆解

用户12770583

21310

秒剧出海预算表:腾讯云GPU算力重构AI短剧渲染成本

用户12770583

19810

零代码,两次发版:一份跑挂了的报告就是贡献

四王爷

我这个项目上次被外部力量推动,是一位贡献者提交了完整的测量数据——一份 schema 校验通过的 energy.json,来自别人的 GPU。而昨天,另一位复现...

15520

Kubernetes 上如何提升大模型推理 GPU 利用率?TKE qGPU 共享实战 HotTopic

克劳德2048

独立集群的 master 版本升级会重置 master 上所有组件的配置,影响 qgpu-scheduler 作为 Scheduler Extender 的配置...

16010

一个让我的开源项目在 Linux 上 100% 装不上的回车符

四王爷

我维护一个 GPU 能耗测量工具(MLCube 容器格式)。昨天一位复现者在干净的 Ubuntu 22.04 上跑"一键脚本",反馈:100% 失败。截图里第一...

18121

2.5D/3D封装原理解析:GPU+HBM如何集成在一起?

疯聊AI

你刷到的每一张 AI 旗舰显卡,宣传页都写着「XX 亿晶体管」「XX TB/s 显存带宽」。

22400

从一次测量到一组可信数据:测量协议设计入门

四王爷

上一篇里,我们聊了怎么读取 GPU 功耗、怎么设计一个基本实验、怎么避免三个最常见的坑。读完之后,你应该能跑通一条测量链路:写脚本、采数据、画曲线、算能耗。

17610

从一次测量到一组可信数据:测量协议设计入门

四王爷

上一篇里,我们聊了怎么读取 GPU 功耗、怎么设计一个基本实验、怎么避免三个最常见的坑。读完之后,你应该能跑通一条测量链路:写脚本、采数据、画曲线、算能耗。

17610

写给非硬件背景开发者的 GPU 功耗测量入门:从“看不懂瓦特”到第一张功耗曲线

四王爷

为什么要写这篇过去半年我一直在做 LLM 推理能耗的实测工作,写了一系列关于量化省不省电的文章。但每次和朋友聊起这个话题,我发现大家卡住的地方往往不是“量化到底...

18710

写给非硬件背景开发者的 GPU 功耗测量入门:从“看不懂瓦特”到第一张功耗曲线

四王爷

为什么要写这篇过去半年我一直在做 LLM 推理能耗的实测工作,写了一系列关于量化省不省电的文章。但每次和朋友聊起这个话题,我发现大家卡住的地方往往不是“量化到底...

18710

多大显卡才能跑AI?AI算力GPU选型避坑策略(一张图告诉你):Deepseek等模型要求

知予

2026年7月,Blackwell租金涨27%、H100不降反升、国产超节点量产。这篇文章帮你理清选型逻辑,不被供应商话术带偏。

66910
领券