首页
学习
活动
专区
圈层
工具
发布

#gpu

CPU vs. GPU - 一个诸葛亮顶不住一万个臭皮匠

Crossin先生

如今大家聊起电脑,第一句问的不再是“你 CPU 几核的?”,而是“显卡是什么型号?显存多大?够跑大模型吗?”

10510

我给一个推理服务做 K8s 上线前预检

goodgood_live

服务用 vLLM 跑,目标是放到 K8s 里给内部测试环境用。接口在单机上能返回结果,但我不想直接把 Deployment 扔进集群里等报错,所以先按几层拆开看...

11210

Java AI 框架,让 YOLO 在 JVM 里原生跑 GPU

javpower

你团队的技术栈是 Java,老板突然说:"加个 AI 检测功能,识别产线上的缺陷。"

10410

打破认知:GPU Warp的“分工革命”——从SIMT到最优调度

GPUS Lady

提到GPU的并行计算,很多人都知道一个基础概念:GPU会将线程分成32个一组的“线程束”(warp)来执行。但今天我们要聊的,远不是这个入门知识点——而是一个更...

10010

打破刻板印象:JAX 早已全面适配 NVIDIA GPU,轻松微调 Llama 3.1

GPUS Lady

在大模型高速发展的当下,PyTorch、TensorFlow 是大众最熟悉的深度学习框架,但还有一款高性能科学计算与 AI 框架JAX,长期笼罩在一层认知迷雾里...

10510

xAI坐拥55万张GPU加速卡,但利用率仅11%

芯智讯

全球AI竞赛的早已从“谁能抢到更多GPU”悄然转向“谁能把GPU真正用起来”。然而,坐拥约55万块英伟达GPU,实际利用率仅有11%,这一“打脸”般的数字,正将...

12410

破解GPU功耗墙:“空间光计算”将成AI算力新出路?

芯智讯

当电子芯片逼近摩尔定律的物理极限,人工智能(AI)算力需求的指数级增长,正使传统计算架构面临“功耗墙”与“内存墙”的双重瓶颈。光子——这个曾被限制在通信领域的信...

17610

SpaceX将生产自研GPU?

芯智讯

4月23日消息,据路透社报道,特斯拉CEO马斯克(Elon Musk)创办的太空探索技术公司SpaceX将自研面向人工智能(AI)的GPU。

11710

内网模型演示环境恢复排查记录

goodgood_live

环境里有 Ollama、Open WebUI、Qdrant、Redis。原本以为只是执行:

8210

ZStack dGPU:让虚拟机里的 GPU 也能按需切分

ZStack云计算

在 Kubernetes 生态中,GPU 共享调度已趋于成熟——时间片轮转、显存隔离、按 Pod 粒度分配,各家方案百花齐放。

10010

Lightning-Boltz:为 Boltz-2 插上 GPU 加速的翅膀

DrugIntel

自 AlphaFold2 问世以来,AI 驱动的蛋白质结构预测已从学术工具演变为药物发现、蛋白质工程和合成生物学的核心基础设施。然而,随着应用场景从"单条蛋白质...

19010

DeepSeek-V4百万上下文来了,企业数据中心准备好了吗?

ZStack云计算

DeepSeek-V4提升了模型上限,但企业真正要解决的,是AI私有化部署后的落地上限。

26410

云GPU与分布式存储驱动制造业数字化转型,实现资源交付分钟级与存储成本降本6倍

IT前沿资讯站

腾讯科技(深圳)有限公司 | 数据分析 (已认证)

破解IT资源交付瓶颈与数据管理难题 制造业数字化转型面临核心痛点:传统GPU物理服务器采买周期长达三个月,难以敏捷响应研发与生产需求;数据分散存储导致维护成本高...

12610

重庆GPU厂商,象帝先启动IPO!

芯智讯

4月20日,国产GPU厂商象帝先计算技术(重庆)有限公司(以下简称“象帝先”)通过官方微信公众号宣布,近日已与国内头部券商中信建投证券股份有限公司(以下简称“中...

17910

GPU数据共享踩坑?CUDA Fences:解决“隐形过期数据”的底层神器

GPUS Lady

在GPU并行计算的世界里,有一个“隐形陷阱”常常困扰着开发者——当两个SM(流式多处理器)需要共享数据时,明明代码逻辑无误,却会出现诡异的计算错误。这背后的“元...

15510

TencentOS Server AI:突破算力瓶颈与重塑GPU资源利用率的核心技术解析

gawain2048

腾讯科技(深圳)有限公司 | 市场研究 (已认证)

腾讯云推出国内首个OS+AI解决方案TencentOS Server AI,旨在突破AI大模型时代的算力瓶颈与资源闲置困境。该方案依托TACO Kit加速套件、...

21710
领券