首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

# LLM 量化到底省不省电?我造了一个实测专家替你算

用户9867296

做 LLM 推理部署的人都会默认一件事:模型量化 = 省显存 = 省电。但我在 5 款消费级 GPU 上、从 0.5B 到 14B 的模型里跑了 42 组实测数...

000

视频生成模型 API 接入实战:即梦 Seedance 2.0、可灵、通义万相统一调用方案

用户12727346

即梦 Seedance 2.0、可灵 Kling、通义万相 Wan 2.5 这类视频生成模型,官方接口各有各的参数命名和鉴权方式,但调用形态高度一致:都是提交任...

300

AI Infra 系列 · 第六章 · GPU 性能工程(一):训练慢,先别改代码,先做一次性能体检

dongdonglog

假设你手里有个 MoE 模型在训,一个训练步(forward + backward + 优化器)跑得很慢。直觉告诉你:肯定是专家层的矩阵乘法(matmul)太慢...

210

大模型写文章:从原理到10行代码实战

闪学it点com

当我们谈论“AI大模型”时,指的是拥有数百亿甚至数万亿参数的巨型神经网络(如GPT-4、DeepSeek-V3、Llama 3)。它们不再是简单的“软件工具”,...

300

亲测被驳回 4 次后才懂:算法备案和"生成合成标识"是两件事

AI算法大模型备案当当

先声明一句:我不是法务,也没有任何机构背景,只是一个把算法备案从零跑到拿号、又差点在"内容标识"上栽跟头的 SaaS 团队负责人。这篇文章把我在坑里爬出来的认知...

700

Claude Code 接入服务的七项核查:主体、退款条款与付款方式怎么自己验证

用户6170966

先给结论,赶时间的可以只看这张表。下面七条都能在自己的浏览器里查完,不用联系客服,一条都不用问人:

900

MCP 实战:30 分钟写一个能查本地文件的 Server(从 0 到 1)

用户12727346

今年下半年「MCP(Model Context Protocol)」几乎成了 AI 圈的高频词。它的定位很简单:给大模型和外挂工具之间定一套统一接口,就像 US...

6000

视觉大模型开发:从多模态融合架构到高效训练与推理部署的工程实践

用户12502927

视觉大模型开发:从多模态融合架构到高效训练与推理部署的工程实践,这绝非仅仅是将一张图片“喂”给大语言模型(LLM)那么简单。当我们在为GPT-4V(Vision...

11010

GPT-6 Astra 发布首日:模型名、价格,以及怎么验证一个端点真的支持它

用户6170966

2026 年 9 月 3 日 OpenAI 放出 GPT-6 Astra 的限量预览,9 月 5 日起分批公开。

21310

视觉发:从多模态融合架构到高效训练与推理部署的工程实践

资源shanxueit.com

视觉大模型开发:从多模态融合架构到高效训练与推理部署的工程实践,这绝非仅仅是将一张图片“喂”给大语言模型(LLM)那么简单。当我们在为GPT-4V(Vision...

12510
领券