首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

小模型优先:多模型路由的降本工程实践

码林拾遗

推理成本优化系列。前面的篇目讲了单个能力的账,这篇讲架构层的省钱术:多模型路由——让每个请求去它「够用的最便宜模型」,而不是全部涌向旗舰。这套实践帮我们在不降体...

3900

大模型部署怎么做?从环境准备到推理服务上线的完整路径

克劳德2048

摘要: 大模型部署有三条路径:裸机自建、预置环境部署、直接调用 API。腾讯云高性能应用服务 HAI(Tencent Cloud HAI)交付即插即用的应用环境...

6600

设备管理工业大模型为重资产企业规模化落地设备管理AI应用筑牢合规底座

用户12721668

近日,广东中设智控科技股份有限公司设备管理工业大模型正式通过国家生成式人工智能服务备案,备案信息由广东省互联网信息办公室对外公示。作为聚焦设备资产全生命周期管理...

4010

新闻查询API实践:舆情、行业情报、大模型时效性数据接入方案

探数API小喇叭

一些品牌公关、舆情监测、行业情报等需要抓取实时新闻进行分析的行业,可靠的新闻来源是很重要的。

4310

一个不懂代码的老板,用 AI 做了一套报价系统:我坚持的三条架构铁律

用户12751392

5210

语料标注规则:其他五份材料的依据都在这里

AI备案指南当当

这份材料已经被讨论过几个层面:它是什么(材料定位)、原料从哪来(上游状态)、句子怎么写(文本结构)、发布后怎么维持(生命周期)。这四个层面都成立,但它们都把它当...

6910

企业大模型调用成本为什么降不下来:多模型聚合计费与成本优化实战

伊云

摘要:企业大模型调用成本降不下来,多数问题不在模型单价,而在计费口径、调用结构与采购方式。本文拆解三类成本根源,给出从账单核算、调用优化到聚合计费选型的完整路径...

7210

CC Switch:把 Claude Code、Codex 的配置收进一个桌面应用

IT小锅巴

同时用几个 AI 编程工具、又需要来回切换 API 供应商的人,大概都经历过这件事:改 JSON、TOML、环境变量,有时还得重启终端,时间久了根本记不清哪个 ...

42650

让大模型「看见」你的站点:robots、llms.txt 与 JSON-LD 实体消歧的工程实践

用户10253450

常见现象:百度收录了几十页,site 查询正常,但在豆包 / 元宝里问"XX 公司是做什么的",答案里没有你。

13500

2026语言主权治理的“风格荒漠化”:当大模型吞噬了别扭,海德格尔常人理论与本真表达的现象学断裂

用户12583401

从共情冷漠再向人类存在的表达根基“语言(La Parole)”掘进,2026年11月的生成式AI治理与写作界面正遭遇一场比情感模拟更弥漫、比意志替代更底层的“风...

7110

大模型INT8推理深度分析:TensorRT与ONNX Runtime原理、性能、精度、场景适配26.9

未闻花名

大模型部署大概率都遇到过同一个难题:模型训练完效果再好,上线就特别容易翻车。要么是GPU显存不够用,几十亿参数的大模型勉强载入,推理速度却慢得离谱,用户等待响应...

17310

大模型微调 vs RAG vs 提示词工程:什么场景该花这笔钱?(含 LoRA 实战要点)

用户12876805

团队做大模型应用,最常被问到的问题之一是:到底要不要微调?有人一上来就想拿业务数据把模型“训一遍”,也有人觉得写好提示词就够了。这篇文章把微调到底在做什么、和 ...

16610

Claude 中转接入的工程细节:为什么 “能返回结果” 不等于 “能正常用”

用户12696949

前言:很多人测中转站的方式是发一条 hello,看到有回复就判定可用。但真实业务里跑不起来,往往不是模型不行,而是协议层缺了几块:count_tokens 没有...

15410

深度解析:大模型中转服务的计费口径与成本核算实践

用户12696949

前言:选 Claude 中转时,最容易被 "每百万 token 多少钱" 这一行数字带偏。真正决定月度账单的,是计费口径、缓存策略、失败请求怎么算,以及你自己的...

13010

Kimi K3.1 Pro 权重开源了:怎么下载、要什么显卡、本地部署还是调 API 更划算(2026 年 11 月)

ai建国

发布日期:2026-11-05 | 信息来源:Hugging Face 模型页 moonshotai/Kimi-K3.1-Pro(README、LICENSE、...

48240
领券