首页
学习
活动
专区
圈层
工具
发布

#并发

如何利用 HAMi 来提升 Token 工厂的 GPU 利用率

宅蓝三木

为什么按”每卡并发”对齐:整卡方案是 1 个服务 8 并发/卡;切片方案是 2 个服务各 4 并发 = 8 并发/卡。这样比较的是”同一张卡、同样的请求压力,能...

2300

把一个 5k star 的 Go AI 网关移植到 .NET:为什么我选择用 Orleans 重写它的并发内核

张善友

但如果只是"把 Go 代码逐行翻译成 C#",这篇文章就不值得写了。真正值得聊的,是这次移植里最大的一次架构自主决策:Go 原版的并发内核是 goroutine...

3900

【Java·缓存】用一家便利店讲清穿透、击穿、雪崩:从过期时刻到互斥重建的 3 组实测

爪哇碎碎念

缓存出事的时候,值班同学最常说的一句话是「缓存被打穿了」。这句话把三种完全不同的事故揉成了一个词,于是解法也跟着揉成一团:有人给穿透加互斥锁,有人给雪崩加空值缓...

11510

静态网站托管怎么选?EdgeOne Makers 免费版的六项关键配额逐项说明

gavin1024

并发构建数 1 是多人协作时容易忽略的点:两个人同时推代码,第二个构建会排队而不是并行。小团队通常可接受,节奏紧凑的团队需要评估专业版。

21310

Edge Functions 和 Cloud Functions 怎么选?EdgeOne Makers 三类运行时的区别与选型

gavin1024

沙箱并发 20 低于会话并发 40,设计容量时这是实际瓶颈——如果每个会话都会触发沙箱,并发上限由沙箱侧决定。

17410

LangGraph 应用怎么部署到生产?EdgeOne Makers Agents 目录约定与配置详解

hollyx

沙箱并发 20 个低于会话并发 40 个,这是设计容量时容易忽略的一点:如果每个会话都会触发沙箱,实际并发瓶颈由沙箱侧决定。需要高并发沙箱的场景应提前评估套餐或...

18410

单并发提速73%,多并发能力达原来2.4倍:Qwen3.8-27B性能优化实践

SmartX

Qwen3.8-27B 是企业私有化部署中较为常用的模型之一。围绕实际部署中的性能优化需求,我们选取其 FP8 量化版本,在单张 RTX PRO 6000 上开...

21310

【Java并发】线程池参数配置 4 问:从队列有界到拒绝策略

爪哇碎碎念

把 maximumPoolSize 从 8 调到 32,活跃线程还是 2。这不是参数没生效,是扩容顺序根本没走到第三步。

10210

腾讯混元 Hy4 正式版发布:API 调用报错怎么排查?常见问题与解决思路

gavin1024

混元接口对并发有额度限制,限额由主子账号共享。并发指能同时处理的会话数量——提供 m 个并发,即最多同时处理 m 个会话,需等其中一个完成才能开始下一个。

29620

模型推理部署工具Ollama/vLLM/SGLang对比实战

编程小白狼

部署大模型,除了选模型本身,推理框架的选择同样关键。不同的框架在推理速度、显存占用、功能特性上差异巨大,选错了不仅浪费硬件资源,还会严重影响用户体验。

24610

Ollama与vLLM实测对比:本地跑模型到底该选哪个

编程小白狼

实测在M3 Pro上跑Qwen2.5-7B,生成速度约15-20 token/s,个人对话完全够用。但并发上来后明显吃力——我模拟8个并发请求,响应延迟从1秒飙...

16510

vLLM部署大模型踩坑实录:吞吐量从30到800的调优之路

编程小白狼

三周前,我们的AI服务还在一台单卡4090上"苟延残喘":8个并发就把机器打满,单用户等回复要十几秒,被业务同事吐槽"人工智障"。这三周我做了一件事——把推理服...

17410

大模型帮我排查了一个困扰两天的线上bug

编程小白狼

这是典型的并发竞态(race condition)。代码里用的校验逻辑在单线程下没问题,但并发下就有窗口。找到这个方向后,我需要在代码里确认:处理逻辑到底有没有...

11810

用Ollama+OpenWebUI搭建本地AI工作站:我的完整落地记录

编程小白狼

自从把工作流全面转向AI之后,我一直有两个顾虑:一是敏感代码和内部数据不想发给云端API,二是每天调用API的token费用越来越高。于是我用Ollama+Op...

22110

用AI做代码审查:提前拦下80%低级问题的实战经验

编程小白狼

以前我们团队的代码审查,靠的是开发之间的互审——但大家业务忙,审查经常变成"走过场",低级问题(空指针、资源没关、边界没判)就溜进主干,等测试和线上出问题才暴露...

17110

企业官网服务器怎么选 UserStory

gavin1024

并发访问量 → CPU 和内存:官网同时在线人数越多,对 CPU 和内存要求越高。展示型官网日常并发很低,2 核 2G~2 核 4G 通常从容;功能型或有营销活...

21110

混元生3D生成模型太慢怎么办,有没有加速方案

克劳德2048

混元生3D 是异步接口(提交任务→轮询结果),天然支持并发。专业版默认 3 个并发任务,互不阻塞。

18910

电商3D商品展示怎么低成本做起来

hollyx

用 AI 图生3D 工具批量生成商品3D 模型,单件成本不到2元,90秒出模。以腾讯混元生3D 极速版为例,具体操作步骤和成本数据如下。 成本对比 方式 单品成...

16210

AI生成3D模型哪个效果好,怎么评估

gavin1024

评估 AI 3D 生成工具的效果,看五个标准:模型质量、格式兼容、精度控制、API 能力、计费模式。每条标准有具体判断方法。下面逐条说明,以腾讯混元生3D 为例...

21310

混元生3D API批量调用与SDK代码示例

hollyx

想把 AI 3D 生成接入自己的批量生产管线,需要解决两件事:异步任务的提交和轮询、并发控制。混元生3D 是异步接口——提交任务拿到 JobId,轮询查询直到 ...

32510
领券