腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

使用 NVIDIA Triton 推理服务器简化边缘 AI 模型部署

但是，在边缘的应用程序和服务中部署 AI 模型对于基础设施和运营团队来说可能具有挑战性。各种框架、端到端延迟要求以及缺乏标准化实施等因素都可能使 AI 部署具有挑战性。在这篇文章中，我们将探讨如何应对这些挑战并在边缘生产中部署 AI 模型。典型的 AI 应用程序使用许多不同的模型。它增加了问题的规模以更新现场模型。 NVIDIA Triton 推理服务器是一款开源推理服务软件，可通过解决这些复杂问题来简化推理服务。借助 NVIDIA Triton，现在可以跨云、数据中心和边缘对 AI 部署进行标准化。开发人员有自己的选择，基础设施团队使用单个推理引擎简化部署。 DLA支持 Jetson 上的 Triton 推理服务器可以在 GPU 和 DLA 上运行模型。

2021-10-13

2.6K0

标签:

AI推理服务器部署避坑指南：如何将GPU闲置率从90%降至10%？

在AI推理服务器的部署中，一个最昂贵且普遍的陷阱是：极高的GPU闲置率。许多企业投入重金采购了顶尖的GPU硬件，却发现其大部分时间处于“空转”状态，计算力未被有效利用。模型与硬件不匹配：部署的模型未经优化，包含大量不适合目标GPU架构的操作，或精度（FP32）远超推理所需（FP16/INT8），导致计算速度下降，间接提升了闲置率。采用动态批处理与并发推理动态批处理：这是降低闲置率的核心手段。使用支持动态批处理的推理服务器，它能将短时间内抵达的多个用户请求自动聚合成一个批次，一次性送入GPU计算。并发模型：在推理服务器中配置多个模型实例，并设置合理的并发数，允许GPU同时处理多个推理任务，实现流水线并行，填满计算空隙。2. 实现智能的请求队列与自适应批处理设置合理的请求队列。推理服务器能够根据当前队列深度和延迟要求，自动调整批处理大小，在吞吐量和延迟之间找到最佳平衡点。3.

2025-11-18

9210

标签:

GPU 云服务器

AI大模型推理优化：从KV Cache到生产部署

大模型推理分为两个阶段：Prefill 并行处理输入prompt，计算所有token的K、V；Decode 自回归逐token生成。这是所有推理优化的起点。评估推理系统应关注四个指标：TTFT（首token延迟，反映Prefill性能）、TPOT（每输出token时间，反映Decode速度）、吞吐（tokens/s，反映批处理效率）、显存占用。综上，大模型推理优化是系统工程：KV Cache消除重复计算，PagedAttention解决显存碎片，量化降低带宽压力，连续批处理提升并发吞吐。代码层面，优先使用vLLM等成熟推理引擎，把精力放在请求调度、量化评估和指标监控上，而不是重复实现底层注意力缓存。

2026-10-30

1940

标签:

大模型部署

Flex Logix展示全新神经推理引擎，专为AI部署而生

芯片制造商Flex Logix今天推出了新的Nmax通用神经推理引擎，该引擎专为在许多环境中使用流行的机器学习框架（如TensorFlow或Caffe）进行AI部署而设计，可以将多个神经加速器组合在一起以实现更高水平的吞吐量 Flex Logix表示，在处理来自图像分类基准ResNet50的批次时，其Nmax 512拼贴配置胜过其他数据中心推理产品，如Nvidia Tesla T4。 Nmax使用互连技术，如FPGA芯片中使用的类型，但它是一个通用的神经推理引擎，使用TensorFlow进行编程，设计用于运行任何类型的神经网络。原始计算能力可能会得到很多关注，但能源效率是训练AI系统所需的另一个重要部分。

2018-12-11

6900

标签:

BLE Mesh能承载AI推理吗？分布式边缘AI节点部署实战

但在工业IoT场景中，部署WiFi或Zigbee网关成本太高，而BLE Mesh的节点成本可以压到30元以内。核心问题：如何在BLE Mesh上实现分布式AI推理，同时保持低功耗和低延迟？我们需要设计分层架构：数据采集在本地处理，AI推理结果通过Mesh转发，而不是原始数据。：// 设备角色定义typedef enum { NODE_TYPE_SENSOR, // 传感器节点：采集原始数据 NODE_TYPE_EDGE, // 边缘节点：执行AI 实际部署中，我们发现边缘节点的筛选条件应该是：CPU剩余容量>30%、电量>50%、距离源节点<3跳。推理结果如果需要多包发送，丢任何一包都会导致结果错误。

2026-06-10

2640

标签:

物联网开发平台

分布式系统

RT-Thread上部署TinyMaix推理框架，使MCU赋予AI能力

概要当谈到微控制器（MCU）和人工智能（AI）的结合，我们进入了一个激动人心的领域。传统上，AI应用程序需要大型计算机或云服务器的处理能力，但随着技术的发展，现在可以将AI嵌入到微控制器中。 MCU AI的崛起 MCU AI代表着微控制器上的人工智能。它是将机器学习和深度学习模型部署到资源有限但功能强大的微控制器中，以实现智能决策和感知。本篇文章聊一下如何移植TinyMaix推理框架到RT-THREAD并运行起来。 TinyMaix TinyMaix：是矽速科技（Sipeed）利用两个周末的业余时间完成的项目，它是一款专为微控制器设计的轻量级开源机器学习库，面向单片机的超轻量级的神经网络推理库，即TinyML推理库 experimental TinyMaix核心API TinyMaix框架对上层应用程序提供的核心API主要位于代码仓的tinymaix.h文件中，其中：模型API包含四个：模型加载，模型卸载，预处理，推理

2023-11-06

2K0

标签:

【AI系统】推理参数

本文将介绍 AI 模型网络参数方面的一些基本概念，以及硬件相关的性能指标，为后面让大家更了解模型轻量化做初步准备。但由于大部分的神经网络模型的参数量很大，无法满足直接部署到移动端的条件，因此在不严重影响模型性能的前提下对模型进行重新设计，来减少网络参数量和计算复杂度，提升运算能力是目前相当热门的研究方向。

2024-12-02

2K0

标签:

边缘部署：把推理搬进产线

简介边缘推理的部署工作，常被理解成装一套环境、把模型拷过去。实际项目里决定成败的，是软件版本是否成套、功耗模式与散热是否匹配、运行环境能否复现、推理是否经过加速、相机数据链路是否稳定。一、边缘部署的完整链路边缘部署的目标是把推理放在数据产生的位置：设备本地完成计算，只把结果或结构化数据送出，从而降低带宽占用与响应延迟，并让原始数据留在厂区内部。五、推理加速与精度取舍推理框架的默认执行路径不一定经过算子级优化。排查可以按固定顺序进行：先确认链路带宽与像素格式是否匹配，再检查缓冲深度是否够用，然后确认采集与推理是否处于同一节奏。推理耗时较长时，若采集端不做限流，队列会持续变深，最终只能丢帧。阅读收获边缘部署是一条顺序敏感的工程链路，前一步的结论是后一步的输入，跳过的步骤会在更靠后的位置以故障形式出现。

2026-09-15

1340

标签:

模型推理部署工具OllamavLLMSGLang对比实战

主流模型推理框架的全面评测引言部署大模型，除了选模型本身，推理框架的选择同样关键。不同的框架在推理速度、显存占用、功能特性上差异巨大，选错了不仅浪费硬件资源，还会严重影响用户体验。我花了三周时间，在统一硬件环境下（2×RTX 4090）对目前最主流的三个推理框架——Ollama、vLLM、SGLang——进行了全面对比测试。这篇文章就是我的评测报告。 ★★★☆ ★★★☆☆ 四、场景化推荐场景1：个人学习/模型体验推荐：Ollama 理由：安装最简单，模型管理方便一句话：如果你想在笔记本上试试各种模型，Ollama是不二之选场景2：企业内部AI Batching，吞吐量上不去 vLLM的版本升级要谨慎——大版本升级后模型缓存需要重建，务必先在测试环境验证 SGLang的学习成本——结构化生成语法学习曲线较陡，小团队要有心理准备不要忽略预热——大规模部署前一定要做压测和预热你正在用哪个推理框架？有什么心得体会？欢迎在评论区聊聊！

编程小白狼

2026-11-04

1260

标签:

使用aidlux进行模型迁移、部署、推理

AidLux是一个构建在ARM硬件上，基于创新性跨Android/鸿蒙 + Linux融合系统环境的智能物联网 (AIoT) 应用开发和部署平台。说的直白点，aidlux就是一个在arm架构芯片的设备上运行的linux系统，我们可以将身边的安卓设备当作边缘设备，在aidlux的基础上，使用安卓设备作为硬件来进行AI推理模型迁移登录网站：https aimo.aidlux.com/#/model-convert选择模型优化，传入对应格式的模型点击next图片点击next，选择目标格式：图片图片点击submit即可开始进行模型转换，转换成功后下载对应的模型转换结果即可部署和推理过程可以观看视频

2023-09-07

1K0

标签: