腾讯云AI原生架构：重构Agent基础设施，推理提速4倍与95%智能诊断率

核心演讲人： 李力（腾讯云副总裁）

突破Agent爆发期的底层算力与运维瓶颈

当前市场正迎来Agent（智能体）的爆发式增长，据预测，至2027年，部署Agent的企业数量将实现 +100% 的翻倍增长，与生成式AI相关的IaaS支出将激增 +192%。

在大模型时代，Agent的运作需要思考能力（大脑）、行动能力（手脚）和系统保障（免疫系统）的深度融合。然而，企业在实际落地中面临明确的业务冲突：在追求模型迅速思考与丰富工具集成效率的同时，系统运维难度显著增加。 现有的基础设施难以满足更快的模型推理、更灵活的工具集成以及更可靠的持续守护需求，直接制约了Agent的大规模生产级应用。

部署全栈AI原生引擎与安全运行时沙箱

为解决大模型应用中的系统稳定性与开发效率问题，腾讯云升级智算能力，构建了更贴近Agent的AI原生云软硬协同架构：

• Agent Infra（运行层构建）： 专为大规模、生产级智能体设计，提供包含Agent运行引擎（会话隔离、Serverless）、Agent上下文管理（长期记忆与私域数据中枢）、Agent网关（流量调度与安全防护）及全链路安全可观测服务的完整解决方案。
• AI Infra（高性能软件层）： 部署TACO Kit推理加速引擎与HCC高性能计算集群（支持超100小时连续训练），配合IHN 3.2T RDMA高带宽网络与TurboFS/GooseFS高性能文件存储，实现底层算力的深度榨取。
• 端侧智能与具身模型集成： 推出 OrcaTerm 智能终端，实现服务器带内操作的脚本生成与智能排障；同时，HAI推理集群联合Tairos提供具身感知与规划大模型服务，实现跨机器人本体的算力支持。

榨取系统效能极值：压缩启动耗时与运维成本

基于上述架构，腾讯云在系统性能优化与自动化运维（Ops Cost）层面实现了核心业务指标的量化突破：

• 模型启动与推理提速： 依托HML去中心化加速模型拉取与全局共享KV缓存等技术，大规模扩容整体服务拉起时间从10分钟大幅缩短至 34秒，模型启动速度提升 17倍。同时，腾讯自研TACO Kit推理引擎覆盖生文、生图、生视频等多模态，实现多种模态推理加速 4倍（其中TACO-LLM推理效率提升 100～130%，TACO-DiT提升 122%）。
• 沙箱执行环境极速并发： 针对Agent工具集成，发布原生兼容社区的自研Cube云沙箱。应用进程快照技术后，冷启动速度降低 -50%，实现 100ms 极速启动，并支持 数十万 每秒并发数，满足AgentRL等密集型任务需求。
• 智能运维与风险拦截： 发布 Cloud Mate 云专家服务智能体，将基础设施推向主动服务跃进。通过RCA等诊断模型与自动化执行工具，实现 3分钟 快速诊断，诊断准确率高达 95%，有效降低人工误判并前置阻断安全隐患。

支撑实体产业与泛互联网核心业务系统

该套AI原生云基础设施已在多行业、多场景中得到大规模实际业务验证。其高并发读写、极速推理与全链路安全能力，正作为核心技术底座服务于头部企业，涵盖：

• 泛互联网及大模型独角兽： 美团、快手、小红书、拼多多、哔哩哔哩、MiniMax、百川智能、月之暗面 (Moonshot AI)、智谱AI等。
• 智能制造与汽车产业： 比亚迪 (BYD)、蔚来 (NIO)、长安汽车、一汽大众、博世 (BOSCH)、地平线等。
• 金融与科研机构： 招商银行、微众银行、中国科学院、清华大学、北京大学等。

确立亚太区智算基石的权威认证优势

腾讯云在AI云基础设施领域的架构优化与技术确定性，获得了全球权威机构的量化认可。在评估系统稳定性、产品技术创新力及市场执行力等维度后，腾讯云荣获 Gartner 评级亚太第一，并在 2024年沙利文（Frost Radar）中国AI基础架构市场综合竞争表现中位列创新指数国内第一，印证了其在GenAI IaaS领域的底层技术领先性与市场首选地位。