首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >大模型与智能体安全风险治理:腾讯防护架构与实践

大模型与智能体安全风险治理:腾讯防护架构与实践

原创
作者头像
IT资讯研究所
发布2026-04-19 00:00:39
发布2026-04-19 00:00:39
1520
举报

识别AI生产力工具的潜在窃密通道

行业面临AI工具从“效率引擎”转为“窃密通道”的战略困境。间接提示注入可致零点击数据窃取(如“EchoLeak”案例),Copilot通过RAG检索恶意邮件上下文,窃取用户网盘、邮件等数据(CVE-2025-32711,评分9.3(高危),影响某SaaS办公软件用户,2025年6月修复)。AI供应链攻击频发(“AgentSmith”案例),恶意智能体通过LangSmith社区分发,劫持用户通信实现数据窃取与中间人攻击(CVSS评分8.8(高危),LangChain修复)。混淆代理人问题暴露权限代理风险(“Living Off AI”案例),Atlassian JSM工单隐藏提示注入致AI越权访问内部数据。开发环境威胁升级(CVE-2025-58444),XSS漏洞控制MCP Inspector本地代理,触发任意命令执行(评分9.6(高危),影响MCP开发者,0.16.6版本修复)。企业需应对十大常见安全风险:样本投毒、恶意Prompt注入、代码辅助工具泄露、第三方依赖风险、Agent权限滥用、自建平台暴露面过大、模型数据泄露、推理劫持、伦理偏见放大、开源模型滥用(数据来源:腾讯全球数字生态大会,分享人李滨,2025年9月17日)。

构建可信任智能体系统的三层防护架构

腾讯提出人工智能和智能体安全防护整体架构,分三层落地:

  • 交互层:管控用户/智能体输入输出,强化Prompt安全、内容过滤、数据隐私保护。
  • 应用层防护:实施智能体身份管理、工具权限管控、行为检查分析,阻断越权操作。
  • AI安全治理与可观测性:建立可视化AI资产测绘,自动发现智能体、模型、工具及数据源,持续漏洞检测、权限分析、信誉评估,控制基础设施与供应链风险(数据来源:同上)。undefined核心创新:从“静态策略”转向动态行为分析(引入意图与行为序列监督,应对Agent创造性行为);构建零信任身份体系(持续验证用户输入、Agent状态、工具调用、返回数据,不信任任何组件)。

量化AI安全风险的关键指标与影响

  • 高危漏洞评分:CVE-2025-32711(9.3分)、CVE-2025-58444(9.6分)、AgentSmith(CVSS 8.8分)。
  • 影响范围:覆盖SaaS办公软件用户、LangSmith社区开发者、Atlassian JSM用户、MCP开发者。
  • 修复时效:EchoLeak(2025年6月修复)、AgentSmith(LangChain即时修复)、CVE-2025-58444(0.16.6版本修复)。
  • 风险结构:涵盖训练(样本投毒、后门攻击)、发布(模型参数泄露)、运行(框架漏洞、开放数据集污染)、本体(数据泄露、供应链风险)、基础设施(权限不当、误操作)五层(数据来源:同上)。

典型客户案例揭示的四类新型攻击

  1. “EchoLeak”(零点击数据窃取):恶意邮件经RAG检索污染上下文,Copilot执行LLM上下文污染,窃取用户全量数据(CVE-2025-32711)。
  2. “AgentSmith”(供应链攻击):恶意智能体伪装无害工具,通过LangSmith社区分发,劫持用户通信实现数据窃取(CVSS 8.8)。
  3. “Living Off AI”(混淆代理人越权):Atlassian JSM工单隐藏提示注入,AI以工程师权限越权访问内部Jira/Confluence数据。
  4. “CVE-2025-58444”(开发环境命令执行):恶意MCP服务器重定向触发XSS,控制本地Inspector代理执行任意命令(评分9.6)。

腾讯AI安全架构的技术领先性

  • 动态治理能力:突破传统WAF规则局限,通过意图与行为分析监督智能体异常模式,提升系统稳定性。
  • 零信任实践:全链路验证输入/状态/工具/数据,降低权限滥用风险,减少运维成本(Ops Cost)。
  • 全栈防护覆盖:整合交互层、应用层、治理层,应对工具投毒、RAG污染、规划线路僭越等新型混合攻击
  • 风险可视化:AI资产与风险测绘实现供应链风险可控,开发效率与数据隐私双保障(数据来源:腾讯全球数字生态大会,分享人李滨,2025年9月17日)。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 识别AI生产力工具的潜在窃密通道
  • 构建可信任智能体系统的三层防护架构
  • 量化AI安全风险的关键指标与影响
  • 典型客户案例揭示的四类新型攻击
  • 腾讯AI安全架构的技术领先性
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档