OWASP大模型安全Top 10分析与实践

OWASP大模型安全Top 10

LLM01：提示注入

定义

• 攻击者通过恶意输入（文本/图像/音频）覆盖系统指令，操控模型执行越权操作

典型场景

• 图像隐写指令：CT扫描图中嵌入代码，诱导医疗模型误诊 • RAG文档篡改：污染知识库内容，操控招聘模型推荐错误候选人

防御方案

• 多模态威胁检测：网安AI网关实时过滤跨模态恶意指令 • 动态指令混淆：ChatML分段标记 + 高风险操作人工审批流

合规关联

• 需满足欧盟《AI法案》对输入可信性的要求（Art.15）

LLM02：敏感信息披露 ↑

定义

• 模型泄露训练数据中的隐私（PII）、商业机密或内部逻辑（如API密钥）

典型场景

• 用户查询触发模型返回其他患者病历（医疗行业）。 • “重复初始指令”攻击暴露系统提示和密钥。

防御方案

• 联邦学习+同态加密：实现数据“可用不可见”。 • 差分隐私噪声注入：降低训练数据关联性。

合规关联

• 违反GDPR第25条“数据保护设计”原则，最高罚2000万欧元。

LLM03：供应链漏洞 ↑↑

定义

• 第三方组件（模型/数据/工具链）漏洞导致后门植入或数据污染。

典型场景

• Hugging Face恶意模型植入后门（如LoRA适配器投毒）。 • 设备端劫持：篡改量化模型参数操控自动驾驶决策。

防御方案

• SBOM物料清单审计：扫描200+子类依赖漏洞。 • 模型水印+签名验证：追踪模型流向防篡改。

合规关联

• 需符合NIST AI RMF供应链安全标准（SC 1.3）。

LLM04：数据和模型投毒

定义

• 训练数据或微调过程被注入恶意样本，扭曲模型行为或植入后门。

典型场景

• 对抗样本触发后门：特定像素图案使安防模型漏检危险品。 • RAG知识库投毒：插入偏见内容操控金融模型分析。

防御方案

• 数据区块链存证：追溯来源确保不可篡改。 • 对抗训练+RAG增强：提升鲁棒性 + 实时事实性验证。

合规关联

• 违反《数据安全法》第27条“数据质量管控”义务。

LLM05：不当输出处理 ↓

定义

• 模型生成的代码/SQL/HTML未经验证直接执行，引发二次攻击。

典型场景

• 执行LLM生成的DROP TABLE命令导致数据库瘫痪。 • 未转义HTML输出触发XSS攻击窃取用户会话。

防御方案

• 零信任策略：默认沙箱隔离执行输出。 • 参数化查询+CSP：防SQL注入 + 限制脚本执行域。

合规关联

• OWASP ASVS标准要求输出编码（V4.3）。

LLM06：过度代理

定义

• 模型被赋予过高权限（如删除/写操作），导致越权行为。

典型场景

• 邮件插件被诱导发送钓鱼邮件（间接注入）。 • 多Agent系统中Agent A操控Agent B删除生产数据。

防御方案

• 权限熔断机制：金融交易等操作强制人工审批。 • 用户上下文执行：限制插件仅限用户会话运行。

合规关联

• 等保2.0要求“最小权限原则”（三级）。

LLM07：系统提示泄露

定义

• 硬编码的API密钥、业务规则或过滤逻辑被诱导泄露。

典型场景

• 攻击者诱导模型返回含数据库凭证的系统提示。 • 客服机器人泄露内部风控规则（如贷款限额）。

防御方案

• 敏感数据外置存储：密钥与提示分离动态调用。 • 行为控制外挂：API网关拦截敏感信息输出。

合规关联

• PCI DSS要求密钥管理（Req 3.5）。

LLM08：向量嵌入漏洞

定义

• RAG技术的向量数据库存在数据泄露、投毒或跨租户污染。

典型场景

• 跨租户检索：攻击者获取其他企业专利文档（法律行业）。 • 嵌入投毒：篡改开源数据集诱导模型输出偏见结论。

防御方案

• 向量空间随机投影：混淆嵌入防反演攻击。 • 多租户物理隔离：金融案例降低90%泄漏风险。

合规关联

• 需满足HIPAA对多租户数据隔离的要求（§164.312）。

LLM09：虚假信息

定义

• 模型因“幻觉”生成事实错误内容，误导用户决策。

典型场景

• 生成虚假法律条款导致合同纠纷（法律行业）。 • 推荐含漏洞代码库（如PyTorch'torchtriton'事件）。

防御方案

• RAG增强事实性：实时检索权威知识库验证输出。 • 置信度提示：标注不确定性级别（如“可靠性：72%”）。

合规关联

• 《互联网算法推荐规定》要求“标注虚假信息”（第12条）

LLM10：无界消费

定义

• 资源滥用导致服务拒绝（DoS）、经济损耗或模型被盗。

典型场景

• 输入洪水攻击耗尽云服务配额，单日损失18万美元（电商）。 • 模型窃取：合成数据微调仿制模型窃取知识产权。

防御方案

• 水印溯源+速率限制：API调用标记来源 + 分钟级请求配额。 • 沙盒资源隔离：限制单次查询GPU占用率 ≤ 70%。

合规关联

• 违反云计算SLA资源条款（如AWS Acceptable Use Policy）。

大模型安全实践

技术防护实践

输入安全加固

• 「多模态威胁检测」：部署AI安全网关，实时过滤文本/图像/音频中的恶意指令（如隐写攻击、对抗性后缀）。

• 「指令混淆与隔离」：采用ChatML分段标记技术，隔离用户输入与系统指令，阻断提示注入（LLM01）。

数据与模型安全

• 「隐私保护技术」：

• 联邦学习+同态加密：确保训练数据“可用不可见”（如医疗病历处理）。
• 差分隐私噪声注入：降低敏感数据关联性（LLM02）。

• 「供应链防护」：

• SBOM物料清单审计：扫描第三方模型/数据依赖漏洞（如Hugging Face模型后门检测）。
• 模型水印+签名验证：防止模型篡改与盗用（LLM03）。

输出安全控制

• 「零信任执行策略」：对模型生成的代码/SQL/HTML强制沙箱隔离，阻断不当输出（LLM05）。

• 「事实性增强」：RAG实时检索权威知识库+置信度提示（如医疗诊断标注“可靠性72%”），抑制虚假信息（LLM09）。

管理流程优化

全生命周期安全集成

• 「开发阶段」：贯彻权限最小化原则（如邮件插件仅保留读取权限）。

• 「部署阶段」：私有化服务器强制终端安全+API网关+数据加密，规避90%服务器“裸奔”风险。

合规驱动治理

• 「数据双控机制」： • 输入侧：敏感数据动态脱敏+访问控制（符合GDPR第25条）。 • 输出侧：安全网关拦截PII泄露（如PCI DSS密钥管理）。

• 「行业定制策略」： • 金融业：GLBA合规+交易操作人工熔断（LLM06）。 • 医疗业：HIPAA数据隔离+区块链训练存证（LLM04）。

运营监控与响应

风险动态监测

• 「资源滥用防控」*：API调用速率限制（≤100次/分钟）+ GPU占用率阈值（≤70%）， 阻断无界消耗（LLM10）。

• 「向量数据库防护」：多租户物理隔离+对抗训练增强嵌入鲁棒性（防RAG跨租户污 染，LLM08）。

攻防能力迭代

• 「红蓝对抗演练」：定期模拟提示注入、向量扰动攻击，验证防御有效性。

• 「自动化巡查工具」：采用AI安全检测平台自动识别系统提示泄露（LLM07）。

大模型安全趋势展望

风险范畴扩大

• 从代码漏洞 → 架构漏洞（系统提示、向量库）→ 社会风险（虚假信息、法律后果）

防护重心转移

• 开发者单点防护 → 企业级全生命周期治理（数据-模型-供应链）

驱动逻辑

• 「事件推动」：PoisonGPT、系统提示泄露等真实攻击改写优先级

• 「技术普及」：RAG、多智能体、开源模型催生新威胁面

• 「合规压力」：全球 AI 监管框架要求可验证的安全性