警惕：开源 AI 模型存储库暗藏恶意代码

图片

攻击者正不断挖掘新手段，将恶意项目发布至 Hugging Face 等开源人工智能（AI）模型存储库，还能成功避开平台的安全检查。这一愈发严重的问题警示着，那些开展内部 AI 项目的企业，必须构建强大机制，以检测其供应链中的安全漏洞和恶意代码。

据软件供应链安全公司 ReversingLabs 在 2 月 3 日发布的分析，Hugging Face 的自动检测程序近期就 “翻车” 了，没能识别出存储库中两个 AI 模型里潜藏的恶意代码。攻击者借助一种常用的攻击媒介 — Pickle 格式的数据文件，搭配名为 “NullifAI” 的新技术，成功躲过了检测。

ReversingLabs 的首席软件架构师 Tomislav Pericin 表示，尽管这些攻击很可能只是POC，但它们能以 “安全” 的标签在平台上托管，这足以说明企业不能单纯依赖 Hugging Face 等存储库的安全检查来保障自身安全。他提到：“在这个公共存储库中，任何开发者或机器学习专家都能上传自己的内容，这就给了恶意行为者可乘之机。不同的生态系统，攻击媒介会有些许差异，但本质都是一样的，就是有人会上传恶意版本的内容，等着别人不小心安装。”

当下，企业对 AI 的应用热情高涨，多数企业还会借助 Hugging Face、TensorFlow Hub、PyTorch Hub 等存储库中的开源 AI 模型开展内部项目。Morning Consult 对 2400 名 IT 决策者展开的调查显示，高达 61% 的企业会利用开源生态系统中的模型打造自己的 AI 工具。

不过，许多模型组件都包含可执行代码，这就带来了诸多安全隐患，像代码被恶意执行、存在后门、遭受提示注入攻击，还有 “对齐问题”—— 也就是 AI 模型与开发者、用户预期的契合度。

风险隐藏于Pickle文件中

Pickle 文件这种常用的数据格式，就是个 “老大难” 问题。专注 AI 检测与响应的 HiddenLayer 公司研究副总裁 Tom Bonner 指出，Pickle 文件并不安全，可被用于执行任意代码。尽管安全研究人员反复警告，不少数据科学家仍在使用它。Tom Bonner 无奈地说：“我本以为大家的呼吁能让 Pickle 文件被弃用，可事实并非如此。我已经见过好几个机构因为机器学习模型使用 Pickle 文件而遭受攻击了。虽说这种攻击不像勒索软件、网络钓鱼那么常见，但确实时有发生。”

Hugging Face 其实对 Pickle 文件有专门的检查机制，可 ReversingLabs 发现的恶意代码，通过采用不同的数据文件压缩方式绕开了检查。应用安全公司 Checkmarx 的研究也表明，有多种方法能绕过 Hugging Face 使用的 PickleScan 等扫描工具，让危险的 Pickle 文件 “蒙混过关”。Checkmarx 的应用安全研究总监 Dor Tumarkin 分析称：“PickleScan 用的阻止列表，能被 Python 内置依赖轻松绕过。就算它把 Python 里的各种情况都考虑进去，遇上热门的第三方依赖，比如 Pandas，还是防不住。”

尽管具有恶意功能，但该模型还是通过了 Hugging Face 的安全检查

数据科学和 AI 团队不妨抛弃 Pickle 文件，改用 Safetensors。这是由 Hugging Face、EleutherAI 和 Stability AI 共同管理的新数据格式库，还通过了安全审计，安全性远超 Pickle 格式。

除了可执行数据文件的威胁，AI 模型的许可问题也不容小觑。虽说预训练 AI 模型常被称作 “开源 AI”，但它们往往不会提供重现模型所需的全部信息，像代码、训练数据等。通常，它们只会给出训练生成的权重，而且所采用的许可证，也并非都与开源协议兼容。

Endor Labs 的高级产品经理 Andrew Stiefel 提醒，要是用这类模型开发商业产品或服务，很可能会引发许可证侵权问题。他提到：“模型许可证的情况非常复杂，模型二进制文件、权重、训练数据，各自的许可协议都可能不同，企业必须清楚这会对自身业务造成什么影响。”

模型对齐 — 即模型输出与开发者和用户价值观的契合程度，也是个棘手难题。研究人员发现，DeepSeek 模型竟然能被用来创建恶意软件和病毒；而 OpenAI 的 o3-mini 模型，尽管在对齐方面管控更严，也还是被研究人员 “破解” 了。

ReversingLabs 的 Pericin 表示，这些问题是 AI 系统特有的，目前研究人员还在积极探索如何检测这些弱点。他说：“现在已经有不少研究在关注，哪些提示会让模型行为失控、泄露机密信息，或是输出有害内容。

Endor Labs 的 Stiefel 建议，企业在使用 AI 模型时，务必了解相关的许可证条款，同时留意软件安全的常见指标，比如模型来源、开发活跃度、受欢迎程度，以及运营和安全风险。他强调：“管理 AI 模型，和管理其他开源依赖没什么两样。这些模型都是外部人员开发的，引入它们就意味着要全面评估风险。”