Z市台风模型地质一体化应用技术咨询实战“术”分享——模型安全测试架构优化2

上回谈到了模型开发过程中碰到的4个比较大的漏洞：Prompt攻击、数据投毒、数据外协和组件安全漏洞。这些在项目模型上线后，还碰到几个模型本身攻击的安全漏洞。之前谈到的4个漏洞，是模型上线前，而模型一旦上线就会碰到外部攻击，这产生了模型自身的安全漏洞：窃取漏洞、模型API安全漏洞和模型拒绝服务漏洞。

台风模型设置了参数，包括台风时间、台风经过点坐标、台风强度，另外模型还配置了输入文本token长度，对话输入时长限制；这些参数如果被窃取，则轻易能生成一个新的大模型，替代原来的台风模型。另外，台风模型为了本地化部署，需要部署在私有云上，同时为了把模型推理结果跟应用层呈现出来，台风模型还有很多API同时暴露在外面。这给了外部攻击可乘之机，通过模型API进行模型安全漏洞攻击，这是另一种攻击模型的方式。之前攻击模型是直接攻击，但模型API对接，然后输入错误指令，让模型执行攻击行为，这是一种间接攻击。

台风模型有一种API，是文件导入接口，攻击者利用这个API进行错误文件导入，执行错误文件在服务器内部产生破坏。

如果这两种漏洞都出现并且被堵住了，还有一种指令通过API接口或错误prompt，攻击模型，让模型进行天文数字级别的计算，导致服务器资源耗尽。这种漏洞曾经发生在以往写的一段程序上，因为用了死循环语句，导致服务器不停计算而没有结果。对于错误prompt输入，后来项目上增加了prompt人工校验的环节，堵住了直接攻击模型的漏洞。