我做过很多次上线评审。印象最深的一类现场是这样的:功能演示很顺,性能压测也过了,然后安全同事问一句——这个 Agent 能读哪些表,读完的数据会去哪儿?
会议室安静了。
不是没人知道答案,是这个问题从来没人被要求回答过。它一直在"后面再说"的那一栏里,而"后面"已经到了今天。
这篇讲的就是这件事。报告里给它起了个名字,叫约束内生化工程。我觉得这是整份报告里最不性感、但最救命的一个概念。
01 先把六条约束摆出来
报告列了六项:安全、权限、治理、合规、运营控制、遗留系统。
并且给了一个很硬的判断:在真实企业环境里,这六项是红色的核心,不是边缘。
为什么用"红色"这个词?因为在大多数项目排期表上,它们是被排在最后一栏、用灰色标注的那部分。功能是主色,约束是附属色。
但真实情况是反过来。这六项里任何一项没解决,前面所有功能都上不了线。它们不是配角,它们是入场资格。
我把这六项重新归了一次类,发现它们其实回答三个问题。
第一个问题:它能不能被允许动这些数据。这是安全和权限。
第二个问题:它动了之后,有没有人能说清动了什么、为什么这么动。这是治理和合规。
第三个问题:它跑起来之后,出了事能不能兜住。这是运营控制和遗留系统。
三个问题,一个比一个难。而大多数团队的顺序是反的:先做功能,再想权限,最后补日志。
02 什么叫约束内生化
定义很简单:把企业约束作为系统设计的输入,而不是上线前的检查项。
报告里有两句话我建议抄下来。
第一句:安全、权限、治理、合规和遗留系统,必须从第一天进入架构。
第二句:这不是降低创新速度,而是减少上线阻力。
第二句是精髓。很多人一听"从第一天就要考虑合规",第一反应是"那还怎么快速试"。
但真实的账不是这么算的。约束后置的成本,从来不是"多一道评审",而是返工。系统做完了才发现权限模型不支持行级控制,数据流画完了才发现跨域调用不合规,接口写完了才发现对方系统只有文件导出没有 API。
这些返工不是加两天班能解决的,它会把整个架构推翻重来。
把约束前置,看起来是慢。实际上是把一次性的返工,换成了一次性的设计。前者是不可控的,后者是可控的。
报告还有一句:复杂行业越需要约束内生化。
这句话解释了为什么互联网产品可以先跑起来再补,而金融、能源、政务、医疗不行。不是这些行业保守,是它们错一次的代价不一样。
03 权限:第一层工程约束
权限不是配置项,是工程结构。
报告给的做法很具体:权限网关、工具白名单、最小权限。非白名单的工具,直接拒绝访问。
这个设计有个关键点——拒绝是默认状态,允许是显式授予。不是"列出禁止项",是"只放行清单内的东西"。
差别在哪?前者是黑名单思维,你永远会漏;后者是白名单思维,漏不掉,因为不在清单里就是不行。
报告里还有一句值得反复读:模型连接 Data、Tools、Controls、Processes 四类对象,连接点越多,权限和责任越重要。
这句话说清了 Agent 和传统系统的本质差别。传统系统的权限是静态的,一个人的角色定了,能碰什么基本就定了。Agent 的权限是动态的,今天连代码库,明天连生产库,后天调一个外部 API。
动态权限最大的问题是它跟年度审计对不上账。审计拉出来的是一张静态清单,而 Agent 实际摸过的门,是一张流水。
所以报告把这件事的落点归结成一句:核心是控制下的系统集成。
不是不让它连,是每次连都要有据可查、有人可批、有事可退。
04 治理:规则要写进系统,不是写进报告
这句话是报告的原话:治理与合规不能后置,把规则写进系统,而不是写在报告里。
写进报告和写进系统,差别是巨大的。
写在报告里,规则是一段描述:"本系统遵循最小权限原则,所有敏感操作需经审批。"
写进系统,规则是一段代码:这个字段要二级审批,审批人是业务负责人,超时未批自动拒绝,拒绝理由必须填写,全过程留痕。
前者是承诺,后者是约束。承诺可以解释,约束不能绕过。
报告明确列出了治理要落地的四样东西:审批、日志、审计、责任归属。
我把它理解成一条链:谁批的、批了什么、什么时候批的、出事找谁。四个环节,任何一环缺失,这条链就断了。断了链条的系统,在高监管行业里等于没上线。
05 遗留系统:它是入口,不是债
这一条最容易被误解。
很多技术人的默认反应是:这套老系统这么烂,为什么不重建?
报告给了一个现实主义的回答:企业不会为 AI 重建所有系统。
我补一句我的理解:也不该重建。企业里那些跑了十几年的系统,承载的不只是功能,还有已经长在里面的流程、口径和人的习惯。你把它推倒,等于把公司拆了重装。
报告那句话我认为是这一节的核心:真正的部署能力,体现在与不完美环境共存。
这句话对做架构的人是个提醒。我们习惯追求"设计优雅",但生产环境的优雅不是结构漂亮,是能接住脏数据、能兼容老协议、能在对方只给你一个 CSV 导出的时候把事做成。
不完美是常态,不是例外。能不能在不完美里跑起来,才是工程能力的分水岭。
06 运营控制:上线是第一天,不是最后一天
报告里有一段话,说的是系统上线之后必须具备的四样东西:监控、告警、回滚、例外处理和人工接管。
四样里,我认为回滚最容易被低估。
监控是眼睛,告警是嗓子,人工接管是手。回滚是降落伞。
很多团队做 AI 系统,默认它"只要不出错就一直跑"。但真实情况是,模型会漂移、数据会变形、上游接口会改、业务口径会变。这些东西没有一个是 bug,但每一个都能让系统慢慢答错。
回滚是这种情况下唯一能保住信任的动作。
而报告把它写成"关键流程的安全网"。安全网的意思是,你平时不用它,但你必须知道它在,并且试过它真的能打开。
07 合规不是盖章,是一套语言
这一节我想多说一点,因为它是很多架构师的知识盲区。
报告把国际主流框架梳理了一遍,不是让你背,是让你有一套能和合规、安全、法务对话的语言。
NIST AI RMF 1.0,自愿、跨行业、用例无关的 AI 风险管理框架,贯穿设计、开发、部署、使用全生命周期。它的价值不是教你做,是让你把风险这件事说得有结构。
配套的 Generative AI Profile 更具体,点了四类生成式 AI 的特有风险:内容生成风险、幻觉与准确性、安全与隐私、偏见与公平性。报告建议 FDE 在生成式应用部署中,结合这份 profile 做风险清单。
NIST SSDF 和 SP 800-218A 那句话最狠:AI 部署首先仍然是一个安全软件开发问题。SP 800-218A 把它扩展到了生成式 AI 和双用途基础模型。翻成人话:别因为套了个模型,就忘了供应链、依赖、构建这些基本功。
NIST CSF 2.0 提供的是成果分类,Identify、Protect、Detect、Respond、Recover,报告的建议是把它映射到 AI 系统上。这套词的好处是,安全团队听得懂。
CISA 的 Secure by Design 讲的是默认安全:安全应该是产品属性,是那个出厂就打开的开关,不是交付之后贴上去的补丁。报告特别点了一句:FDE 作为部署组织,应避免把安全转嫁给客户最后处理。
FedRAMP 那一页讲的是边界。政府在 FedRAMP 环境里要用专用端点 gov.api.openai.com,授权边界会直接影响你能用哪些功能。这句话对所有做政企项目的人都是提醒:不是能力列表上的功能你都能用,是授权范围内的功能你才能用。
Section 508 和 USWDS 讲的是可访问性。公共服务场景里,无障碍不是体验优化,是工程要求,要从一开始写进规范和测试流程。
最后一页讲数据与隐私。业务数据控制、默认不用于训练、把数据边界写进架构与合同。
还有一句总结:客户信任来自能力、控制和透明度共同作用。
三者缺一不可。只有能力,客户怕你;只有控制,客户嫌你慢;只有透明度,客户觉得你只会说。
08 三个可以带走的判断
第一个判断:约束不是成本项,是准入项。
你把它算成成本,它就永远排在最后;你把它算成准入,它就会进第一版设计。
第二个判断:判断一个 AI 系统能不能进核心流程,先看三份材料。
权限清单、审计日志样例、回滚演练记录。三份拿不出来,说明它还没准备好。
第三个判断:把"和遗留系统共存"写进方案,而不是写进风险备注。
写进方案,团队会为它设计适配层;写进风险备注,它就永远是别人的问题。
结语
我以前也觉得,安全和合规是给创新踩刹车的那只脚。
后来做的项目多了,看法变了。真正让项目死在半路的,从来不是约束太严,而是约束来得太晚。
约束来得晚,它就变成一次否决。约束来得早,它就是一个设计条件。
同样一件事,前者叫事故,后者叫方案。
本文依据《清华大学-2026年OpenAI FDE研究报告》及公开素材整理,所引用的 NIST、CISA、FedRAMP、Section 508 等框架表述以各机构公开发布文件为准;文中观点为作者个人判断,具体合规要求请以所在行业监管规定及法务意见为准。
延伸思考,留给读到这里的你:
一、你们现在做 AI 项目,权限模型是在第几周开始设计的?第一周,还是上线前一周?
二、如果明天要做一次回滚演练,你们能说清"回滚到什么状态"吗?
三、当安全团队说"不行",你手上有没有一套他们听得懂的语言?
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。