以 OpenAI 于 2024 年 8 月推出的 Structured Outputs 与 Anthropic 的严格工具使用(strict tool use)为代表,这类严格模式会把开发者提供的 JSON Schema 预编译为上下文无关文法(context-free grammar, CFG)。OpenAI 官方文档指出,之所以采用 CFG 而非有限状态机(FSM)方案,是因为 CFG 能表达更广泛的语言类别,可支持 FSM 难以表达的递归类型与深层嵌套结构;Anthropic 将同类实现称为语法约束采样(grammar-constrained sampling)。
在解码的每一步,推理引擎依据已生成的上文与文法规则判定哪些 token 合法,并据此对下一步采样进行掩码,把不合法 token 的概率压到 0。由此,一个带三个枚举值、且要求必填的字符串字段,在解码层面就不可能生成第四个枚举值,从机制上消除了"模型编造枚举值"这一类错误。
严格模式在写入、金融交易等高利害调用中几乎是必选项,但其代价是解码速度略有下降,且在语法强制把模型推向高损失续写时,偶尔会带来质量回退。因此实践中常按调用的重要程度分级启用。