本文介绍生成式 AI 应用接入内容安全服务的关键流程，包括场景策略配置、线上数据验证、标签策略调优。
场景策略配置
生成式 AI 应用的内容风险，既可能来自用户输入，也可能来自模型输出，两者的审核重点不同：输入侧重防范违规指令与诱导，输出侧重防控生成内容本身的合规风险，因此输入和输出建议分别创建策略。同时，不同类型的应用风险分布差异明显，对应的策略配置也有所区别。
本服务提供如下常见的生成式 AI 应用的策略模板，可辅助您快速完成初始化配置。接入前可先确定您的应用所属类型，据此明确审核重点。
应用类型 | 典型应用 | 模板覆盖的内容模态 |
对话陪伴类 | AI 聊天、虚拟角色、情感交互 | 输入和输出策略均仅包含文本模态。 |
效能助手类 | AI 问答、AI 搜索、工作辅助 | 输入策略包含文本和图片模态；输出策略仅包含文本模态。 |
视觉生成类 | 文生图、图生图 | 输入策略包含文本和图片模态；输出策略仅包含文本模态。 |
策略配置的操作步骤如下：
1. 在 应用管理 页面单击 “新建策略”，进入策略创建流程：
2. 定义策略 Biztype 等信息并选择适配您业务的模板，完成初始化配置：
① 按业务概念填写 Biztype 、Biztype 名称与场景等信息（建议使用与业务相关的命名，便于您后续的识别与管理）
② 选择和您业务最匹配的行业策略模板，即可直接复用以快速完成初始化配置；若无匹配的行业模板，可选择"通用"模板。
说明：
行业策略模板预置了对应业务类型的常见标签与判定尺度，可用于快速完成初始化配置。
若暂不确定如何配置，可直接选用所属行业模板；若已有明确的审核标准，可选择通用模板，然后按自身标准配置标签。两种方式下，策略的标签均可在创建后调整开关。
线上数据验证
说明：
效果验证的数据，应贴近线上真实分布，量级建议在 1 万条左右，由此才能更好的判断策略的有效性。不同业务场景的拦截率存在差异：对话陪伴类通常在 1% 左右，效能助手类和视觉生成类约 0.1%。
接口返回的建议操作（Suggestion）包括 block（违规）与 review（疑似）：block 表示判定违规，可直接拦截；review 表示疑似风险，建议仅记录、不在线上直接生效，用于事后对账号做分析。
同时，可在审核明细页面查看具体命中的案例，据此调整策略中的标签开关：
若某类标签频繁拦截了不希望拦截的内容，可考虑在策略中关闭该标签。
若某类风险内容未被拦截，可检查标签体系中是否包含对应标签，如有则在策略中开启。
说明：
模型能力存在边界，不存在零误判或零漏放的方案。实际配置时需要在准确率与召回率之间做权衡：收紧尺度可降低漏放、但会提高误伤，放宽尺度则相反。建议按业务对两类错误的容忍度确定策略尺度——合规优先的场景侧重召回，体验优先的场景侧重准确。
行业经验上，评估策略效果时不宜孤立看待单个标签的准确率，需结合该标签的拦截量一起判断：若某标签准确率偏低，但其拦截量本身很小，则实际误伤量有限，对业务影响可控。
标签策略调优
基于线上数据分析确定需要调整的标签后，按以下路径调整：应用管理 → 对应 Biztype → 策略配置，修改标签开关后保存。
1. 在 应用管理 页面找到目标策略（Biztype），单击“策略配置”进入配置页面：
2. 依据线上数据验证的分析结果，开启或关闭对应的标签，示例如下：
3. 如需一些定制化的控制，可添加 关键词名单 或 图库名单 来实现，其中关键词名单相关操作概念可参见文档 操作指南 > 关键词名单。
