操作场景
本文档介绍如何配置 AI 网关日志中包体的记录格式。通过该功能,您可以选择将 Prompt/Completion 以 OpenAI 协议格式(跨供应商归一化)或原始 body(转发给供应商的实际请求体)写入 LLM Log,以满足日志分析和问题调试两类不同场景的需求。
金融、政企等强合规场景下,如需保留完整的 LLM 请求/响应记录用于审计追溯,还可以开启“不截断(保留完整上下文)”,无视截断长度记录完整请求/响应 Body。
前提条件
开启包体采集
1. 登录 微服务平台控制台 ,在左侧导航栏单击云原生智能网关 > 实例列表。
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 选择模型管理 > 模型 API
4. 找到目标模型 API,单击 API 名称进入详情页。
5. 进入基本信息页签,日志配置区域:
根据需要,开启请求包体采集(Prompt)开关,网关将根据所配置的内容截断长度,记录入参 messages。
根据需要,开启响应包体采集(Completion)开关,网关将根据所配置的内容截断长度,记录模型返回内容。
开启包体采集后,请求中的 messages 内容将写入 LLM Log。请确认内容不含用户隐私数据,且符合企业合规要求。如需进行脱敏,可结合日志脱敏规则与数据安全配置。
配置不截断(保留完整上下文)
默认情况下网关按“内容截断长度”对包体进行截断。当您需要保留完整上下文用于合规审计时,可按以下步骤开启不截断:
1. 在上述日志配置区域,找到内容截断长度配置项。
2. 在其下方勾选不截断(保留完整上下文)开关。勾选后无视截断长度,记录完整 Body。
3. 勾选开关后强制弹出风险提醒弹窗,需完成以下 3 项合规自检并全部勾选后,确认开启按钮才可点击:
已知该 API 的用户请求内容将被记录。
日志存储及访问权限符合数据合规要求。
不涉及记录高敏感个人信息(如身份证号、密码等)。
开启“不截断”后的重要权衡:
请求和响应的全部文本将写入日志存储,预估日志存储量将增长3 ~ 5倍。
CLS 投递需配置足够配额。
请确认日志内容不包含用户个人隐私数据、日志存储符合企业数据留存合规要求、日志访问权限已做适当控制。
参数说明
字段 | 类型 | 必填 | 默认值 | 说明 |
请求包体采集(Prompt) | switch | 否 | 关闭 | 开启后记录请求体内容 |
响应包体采集(Completion) | switch | 否 | 关闭 | 开启后记录响应体内容 |
内容截断长度 | number | 否 | 32768 | 单位字节;不勾选“不截断”时生效 |
不截断(保留完整上下文) | switch | 否 | 关闭 | 勾选后无视截断长度,记录完整 Body;开启时强制弹合规自检弹窗 |