算法工程师最容易误判的阶段,不是训练收敛的那一刻,而是模型“已经跑通”之后。训练脚本正常结束,离线指标在验证集上站住了,模型导出、量化、打包、部署,每一步都返回成功。然后问题以另一种方式出现:端侧推理的延迟始终比仿真器高一个数量级,但没有任何异常抛出;推理服务的吞吐在并发上来后不升反降,TTFT 却悄悄翻倍;离线 stacking 的融合指标比单模高两个点,上线后融合模型的收益完全消失。这三件事的共同特征是发生在推理与组合路径上,不以报错的形式暴露,只以“性能不达预期”或“收益不可复现”的形式呈现。
TFLite 在 Android 上使用 NNAPI delegate 时,有一个被反复记录却仍被低估的行为:NNAPI 会在不抛异常的情况下将不支持的算子静默回退到 CPU。NnApiDelegate 的初始化本身也可能“成功”,但实际上没有加速任何算子。结果是基准测试在开发机上看起来还可以,到了目标芯片上,实际执行路径大量落在 CPU 上,延迟远高于预期,而日志里没有任何错误。
检测这个问题的第一步不是换模型或换 delegate,而是在首次推理后显式读取 NNAPI 的错误码:
val nnapi = NnApiDelegate(
NnApiDelegate.Options().apply {
useNnapiCpu = false
allowFp16PrecisionForFp32 = true
}
)
val options = Interpreter.Options().apply { addDelegate(nnapi) }
val interpreter = Interpreter(model, options)
interpreter.run(input, output)
val errno = nnapi.nnApiErrno
if (errno != 0) {
Log.w("NNAPI", "delegate did not fully accelerate, errno=$errno")
}nnApiErrno 非零并不意味着推理失败,它意味着部分或全部算子没有交给 NNAPI 执行。仅凭这一点,就足以解释“仿真器里很快、真机上很慢”的偏差。
比回退更隐蔽的是数值层面的差异。MTK 平台上一个被记录的问题显示:NNAPI delegate 路径下,INT8 分类模型的输出 logits 动态范围被严重压缩,原始置信度 0.97 被压到 0.33,甚至改变了 argmax,而 CPU 和启用 --opt-accuracy 的 DLA 路径的输出是正常的。问题的根源不在 runtime,而在编译器的默认优化行为:默认编译对 INT8 输出的重量化策略比 --opt-accuracy 更激进,而这种差异不会以任何运行时警告的形式出现。量产建议是优先走 Neuron Adapter 并显式传入 --opt-accuracy,或者在离线阶段就用 ncc-tflite --opt-accuracy 编译好 DLA 再加载。这件事的工程含义是:边缘部署的“精度验收”不能只看端侧输出与仿真器的余弦相似度,必须用真实的 logits 分布和 argmax 一致性来验证。
vLLM 的 continuous batching 把 prefill 和 decode 混合在同一个 GPU 步骤中,max_num_batched_tokens 和 max_num_seqs 是两个核心调度旋钮。一个自然的直觉是“把 max_num_batched_tokens 推大,吞吐就会上去”。但实际的参数扫描给出了相反的结论:把 max_num_batched_tokens 从 8192 推到 16384,并发 4 的 decode 吞吐只从 82.55 tok/s 微涨到 83.32 tok/s,而长 prompt 的 TTFT 从 1581ms 退化到 1631ms,冷启动的代价明显增加。
更有价值的发现来自“平衡配置”:gpu-memory-utilization=0.85、max-num-seqs=16、max-num-batched-tokens=8192,在并发 4 下 decode 吞吐达到 82.55 tok/s,同时长 prompt 的 TTFT 从基线配置的 2342ms 降到 1957ms。这意味着吞吐和 TTFT 并不是在所有区间上都互斥:在默认配置下,KV cache 的显存余量不足反而同时压制了两者;把显存利用率适度上调、显存换 KV cache,再配上显式的 batch token 上限,可以在不牺牲吞吐的前提下改善交互延迟。
代码层面,这件事的落地方式不是一次性写死参数,而是在固定 benchmark 下做单变量扫描:
import subprocess, json
BASE = [
"vllm", "serve", "meta-llama/Llama-3.1-8B-Instruct",
"--gpu-memory-utilization", "0.85",
"--max-num-seqs", "16",
]
for max_tokens in [4096, 8192, 16384]:
cmd = BASE + ["--max-num-batched-tokens", str(max_tokens)]
result = subprocess.run(cmd + ["--benchmark"], capture_output=True, text=True)
metrics = json.loads(result.stdout)
print(f"max_tokens={max_tokens} ttft={metrics['ttft_p50']} "
f"tgs={metrics['tokens_per_sec']}")关键纪律是 gpu-memory-utilization 和 max-num-seqs 在扫描期间保持不变,只让 max_num_batched_tokens 变化。三个旋钮同时动,得到的是无法归因的“某个配置更好”,而不是可复用的调优结论。vLLM 的默认值在 2026 年已经比早期版本更合理,但默认值是为通用负载调的,不是为你的 prompt 长度分布和并发模式调的。
Stacking 的标准做法是用 cross_val_predict 生成基模型的 out-of-fold 预测,再把 OOF 矩阵喂给 meta-learner。在随机切分的分类任务中,这个流程是安全的:每个样本的 OOF 预测都来自一个没有见过该样本的基模型。但一旦数据具有时间结构,cross_val_predict 的默认 KFold 可能让基模型在“未来”数据上训练,然后去预测“过去”的样本。对于 meta-learner 来说,这些 OOF 特征在数值上看起来是合法的,但它们携带了未来信息,离线融合指标的提升会在线上消失。
时序场景下正确的 OOF 构造必须是扩展窗口:预测 tt 时刻的样本时,基模型的训练集只能包含 tt 之前的数据。一个最简实现:
import numpy as np
from sklearn.base import clone
def expanding_oof(model, X, y, dates, min_train=50):
"""dates 需已排序;每个预测只使用严格早于该样本的数据"""
oof = np.full(len(y), np.nan)
order = np.argsort(dates)
for i in range(min_train, len(order)):
train_idx = order[:i]
pred_idx = order[i]
m = clone(model).fit(X[train_idx], y[train_idx])
oof[pred_idx] = m.predict_proba(X[pred_idx:pred_idx+1])[:, 1]
return oof这段代码的工程含义不在于“用了 expanding window”,而在于把 max(date_train) < date_observation 这个约束变成了循环边界。此外,如果同一个事件包含多个候选(ranking 场景),这些候选必须留在同一个 fold 中,否则 meta-learner 会学到同一事件内部的上下文关系,而线上推理时这种关系是不可用的。时序 stacking 的泄漏不是单一漏洞,而是三个边界条件叠加的结果:训练集时间上早于预测点、OOF 预测本身来自历史训练、事件分组不可跨 fold。
这三个断层的共同点在于:它们都发生在“模型已经可用”之后,且都不会让程序崩溃。NNAPI 回退让延迟偏离预期,INT8 压缩让置信度失真但不改变输出格式;vLLM 调度参数让吞吐和延迟的权衡偏离最优区间,但服务继续响应;时序 stacking 的 OOF 边界让离线收益虚高,但训练流程完全正常。算法工程师在部署与组合阶段的工程判断力,很大程度上体现在不把“没有异常”当作“路径正确”,而是为每一条推理路径准备一个独立的探测点:NNAPI 的错误码、logits 的动态范围、调度参数在固定 benchmark 下的单变量曲线、以及 OOF 预测的时间边界。这些探测点的成本,远低于一次线上回滚或一次无法归因的融合实验。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。