31%：LLM 修 Bug 的真正天花板 ?

我们耗时多轮迭代，持续优化 LLM 自动修 Bug 流水线，从数据喂入、评分机制、Bug 分类到任务调度，完成了全链路架构优化。所有前置工程问题悉数解决，流水线的完整性、公平性、准确性均拉满，但最终数据却给了我们一个冰冷的答案：LLM 修 Bug 存在无法靠工程优化突破的固有边界，31% 的 A 级修复率，就是当前通用 LLM 的真实能力天花板。

一、5 轮流水线迭代：工程优化走到尽头，瓶颈依旧存在

本次 R13 版本最终完成410 批次常规任务 + 0 异步任务 + 29 大容量任务，合计产出 494 条有效修复样本。经过 5 轮持续迭代，我们彻底打磨完了 Bug 修复流水线的所有工程短板。

从数据能清晰看到，我们引入的 hint_bug_type 机制效果极其显著，原本大量无法识别、只能盲猜的通用未知 Bug 数量暴跌 82%，分类器彻底摆脱了盲目猜测的状态，能够精准定位 Bug 类型、区分问题场景。同时异步任务异常清零、种子任务成功率稳定在近 90%，意味着流水线的输入、分类、调度、评分全链路已经完全成熟，没有任何工程层面的短板。

但矛盾且残酷的核心问题就此暴露：分类准了，修复却没变好，甚至失败率不降反升。

纵观 5 轮迭代，我们通过持续的工程优化，将有效修复率从 19.2% 提升至 42.7%，涨幅高达 23 个百分点。但最关键的 F 失败率，始终在 42%–49% 区间震荡，几乎纹丝不动。所有工程层面能做的优化已经全部落地，流水线已经没有可以迭代的空间，剩余的瓶颈，不再是工具、流程、Prompt 的问题，而是 LLM 本身的能力边界。稳定持平的 31% A 级完美修复率，就是当前通用 LLM 修 Bug 的真实天花板。

二、拆解本质：LLM 修 Bug，从来不是理解，只是高级匹配

为什么工程优化拉满，修复正确率依旧卡在 31%？核心答案颠覆认知：LLM 修复代码 Bug，本质不是代码推理与语义理解，只是一次高级 embedding 相似度匹配 + 统计文本拼接。它从未真正「读懂」代码，只是在复刻训练数据中的既有模式。

很多人误以为 LLM 修 Bug 是智能推理，但它的真实工作逻辑极其简单：接收带 Bug 的代码、Bug 类型标签，在自身海量训练数据中检索相似的代码片段与修复案例，通过统计概率拼接出最常见、最贴合的修复方案。全程无理解、无推演、无逻辑验证。

这就是 31% 天花板的核心由来：仅有约 31% 的代码 Bug，场景、逻辑、问题模式与 LLM 训练数据中的案例高度吻合，可以通过相似度匹配完成完美修复；剩余近 70% 的 Bug，包含项目特有 API、私有业务逻辑、隐含调用协议、生产环境专属边界场景，是 LLM 训练数据中从未覆盖的内容，无论怎么优化 Prompt、优化流水线、优化分类，它都无法凭空推理，只能盲目猜测，最终必然修复失败。

三、改错慢、改不对的根源：LLM 没有世界模型

在落地实践中，我们还发现一个关键现象：LLM 生成代码极快，但修复 Bug 的速度慢上一个数量级。生成与改错的速度差异，本质暴露了 LLM 的核心缺陷 ——没有可模拟的代码世界模型。

人类开发者修复 Bug，核心优势是拥有心智模拟能力。看到一段问题代码，我们可以在脑海中模拟代码运行流程、推演变量变化、预判边界问题、判断修复方案是否适配上下文，无需编译、无需运行，就能提前筛选无效方案、规避错误修复。

而 LLM 完全不具备这种能力。它不知道代码运行后的真实状态，不知道调用链的隐含约束，不知道一处修改会引发哪些连锁副作用，无法进行任何心智模拟。对 LLM 而言，外部执行是判断对错的唯一真相来源。

四、重新定位飞轮价值：不修 Bug，只造数据

五轮迭代走完，我们彻底推翻了最初的核心目标：Bug 飞轮的价值，从来不是提升即时修复率，而是持续产出高质量、可落地、稀缺的真实 Bug 训练数据。数据，是整个 LLM 修复闭环中，唯一不依赖模型自身能力的核心资产。

基于这套核心数据资产，我们后续的迭代方向彻底清晰，摒弃「强行突破 31% 天花板」的无效尝试，聚焦三条落地路径：

搭建真实代码修复评测基准

构建 RAG + 可移植性判断的修复体系

垂直项目偏科微调

搭建完整执行反馈闭环

结语

经过五轮流水线优化，我们彻底看清了 LLM 修 Bug 的终极真相：31% 的完美修复率，是一堵真实存在的能力围墙。过往我们总想通过工程优化、Prompt 迭代、流程打磨去撞破这堵墙，最终发现所有尝试都是徒劳。

31% 是一堵墙，墙不是用来撞的，是用来知道路的。

承认 LLM 的固有边界，不再执着于无限提升单次修复成功率，转而深耕数据资产、搭建评测体系、重构修复流程、构建反馈闭环，才是突破瓶颈、实现长期价值的唯一正确路径。LLM 不能成为修 Bug 的主力，但高质量的飞轮数据，终将喂养出真正能突破天花板的下一代代码智能模型。

工程优化有尽头，LLM 能力有边界。不撞墙，只赶路。