从GPT-4到Claude 3.5：一年来的大模型能力演进亲测

这一年发生了什么

从 2023 年底到 2024 年中，大模型的迭代速度快得让人眼花缭乱。

作为一个早期用户，我几乎每个月都会跑一遍相同的测试题，记录各模型的能力变化。这篇文章是我半年来的"实测档案"——不吹不黑，只说真实感受。

我的测试方法论

我有一套"笨但有效"的测试题，覆盖日常使用最频繁的场景：

各模型表现

GPT-4 → GPT-4o

核心变化：速度大幅提升，能力略有进步。

GPT-4（2023 年初）刚出来时是断层式领先的。尤其是代码能力——在它之前，没有任何一个模型能正经写代码。当时用它写一个 Python 脚本，虽然后端偶尔有小问题，但整体可用。对于当时的我来说，已经是"哇"的级别了。

GPT-4 Turbo（2023年11月） 是一次明显的升级：

• 上下文窗口从 8K 扩展到 128K
• 价格降了 2/3
• 对指令的遵循能力明显提升

GPT-4o（2024年5月） 最大的变化是速度。响应速度快了大概 3-4 倍，从"等几秒"变成"几乎实时"。能力上也有提升，但不如速度的提升那么明显。另外原生多模态（看图、看音频）是一个重要的能力扩充。

对我来说，GPT-4 系列的演进是：

从"能做到"→"做得更快"→"做起来更自然"

Claude 3 Haiku → Sonnet → Opus

Claude 3 系列（2024年3月发布）是我个人认为今年最重要的模型发布。

Claude 3 Opus 在发布时，推理能力是超过 GPT-4 Turbo 的。我印象最深的是在复杂逻辑推理任务上——同样的问题，GPT-4 有时候会在第二步推理时"飘"了，但 Opus 能稳稳地一步步推到最后。

Claude 3.5 Sonnet（2024年6月） 更是直接把"最强模型"的称号拿走了。它在代码生成上的表现——尤其是跨文件理解、按项目风格写代码——是目前我用过的所有模型里最好的。

我的总结： 写新代码两者接近，但 Claude 在"理解已有项目"这件事上有明显优势。

国内模型的追赶

过去半年，国内模型进步最快的两个：

通义千问 Qwen2.5 系列

• Qwen2.5 72B 在中文理解和代码生成上已经接近 GPT-4 Turbo 的水平
• 7B 小模型的能力令人惊讶——在某些垂直任务上（如中文分类、信息提取），7B 模型的效果可以逼近一年前的 70B 级模型
• 开源策略是最大优势，你可以部署在自己的机器上

DeepSeek-V3（深度求索）

• 在推理和代码任务上表现突出，尤其是数学推理
• 中文能力非常扎实
• 价格策略激进——极低的 API 价格，对开发者友好

实话实说： 国内模型和 GPT-4o / Claude 3.5 在综合能力上还有差距，但这个差距已经从"代差"缩小到"版本差"了。而且在中文本地化理解和价格上，国内模型有显著优势。

重要发现：能力分布不是"同心圆"

很多人以为大模型的能力是"同心圆"——通用能力强的模型，其他方面也强。但我的实测告诉我，不是这样的。

每个模型有自己独特的"能力曲线"：

GPT-4o:     [代码]=85 [推理]=82 [写作]=80 [中文]=75 [长文]=78
Claude 3.5: [代码]=90 [推理]=88 [写作]=88 [中文]=72 [长文]=85
Qwen2.5 72B:[代码]=80 [推理]=78 [写作]=75 [中文]=90 [长文]=82
DeepSeek-V3:[代码]=82 [推理]=85 [写作]=72 [中文]=88 [长文]=75

这意味着：如果你用一个模型的平均值去评估它，你会错过它真正的优势。

比如 Claude 3.5 的写作能力是被很多人低估的——它写出来的东西比 GPT-4o 更"像人写的"。而 Qwen2.5 的中文优势在日常使用中非常明显——它对中文谚语、网络用语、方言的理解远超海外模型。

价格变化：越来越便宜

一个让我开心的趋势——大模型正在快速变便宜：

GPT-4 的价格在一年半内降了 90% 以上。而国内模型的价格更是卷到了"几乎不要钱"的地步。

一个实用结论： 现在绝大部分场景都值得用 AI 来辅助了——成本已经低到可以忽略不计。

未来半年的几个判断

基于过去一年的趋势，我对未来有一些自己的判断：

1. 模型能力天花板还在上升：Claude 4、GPT-5 发布时还会有一波跳跃式提升
2. 小模型会吃掉大部分场景：70% 以上的日常场景，7B-14B 级别的模型已经足够了
3. 多模态将成为标配：不是"图片识别"这种浅层多模态，而是真正的视频理解、音频分析
4. 价格会继续下降：到年底，调用最强模型的成本可能只有现在的 1/5
5. "模型选型"这件事本身会越来越不重要——因为能力趋同，路由策略和工程整合能力会成为真正的壁垒

最后一个建议

不要追"最好的模型"——它每 3 个月就换一次。

而是建立一个**"跨模型的评估框架"**：知道自己需要在什么场景用什么模型、什么场景不依赖单一模型、什么场景在不同模型之间做好 fallback。

工具在变快，但"怎么用好工具"这件事的思考方式，反而比工具本身更有价值。