世界模型主要针对大语言模型在物理常识与因果推理上的短板,这些短板已被多项基准测试证实。
人们很少反复写下"杯子会掉下去""湿地会打滑"这类事实,导致语言模型在这类问题上能力有限——语料记录的是对世界的描述,而非世界运行的规律本身。
在涉及深度、空间对应、多视角推理的 BLINK 基准上,GPT-4V 与 Gemini 的准确率分别仅为 51.26% 与 45.72%,而随机猜测基线为 38.09%,说明主流视觉语言模型的感知能力与随机猜测差距不大。
在覆盖摩擦、密度、碰撞、流体等维度的 PhysBench 基准上,研究者对 75 个视觉语言模型、10002 条样本的实验发现,物理理解并不会随模型规模、数据量或视频帧数稳定提升。
这种局限在高容错成本场景中表现为"幻觉"。世界模型通过让机器直接从视觉、三维运动乃至触觉信号中学习物理规则,使智能体能够推演"如果采取动作 A,环境会发生什么改变 B",从而在金融、医疗、工业等需要稳定物理因果推理的场景中弥补语言模型的不足。