二者虽都处理多种模态,但设计重心不同,在具身智能系统中常协同工作。
多模态大模型(如视觉语言模型 VLM)通常以语言为中心:视觉信息在编码器处进入,随后被送入语言主干网络,其核心能力是对图像、视频内容进行理解、描述与问答,输出以语言为主。
世界模型的输出不是语言描述,而是对环境状态、几何结构或动作后果的预测。英伟达 Jim Fan 的对比较为典型:世界模型从根本上以视觉为中心,而 VLM 本质上以语言为中心。
这并不意味着二者对立——在具身智能系统中,多模态大模型常承担感知理解与语义推理,世界模型承担物理推演与模拟,二者协同构成"感知—理解—预测—行动"的完整链路。