首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >世界模型 >世界模型与多模态大模型有什么区别?

世界模型与多模态大模型有什么区别?

词条归属:世界模型

二者虽都处理多种模态,但设计重心不同,在具身智能系统中常协同工作。

1. 多模态大模型以语言为中心

多模态大模型(如视觉语言模型 VLM)通常以语言为中心:视觉信息在编码器处进入,随后被送入语言主干网络,其核心能力是对图像、视频内容进行理解、描述与问答,输出以语言为主。

2. 世界模型以世界状态为中心

世界模型的输出不是语言描述,而是对环境状态、几何结构或动作后果的预测。英伟达 Jim Fan 的对比较为典型:世界模型从根本上以视觉为中心,而 VLM 本质上以语言为中心。

3. 二者协同构成完整链路

这并不意味着二者对立——在具身智能系统中,多模态大模型常承担感知理解与语义推理,世界模型承担物理推演与模拟,二者协同构成"感知—理解—预测—行动"的完整链路。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券