世界模型

一、世界模型是如何工作的？

世界模型的工作机制可以概括为一个"感知—构建—模拟—规划—行动"的闭环，其核心是在内部维护世界状态并预测动作后果。

1. 接收观测并构建内部表征

智能体先接收对环境的观测（如图像、视频、传感器读数），再在内部维护一个关于世界状态的表征，作为后续推演的载体。

2. 动作条件下的状态预测

当给定一个动作时，模型预测该动作作用下的下一个合理世界状态，而不是直接输出一段固定内容，这是世界模型区别于内容生成模型的关键。

3. 理论根源：POMDP 闭环

其机制常被追溯到部分可观马尔可夫决策过程（POMDP）：智能体无法完整观测世界，只能依据有限观测推断状态，并通过"动作—状态—观测"的循环不断更新认知。

4. 学术定义的收敛

图灵奖得主 Yann LeCun 将世界模型定义为"能预测行动后果的内部模拟器"；斯坦福大学教授李飞飞团队在 2026 年发表的《世界模型的功能分类法》中进一步指出，当前被统称为"世界模型"的系统，实际上是这一认知闭环在不同环节上的功能投影。

二、世界模型的学习目标与语言模型有什么不同？

二者最根本的差异在于学习目标不同：语言模型学习文本的统计结构，世界模型学习空间与时间的统计结构。

1. 语言模型：预测下一个词元

语言模型的训练目标是"预测下一个词元（Token）"，它掌握的是词与词、概念与概念之间的共现规律，记录的是"人类如何描述世界"，而非"物体如何在世界中运动"。

2. 世界模型：预测下一个世界状态

世界模型的训练目标是"预测下一个世界状态（Next State Prediction）"。北京智源人工智能研究院在《2026 十大 AI 技术趋势》中，将这一转变视为从 Next Token Prediction 向 Next State Prediction 的范式迁移。

3. 新预训练范式的判断

英伟达机器人负责人 Jim Fan 也提出，继"下一个词预测"之后，"世界建模"或称"下一个物理状态预测"将成为新的预训练范式。

4. 二者是结合而非替代

二者并非替代关系，业界普遍认为未来的智能系统更可能是语言模型、世界模型、视觉与行动能力的结合。

三、世界模型解决了大语言模型的哪些局限？

世界模型主要针对大语言模型在物理常识与因果推理上的短板，这些短板已被多项基准测试证实。

1. 文本语料中物理常识天然稀缺

人们很少反复写下"杯子会掉下去""湿地会打滑"这类事实，导致语言模型在这类问题上能力有限——语料记录的是对世界的描述，而非世界运行的规律本身。

2. BLINK 基准：感知能力接近随机

在涉及深度、空间对应、多视角推理的 BLINK 基准上，GPT-4V 与 Gemini 的准确率分别仅为 51.26% 与 45.72%，而随机猜测基线为 38.09%，说明主流视觉语言模型的感知能力与随机猜测差距不大。

3. PhysBench 基准：物理理解不随规模提升

在覆盖摩擦、密度、碰撞、流体等维度的 PhysBench 基准上，研究者对 75 个视觉语言模型、10002 条样本的实验发现，物理理解并不会随模型规模、数据量或视频帧数稳定提升。

4. 从语义理解到物理推理的鸿沟

这种局限在高容错成本场景中表现为"幻觉"。世界模型通过让机器直接从视觉、三维运动乃至触觉信号中学习物理规则，使智能体能够推演"如果采取动作 A，环境会发生什么改变 B"，从而在金融、医疗、工业等需要稳定物理因果推理的场景中弥补语言模型的不足。

四、世界模型的核心组成部分有哪些？

从功能视角看，李飞飞团队在《世界模型的功能分类法》中将世界模型拆解为三个核心组件，分别对应感知—行动闭环中的不同环节。

1. 渲染器：输出观测

渲染器（Renderer）负责产生观测，如视频模型生成一段画面，它追求视觉保真度，但"看起来像世界"不等于真正理解世界。

2. 模拟器：输出状态

模拟器（Simulator）负责输出状态，即在几何、物理和动力学层面提供可信的世界表征，使物体的位置、空间关系、运动规律都保持合理与一致。

3. 规划器：输出动作

规划器（Planner）负责输出动作，根据观测和目标决定智能体应执行的行为，在真正执行前先在内部模拟不同方案。

4. 三者的成熟度差异

三者之中，渲染器商业化最成熟但存在物理准确性天花板，规划器最具想象空间但离真实部署最远，而模拟器被视为连接渲染与规划的关键枢纽。

五、世界模型包含哪些关键技术模块？

在具体实现上，世界模型通常包含若干关键技术模块，不同技术路线对这些模块的取舍各有侧重。

1. 状态表征模块

负责将观测压缩为可推演的内部状态，是模型"理解世界"的载体。

2. 动态预测模块

常称下一状态预测器，在给定当前状态与动作的条件下预测未来状态，是整个系统的核心。

3. 记忆模块

用于维持环境一致性，使智能体在离开某区域再返回时，场景中的物体与状态仍保持原样。

4. 动作条件生成与解码渲染模块

动作条件生成模块让模型能够响应智能体的行为输入，而非生成固定序列；解码与渲染模块则将内部状态投射为可供人类观察的像素，或供下游使用的几何、物理量。

六、世界模型具备哪些核心能力？

世界模型的核心能力可以归纳为四点，共同构成其区别于普通生成模型的特征。

1. 预测能力

在给定动作的条件下推演未来的世界状态，这是区别于单纯内容生成的关键。

2. 反事实推理能力

预测"如果采取不同动作，未来会如何不同"，这被英伟达 Jim Fan 视为世界模型推理能力的体现。

3. 交互性

环境能够实时接收动作输入并持续响应，而非播放一段固定录像。

4. 物理一致性与记忆能力

世界在交互过程中保持自洽。以谷歌 DeepMind 的 Genie 3 为例，该模型以 24 帧每秒的速度生成 720p 分辨率的可导航环境，并通过约一分钟的时空记忆窗口维持物体位置与环境结构的一致，展现出涌现的"物体恒存"特性。

七、世界模型如何实现物理一致性？

物理一致性是世界模型区别于视频生成模型的关键指标，其实现方式主要有两类，且都存在现实约束。

1. 从视频数据中涌现物理规律

通过大规模视频数据训练，让模型自主学习重力、摩擦、物体运动与碰撞等规律，而非由程序员预先定义。Genie 3 的物理理解即被认为是从海量视频数据中"自发涌现"的，无需显式物理引擎即可呈现水花、风吹草动等效果。

2. 在表征层面直接建模几何与动力学

李飞飞团队指出，模拟器工作在几何、物理和动力学的层面上，既能向上投射为像素供人观察，也能向下推演动作后果供机器人使用。

3. 学习到的物理是规律而非定律

需要指出的是，学习到的物理通常是"规律性"而非"定律"：随着推演步数增加，模拟的动力学可能漂移、接触可能失真、误差会逐步累积，这也是当前世界模型难以长时间保持一致的主要原因。

八、世界模型的空间智能体现在哪些方面？

空间智能是李飞飞提出的概念，指 AI 理解、生成、推理并与三维空间交互的能力，而构建大型世界模型被视为实现空间智能最重要的路径。

1. 三维几何结构理解

能够把握场景中物体的形状、位置与遮挡关系，是空间智能的基础层。

2. 空间关系推理

支持视角移动、导航与多视角一致性，使智能体能够在三维环境中定位与移动。

3. 空间的可编辑与可复用

使生成的世界成为可被修改、导出的空间对象，而非一串转瞬即逝的帧。以腾讯混元世界模型 2.0（HY-World 2.0）为例，该模型强调保留三维空间表达能力，可生成支持二次编辑的 3D 资产（如 Mesh、3DGS、点云）并导入游戏引擎，其思路正是让世界模型从"展示层"走向"生产层"。

4. 与物理智能的关系

快思慢想研究院院长田丰认为，物理智能、空间智能、世界模型是同一件事的三个切面：空间智能关心几何结构记不记得住，物理智能关心动作做不做得成，世界模型是这两者背后的推演能力。

九、世界模型的主要技术路线有哪些？

世界模型目前尚未形成统一的技术路线，不同团队从各自优势场景出发向"理解物理世界"收敛。

1. 智源研究院的四大分类

北京智源研究院院长王仲远在 2026 智源大会上提出四大分类：以语言为中心（LLM/VLM/VLA）、以像素为中心（视频生成）、以三维结构为中心（3D 重建）、以视觉表征为轴心。

2. 视频生成派：从像素进入

依托 AR-DiT 等实时交互技术将"文生视频"推向"可驱动的视频世界"，代表包括生数科技、阿里 HappyOyster 等。

3. 空间智能派：先重建再理解

主张先完成三维重建再进行理解，代表包括 World Labs 与腾讯混元。

4. 具身智能派：从动作进入

聚焦为机器人提供可交互的训练环境，是需求最刚性的路线之一。

5. 表示学习派：JEPA 架构

以 Yann LeCun 创立的 AMI Labs 为代表，主张联合嵌入预测架构（JEPA），在抽象表征空间而非像素层面预测未来，以规避像素级预测的高算力消耗与幻觉问题。

十、世界模型的数据来源与训练方式是怎样的？

世界模型的训练数据以视频与三维数据为主，训练方式以自回归的下一状态预测为核心。

1. 视频数据蕴含物理与因果信息

视频数据蕴含丰富的物理与因果信息。LeCun 曾以一个直观对比说明其密度：互联网上全部公开文本约 10^14 字节，大致相当于一个四岁儿童在生命最初几年通过视觉接收的信息量。

2. 三维与多模态传感器数据

除真实视频外，三维重建数据、传感器数据（如激光雷达、深度图、本体感觉与触觉）也是重要来源。英伟达 Jim Fan 即指出，下一状态不应只包含 RGB，还须覆盖三维运动、本体感觉与触觉。

3. 自回归的下一状态预测

主流做法是自回归预测：模型基于历史帧与最新动作逐帧或逐步预测未来。

4. 合成数据缓解真实数据稀缺

英伟达 Cosmos 平台提供了另一类思路，即通过开放的大规模合成数据集与数据策展、评估工具，缓解真实物理数据稀缺、碎片化的问题。由于真实世界数据采集成本高、长尾场景难以捕获，合成数据在世界模型训练中占据重要地位。

十一、世界模型与视频生成模型的区别是什么？

二者的核心区别在于目标函数不同，由此带来输出形态、交互性与评价标准的系统性差异。

1. 目标函数不同

视频模型优化"这段画面像不像真的"，世界模型优化"这个世界在交互下是否稳定自洽"。

2. 输出形态不同

视频生成模型（如 Sora）输出一段固定的录像，观众只能播放或暂停；世界模型输出可交互、可导航的环境，能够实时接收动作输入并响应。

3. 评价标准不同

视频模型的成败标准是视觉质量与人类偏好；世界模型的成败标准是物理一致性、可预测性与闭环精度。

4. 一致性目标不同

视频模型只需在单条视频内好看即可，而世界模型要求探索离开再回来时世界仍然存在。二者的技术底座高度重叠——许多世界模型直接以视频生成架构作为"下一帧预测器"，但目标函数的分岔使路线逐渐分离。李飞飞团队据此将 Sora 一类视频模型归入"渲染器"范畴。

十二、世界模型与传统物理引擎的区别是什么？

二者代表了两种不同的世界模拟思路，各有不可替代的价值，且常协同使用。

1. 传统物理引擎：精确但封闭

传统物理引擎（如游戏引擎、MuJoCo、CARLA 等驾驶仿真器）基于人工编写的精确物理规则，能够提供精确的物理、无限的时间跨度与完整的状态访问；其局限在于场景需要人工建模，难以覆盖开放、多样的真实视觉环境。

2. 学习式世界模型：开放但非精确

学习式世界模型的价值在于传统引擎难以覆盖之处：开放式的视觉多样性、人工建模成本过高的环境，以及从真实世界采集而非人工设定的行为分布。它的物理是"学出来的规律"而非"写死的定律"，因此在开放性上占优，但在精确性上通常不及手工引擎。

3. 二者协同而非取代

业界普遍认为二者并非取代关系——学习式世界模型常与传统引擎协同，例如以传统引擎提供结构化的真值输入，再由世界模型生成逼真的多样化场景。

十三、世界模型与强化学习中的状态转移模型有什么关系？

世界模型与强化学习中的状态转移模型存在深厚的理论渊源，可视为同一思想在不同场景下的扩展。

1. 理论同源：POMDP 状态转移

在强化学习的 POMDP 框架中，状态转移模型描述的是"在状态 s 采取动作 a 后，环境转移到哪个状态 s'"，这正是世界模型的核心功能之一。李飞飞团队在厘清概念时，正是回到 POMDP 这一理论源头。

2. 规模与用途的差异

传统强化学习中的状态转移模型多用于状态空间较小、可精确建模的任务；而现代世界模型面向高维、连续、部分可观的真实感知环境，需要从像素、视频等原始信号中学习状态的表征与动态。

3. 思想的扩展与复兴

可以说，世界模型是状态转移模型思想在高维多模态场景下的扩展与复兴，"基于世界模型的强化学习"（World Model based RL）也因此成为一个活跃的研究方向。

十四、世界模型与多模态大模型有什么区别？

二者虽都处理多种模态，但设计重心不同，在具身智能系统中常协同工作。

1. 多模态大模型以语言为中心

多模态大模型（如视觉语言模型 VLM）通常以语言为中心：视觉信息在编码器处进入，随后被送入语言主干网络，其核心能力是对图像、视频内容进行理解、描述与问答，输出以语言为主。

2. 世界模型以世界状态为中心

世界模型的输出不是语言描述，而是对环境状态、几何结构或动作后果的预测。英伟达 Jim Fan 的对比较为典型：世界模型从根本上以视觉为中心，而 VLM 本质上以语言为中心。

3. 二者协同构成完整链路

这并不意味着二者对立——在具身智能系统中，多模态大模型常承担感知理解与语义推理，世界模型承担物理推演与模拟，二者协同构成"感知—理解—预测—行动"的完整链路。

十五、世界模型落地面临哪些主要挑战？

世界模型当前仍处于早期发展阶段，面临评测、物理正确性、长时序、成本等多方面挑战。

1. 评测标准缺失

行业尚未形成统一的评测体系，不同模型的分数难以直接比较。

2. 物理正确性不足

多数模型能实现视觉上合理的生成，但距离真正理解物理规律仍有较大差距，如何从"视觉正确"走向"物理正确"是核心难题。

3. 长时序一致性有限

以 Genie 3 为例，其环境一致性仅能维持约一分钟、连续可导航时长为数分钟，而真实训练往往需要数小时；随着推演步数增加，误差会逐步累积。

4. 数据与算力成本高

真实物理数据稀缺且采集昂贵，而像素级预测对算力要求极高。

5. 部署与多智能体难题

多智能体复杂交互建模、动作范围受限、以及从实验室演示到实际部署之间的鸿沟，也是业界公认的待解问题。

十六、世界模型在机器人领域有哪些应用？

机器人是世界模型需求最迫切的领域之一，其核心痛点是真实数据匮乏，世界模型恰好提供了低成本、可重复的虚拟训练环境。

1. 虚拟环境中反复演练

世界模型让机器人能够在"想象"的虚拟环境中反复演练技能，再用少量真实数据微调，从而大幅降低试错成本。例如机器人可以在仿真仓库中学习应对不可预测场景，而无需在现实中反复摔倒。

2. 策略训练与安全测试

在具体应用上，世界模型可用于机器人策略训练、技能预演与安全测试。英伟达 Cosmos 平台将世界基础模型作为机器人策略学习的骨架网络，通过物理精准的闭环仿真让机器人在可见与不可见条件下运行。

3. 具身智能的预训练阶段

谷歌 DeepMind 的 Genie 3 则为具身智能体提供多样化的可导航训练环境。业界普遍将世界模型视为具身智能的"预训练"阶段，即先在大规模虚拟世界中习得通用能力，再迁移到真实机器人本体。

十七、世界模型如何支撑自动驾驶？

自动驾驶是世界模型最成熟、且已落地的应用方向之一，其核心价值在于批量合成罕见、危险的驾驶场景用于测试与训练。

1. 合成罕见危险场景

自动驾驶仿真已经能够生成暴雨、暴雪、异常障碍等虚拟"考题"，让驾驶系统在安全可控的环境中反复验证，效率远高于单纯堆叠真实路测。

2. 预测道路参与者轨迹

在产业实践中，特斯拉将全自动驾驶系统内部预测道路参与者未来运动轨迹的神经网络称为"世界模型"，它输出精确的三维位置、速度与朝向供路径规划模块使用。

3. 合成传感器数据强化训练

英伟达 Cosmos 也面向智能汽车训练提供合成传感器数据生成能力，通过增加天气、光照与地理位置的多样性来强化训练数据。由于智驾领域最早握有海量真实路测数据与明确的付费场景，它被视为世界模型"离钱最近"的落地阵营。

十八、世界模型在具身智能训练中扮演什么角色？

在具身智能中，世界模型扮演着"训练环境供给者"与"认知引擎"的双重角色，是构建通用机器人大脑的关键中间层。

1. 作为训练环境供给者

它为机器人、人形机器人等具身智能体提供可交互、物理可信的虚拟训练场，使其能够在部署到真实世界前完成大量演练。

2. 作为认知引擎

它帮助智能体预测动作后果，实现"先在脑内模拟、再执行"的规划能力。

3. 产业价值快速显现

2026 年，大量原本涌向具身智能硬件的资金开始转向带有"世界模型"标签的企业，业内共识是无论硬件如何竞争，"大脑"的好用程度将成为行业分水岭。世界模型通过打通机器人感知、决策、执行的闭环，被视为具身智能从"体育生式"表演走向真实场景工作伙伴的重要支撑。

十九、世界模型在游戏与虚拟环境生成中有什么用途？

游戏与虚拟内容生成是世界模型商业化最直接的领域之一，其价值在于把"生成一段内容"推进到"生成一个可进入、可编辑的世界"。

1. 实时生成可漫游环境

世界模型能够从文本或图像提示实时生成可漫游、可交互的三维环境，用户可以像玩游戏一样在其中行走、飞行或驾驶，环境随视角与动作动态生成。相比传统游戏引擎需要预先编程固定场景，这种动态生成能力显著降低了地图与关卡原型的创作门槛。

2. 可二次编辑的 3D 资产

在具体用途上，世界模型可用于游戏原型快速迭代、交互式娱乐体验、建筑可视化与创意设计。腾讯混元世界模型 2.0 可生成可二次编辑的 3D 资产并导入 Unity、Unreal 等引擎，用于快速生成游戏地图。

3. 从内容生成到世界生成

谷歌 DeepMind 的 Genie 3 则展示了从文本直接生成多样化可交互世界的潜力。随着实时交互技术的成熟，世界模型正从"生成一段内容"演进为"生成一个可进入、可编辑的世界"，为游戏工业与虚拟环境生产带来新的工作范式。