世界模型的数据来源与训练方式是怎样的？

世界模型的训练数据以视频与三维数据为主，训练方式以自回归的下一状态预测为核心。

1. 视频数据蕴含物理与因果信息

视频数据蕴含丰富的物理与因果信息。LeCun 曾以一个直观对比说明其密度：互联网上全部公开文本约 10^14 字节，大致相当于一个四岁儿童在生命最初几年通过视觉接收的信息量。

2. 三维与多模态传感器数据

除真实视频外，三维重建数据、传感器数据（如激光雷达、深度图、本体感觉与触觉）也是重要来源。英伟达 Jim Fan 即指出，下一状态不应只包含 RGB，还须覆盖三维运动、本体感觉与触觉。

3. 自回归的下一状态预测

主流做法是自回归预测：模型基于历史帧与最新动作逐帧或逐步预测未来。

4. 合成数据缓解真实数据稀缺

英伟达 Cosmos 平台提供了另一类思路，即通过开放的大规模合成数据集与数据策展、评估工具，缓解真实物理数据稀缺、碎片化的问题。由于真实世界数据采集成本高、长尾场景难以捕获，合成数据在世界模型训练中占据重要地位。