世界模型与强化学习中的状态转移模型存在深厚的理论渊源,可视为同一思想在不同场景下的扩展。
在强化学习的 POMDP 框架中,状态转移模型描述的是"在状态 s 采取动作 a 后,环境转移到哪个状态 s'",这正是世界模型的核心功能之一。李飞飞团队在厘清概念时,正是回到 POMDP 这一理论源头。
传统强化学习中的状态转移模型多用于状态空间较小、可精确建模的任务;而现代世界模型面向高维、连续、部分可观的真实感知环境,需要从像素、视频等原始信号中学习状态的表征与动态。
可以说,世界模型是状态转移模型思想在高维多模态场景下的扩展与复兴,"基于世界模型的强化学习"(World Model based RL)也因此成为一个活跃的研究方向。