首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >世界模型 >世界模型与强化学习中的状态转移模型有什么关系?

世界模型与强化学习中的状态转移模型有什么关系?

词条归属:世界模型

世界模型与强化学习中的状态转移模型存在深厚的理论渊源,可视为同一思想在不同场景下的扩展。

1. 理论同源:POMDP 状态转移

在强化学习的 POMDP 框架中,状态转移模型描述的是"在状态 s 采取动作 a 后,环境转移到哪个状态 s'",这正是世界模型的核心功能之一。李飞飞团队在厘清概念时,正是回到 POMDP 这一理论源头。

2. 规模与用途的差异

传统强化学习中的状态转移模型多用于状态空间较小、可精确建模的任务;而现代世界模型面向高维、连续、部分可观的真实感知环境,需要从像素、视频等原始信号中学习状态的表征与动态。

3. 思想的扩展与复兴

可以说,世界模型是状态转移模型思想在高维多模态场景下的扩展与复兴,"基于世界模型的强化学习"(World Model based RL)也因此成为一个活跃的研究方向。

相关文章
机器学习之——强化学习中的有模型学习
强化学习可以视为一个四元组,分别表示状态、动作、状态转移和奖赏。有模型学习是指这个四元组均为已知的情况,此时,我们可以在机器上模拟出与环境相同或近似的状况,显然,这是一种最简单的情形。 有模型学习
企鹅号小编
2018-01-04
2.1K0
深度强化学习(DRL)专栏(二):有模型的强化学习
【磐创AI导读】:本篇文章是深度强化学习专栏的第二篇,讲了第三节有模型的强化学习,希望对大家有所帮助。查看上篇关于本专栏的介绍:深度强化学习(DRL)专栏开篇。想要获取更多的机器学习、深度学习资源,欢迎大家点击上方蓝字关注我们的公众号:磐创AI。
磐创AI
2019-09-09
2.7K0
强化学习(十七) 基于模型的强化学习与Dyna算法框架
    在前面我们讨论了基于价值的强化学习(Value Based RL)和基于策略的强化学习模型(Policy Based RL),本篇我们讨论最后一种强化学习流派,基于模型的强化学习(Model Based RL),以及基于模型的强化学习算法框架Dyna。
刘建平Pinard
2019-03-04
3.2K0
LeCun预言AGI:大模型和强化学习都是斜道!我的「世界模型」才是新路
---- 新智元报道   编辑:袁榭 【新智元导读】2022年6月24日,Yann LeCun接受《MIT科技评论》采访,阐述了他心目中AI的未来。 AI界当代最著名巨擘之一、Meta的AI实验室灵魂人物Yann LeCun,长期致力于让机器对世界的运转理念有基础了解,也就是让AI获得常识。 LeCun过去的做法,是用视频选段训练神经网络,让AI逐个像素地预测日常活动视频下一帧将会出现啥。不出人意料地,他自己承认这途径撞上了铁板。 在数月到一年半之间的思考后,LeCun对下一代AI有了新的想法
新智元
2022-06-27
9410
强化学习推荐系统的模型结构与特点总结
提到强化学习,似乎总给人一种难以训练且难以落地的感觉。但是听大佬说,企业里强化学习推荐系统(RLRS)落地的例子其实已经有不少,不过一般都没有公开细节。现有公开且知名的RLRS技术分享有:
石晓文
2021-03-24
1.5K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券