原创 | 一文读懂无模型的预测（强化学习二）

作者：黄娘球
本文约2200字，建议阅读5分钟本文讲述无模型的预测 （Model-free Prediction）通过与环境的交互迭代来求解问题。

在已知的马尔可夫决策过程（MDP）中，无论是策略迭代（policy iteration）还是价值迭代(value iteration)，都假定已知环境（Environment）的动态和奖励（dynamics and reward），然而在许多的真实世界的问题中，MDP模型或者是未知的，或者是已知的但计算太复杂。本文讲述无模型的预测与控制Model-free Prediction and Control 中的前半部分，无模型的预测 （Model-free Prediction）通过与环境的交互迭代来求解问题。

注：本文整理自周博磊以及David Silver的课件，并添加了自己的总结。

Lecture 3 无模型的预测与控制(Model-free Prediction and Control)

无模型的预测与控制，即在一个未知的马尔可夫决策过程（MDP）中，估计与优化价值函数。

3.1.无模型的预测（Model-free Prediction）:

在不知道模型的情况下做策略评估，即如果我们不知道MDP模型，估计一个特定策略的期望回报。

3.1.1 蒙特卡洛策略评估（Monte-Carlo policy evaluation）

一、概述

a.

b. 蒙特卡洛模拟（MC simulation）：简单地采样大量的轨迹（Trajectories），使用经验平均回报，而不是期望回报。

c. 不要求MDP dynamics 或者奖励，没有 bootstrapping，也不假设状态是马尔可夫(Markov)的。

1. 评估状态s的价值函数 V（s）:

a. 增量计数(Increment counter)：

b. 增量总回报( Increment total return)：

c. 价值由平均回报来估计：

2. 由大数定律，有：

二、增量式蒙特卡洛更新 (Incremental MC Updates)

a. 各个回合的状态、动作和奖励集合：

b. 每一个状态

及计算得到的回报

c. 或者在非平稳问题（non-stationary problem）上使用动态均值(running mean):

三、动态规划（DP）和蒙特卡洛 (MC)在策略评估上的不同

1. 动态规划DP通过bootstrapping计算

, 在贝尔曼期望方程上迭代

2. 蒙特卡洛MC在一个采样的回合中更新经验平均回报，来近似期望值。

蒙特卡洛MC在以下情形优于动态规划DP：

a. 当环境是未知时，MC是有效的

b. 通过采样回合是由巨大优势的，即使是在已知环境的所有动态，例如当转移概率矩阵太复杂而难以计算的时候。

3.1.2 时间差分（Temporal Difference, TD）

TD通过bootstrapping从不完整的回合中学习，无模型（Model-free）直接从经验的回合中学习。

目标：在策略π下通过经验学习

TD (0) :

TD target:

TD error:

对于任何的固定策略π ，TD (0) 已被证明收敛于

一、时间差分TD优于蒙特卡洛MC的情形

1. TD通过bootstrapping来更新价值估计，使用

的估计来近似期望值。

2. MC 使用采样的回报

二、TD和MC的对比

1. TD可以在每一步在线学习，而MC必须等到回合结束才知道回报。

2. TD可以从不完整的序列sequences学习，MC只能从完整的序列中学习

3. TD在连续continuing（非终止non-terminating）环境下有效，MC只在回合制episodic（终止terminating）环境下有效

4. TD应用了马尔可夫性质（Markov property），在马尔可夫环境下（Markov environment）更有效。而MC并没有应用马尔可夫性质，在非马尔可夫环境下更有效。

三、n步TD（n-step TD）

1. 考虑下面的n-step returns

2. n步回报

3. n步TD

四、

n步回报的平均

1.

以权重

结合了所有的n步回报

2. 前向

（

）

的权重函数

前向

1. 向着

更新价值函数

2. 前向，即向前看未来以计算

3. 像MC一样，只能在完整的回合里计算

后向

每一步都从不完整的序列sequences在线更新

1. 每一状态s都保持一个Eligibility Traces

2. 为每一个状态s更新价值V（s）

3. 与

成比例

TD(1) 几乎等价于every-visit Monte-Carlo

3.1.3 总结

编辑：于腾凯

校对：林亦霖