《PRML》读书笔记之三：概率论（下）

从图中我们可以看出高斯分布满足：

我们将估计的期望等于真值的估计称为无偏估计，否则称为有偏估计。为了得到方差的无偏估计，我们需要进行如下处理：

在之后的章节中我们可以发现，当采用贝叶斯方法时，会自动得到这一结果。当数据量 增加时，最大似然估计的偏差会逐渐减小，极限情况下甚至会消失。在实际应用中，只要 的值不太下，偏差并不会有太大的影响。然而，在本书中我们关心的是带有很多参数的复杂模型，对于这些模型来说，最大似然估计带来的偏差问题会相当严重。下面我们将给出这一偏差在多项式曲线拟合的过拟合问题中的体现。

3.6 曲线拟合再考察

之前我们已经从误差最小化的角度介绍了多项式曲线拟合问题，本节我们将从概率角度来考察该问题，以更加深刻地认识误差函数和正则化，并且可以让我们从贝叶斯视角来看待这个问题。

多项式拟合问题的目标是基于由 个输入值 和其对应的目标值 组成的训练集，当给定某个输入变量 的新值时，能够对目标变量 进行预测。我们可以使用概率分布来表达目标变量取值的不确定性。为了达成这一目标，我们需要假设给定 的值，对应的 的值满足一个高斯分布，其均值为多项式曲线 的值，因此我们有：

其中，为了和后续章节保持一致性，我们定义了精度参数 ，其对应于分布的方差的倒数。下图给出了上述分布的可视化说明。