统计学.参数估计（点估计~最大似然估计）

先介绍无偏估计 是统计学中一个非常重要的概念。简单来说，如果我们用样本统计量去估计总体参数，当这个统计量的期望值等于总体参数的真实值时，我们就称这个统计量为该参数的无偏估计。

通俗地讲，无偏估计就是说，如果你反复多次地从总体中抽取样本，并用每个样本计算出的估计量来估计总体参数，那么这些估计量的平均值会越来越接近真实的总体参数。

设θ是总体的一个参数，θ̂ 是θ的一个估计量，如果对于任意θ，都有：

E(θ̂) = θ

则称θ̂ 是θ的无偏估计。其中，E(θ̂)表示估计量θ̂ 的期望。

无偏估计意味着在多次抽样中，我们的估计结果平均来说是准确的。

样本均值是总体均值的无偏估计：

1. 样本均值：x̄ = (x₁ + x₂ + ... + xn) / n
2. 总体均值：μ
3. E(x̄) = μ

样本方差是有偏估计：

得到总体方差的无偏估计，我们通常使用以下公式：

s² = Σ(xi - x̄)² / (n - 1)

1. 样本方差：s² = Σ(xi - x̄)² / n
2. 总体方差：σ²E(s²) ≠ σ²

无偏估计： 期望等于真实值。有偏估计： 期望不等于真实值。

点估计是一种统计学方法，它的核心思想是：样本矩是总体矩的无偏估计。用于根据样本数据对总体中的未知参数进行估计。

就是用一个具体的数值来代表总体参数。例如，我们想估计一个班级的平均身高，就可以随机抽取一部分学生测量身高，然后用样本的平均身高来估计整个班级的平均身高。

矩估计：基于样本矩与总体矩相等的原理进行参数估计。当对分布形式了解较少，或计算复杂度较高时，矩估计是一种快速、简单的选择。

最大似然估计：基于似然函数最大化的原理进行参数估计。当对分布形式有较明确的假设，且计算资源充足时，最大似然估计通常能提供更准确的估计。

一般来说，最大似然估计的效率比矩估计更高，即得到的估计量方差更小。

矩对于一个随机变量X，其k阶原点矩定义为：

E(X^k)

其中，E表示数学期望。

k阶中心矩定义为：

E[(X-μ)^k]

其中，μ为随机变量X的均值。

1. 原点矩： 数据值与原点距离的k次幂的平均值，反映了数据的分布形状。
2. 中心矩： 数据值与均值距离的k次幂的平均值，反映了数据的离散程度。

相比于极大似然估计，矩估计的估计效率可能较低。

假设一个总体服从正态分布N(μ, σ²)，我们想估计其均值μ和方差σ²。

1. 总体一阶原点矩： E(X) = μ 描述了分布的中心位置。
2. 总体二阶原点矩： E(X²) = σ² + μ²描述了分布的分散程度，也就是数据点偏离均值的程度。

根据样本数据，我们可以计算出样本的一阶原点矩（样本均值）和二阶原点矩。然后，令样本均值等于μ，样本二阶原点矩等于σ² + μ²，即可得到μ和σ²的矩估计。

1. 正态分布：正态分布的特征就是其对称性和钟形曲线。它的偏度为0，表示分布是对称的。
2. 指数分布：指数分布通常用于描述事件发生的时间间隔。它的偏度是正的，表示分布向右偏。
3. 泊松分布：泊松分布常用于描述单位时间内随机事件发生的次数。它的形状取决于其参数λ，不同的λ会产生不同的分布形状。

最大似然估计是一种常用的参数估计方法。它基于这样一个直观思想：已知某个模型（如正态分布），我们观测到了一些数据，那么最合理的参数，就是能使这些已知数据出现的概率最大的参数。

换句话说，我们认为，发生概率最大的事件，最有可能就是真实发生的事情。

1. 假设数据分布： 首先，我们假设数据服从某个特定的概率分布（如正态分布、泊松分布等），这个分布通常包含一些未知参数。
2. 写出似然函数： 根据假设的分布，写出似然函数。似然函数表示在给定参数的情况下，观测到当前数据的概率。
3. 求导并令导数为零： 将似然函数对未知参数求导，并令导数为零，得到似然方程。
4. 求解方程： 解似然方程，得到使似然函数最大的参数估计值。

举个例子：假设我们有一组数据，我们认为这组数据服从正态分布。那么，我们希望估计这个正态分布的均值μ和方差σ²。

写出似然函数： 对于每个数据点x_i，其概率密度函数为：

f(x_i; μ, σ²) = (1 / (σ * sqrt(2π))) * exp(-(x_i - μ)² / (2σ²))

整个样本的似然函数就是各个数据点的概率密度函数的乘积。

求解方程： 对似然函数取对数，然后对μ和σ²求导，并令导数为零，可以得到μ和σ²的估计值。