学过统计学的同学,深知最小二乘法是线性回归的基础,也是从描述统计到统计推断的必经之路。今天我们一起从线性代数的求解过程中,揭秘最小二乘法的重要特性。
一,实践出真知
光说不练假把戏,我们从实战中出,如下图,在坐标系中已知点:b1 (1,1)、b2 (2,2)、b3 (3,2)。求出最优线性方程解,即C、D的值。
我们知道最优解即方差值最小,假设最优的回归方程上有3个完美拟合点:p1、p2、p3 (横坐标值与实际值一致)。
可以得到方差的表达式子
方差最小值的即C、D的偏导等于0。求解过程如下,我们求得:C=4/6、D=3/6。
∑i=niei
二,线性空间求解
我们这点几何代数是对方程求解的更深层次的抽象,是我们能够快速完成更高维的计算求解,同时这种计算能力也在计算机上发挥的淋漓尽致。
最小二乘法的求解的最优回归方程,可以抽象为 线在矩阵空间A的投影,误差可以理解为在A转置的零空间上的投影。
通过线性代数,我们可以矩阵投影降维,快速计算出C、D的最优解,找出最优的线性方程。求解过程如下。
我们可以惊奇的发现,矩阵投影求出解 与 最小方差偏导 求解的方程式一致。
三,发现特性
在坐标系中已知点:b1 (1,1)、b2 (2,2)、b3 (3,2)。求出最优线性方程解,即C=4/6、D=3/6。
即方程:y = 4/6+3/6*x 同时最优的点 p1 (1,7/6)、p2 (2,10/6)、p3 (3,13/6)。
误差e= {e1,e2,e3} = {-1/6, 2/6, -1/6}, 可以得出 p+e = b (即在空间中 向量p + 向量e 等于向量b)。
细心探索我们也可以发现:投影p与投影e垂直,投影p与投影e的点积为0,投影e 垂直于A的所有列空间。
注:A乘A的转置为可逆矩阵,零空间即0向量。