机器学习虾扯淡之线性回归No.39

今天晚上，整理了一下线性回归的完整的数学推导过程以及应用。

0x00甩定义

首先什么是线性回归？

就是面包屑嘛，我们跟着一个一个面包屑走，然后duang~~在脑里脑补出一条路，然后预测下一个面包屑的位置。

"鲁迅曾经说过：世界上本没有路，走的人多了也就成了路，因为草长不起来。"

鲁迅：我没说过这句话。

线性回归就是要找出这条笔直的路，来拟合数据，然后预测未来。

“JoeJoe老师你这图好丑啊”

“你信不信我疼你一百次啊？！！”

假设我们有N个面包屑。N等于5.

小一 ( x1 , y1 )

小二 ( x2 , y2 )

小三 ( x3 , y3 )

小四 ( x4 , y4 )

小五 ( x5 , y5 )

怎么找到这条路呢？

思考人生ing。

去他妈的思考人生。

啊啊啊啊，找路要紧找路要紧。

好了，就决定这条线，就

f(x) = wx + b

完美！！！完美符合一切情况。

（本文完）

等等等等，啥玩意叫完美符合一切情况？这尼玛啥也没干啊等于。w是几啊？b又是几啊？bbbbb就你bb。

好嘛。。

那我们肯定是误差越小越好，越符合情况越好啊。搬出小学课本查了查，嗯，最小二乘法。

简单来说，就是尽量让直线上预测的点跟实际的点欧拉距离最小。

啥玩意叫欧拉距离啊大蕉，你能不能别卖关子了？

就是我们现在所有说的空间距离，都是欧拉距离，比如，大蕉和小蕉，距离只有1毫米，这样。

也就是要这样。

L(w,b) = ∑ ( f(x) - y )^2

使上面这个值最小。

喔！！！！！我知道了，那这样就可以让曲线完美符合了。

知道你个大头鬼啦！！

作为一个小学生，我知道上面这个是一元二次方程，我直接抛物线求最小值就可以了。完美。

但是吖，我们生活中，遇到的可不仅仅是一元二次吖，可能是N元N次啊，你怎么求？

0x01求最优解

今天只介绍一种解法，就是梯度下降法。

我们定义一个学习率，也叫步长就是每一次走的步伐，步子大了会扯到什么你们自己知道的，我们叫做 α 。首先随便初始化一个w和b。

L(w,b) = ∑ ( f(x) - y )^2 = ∑ (wx + b - y) ^ 2

上面这里x和y都是已知的定值，所以直接代进去就可以求啦。

然后我们分别对w和b求导。

d(w) = dL / dw

d(b) = dL / db

然后令w = w - α * d(w) ， b = w - α * d(b)

每次挪一步每次挪一步，总结找到一个局部最小值的，至于能不能找到全局最小值呢？

看运气，步子不要太大，不扯到，有可能可以喔。但是步子大了，又可能跳出局部最小值，找到另外一个局部最小值喔，万一找到了呢？

这里会有三种模式，上面说的是Batch - Gradiant Descent，批量梯度下降，也就是每次把所有的值都代进去算一遍。

第二种是 Stochastic - Gradiant Descent。随机梯度下降，每一次只代入一个值。随机算法随机解，解到哪里算哪里。

还有一种折中算法 Mini-Batch Gradiant Descent。小批量梯度下降。每次代入一小批，然后算一下。

第三种其实是最常用的。第一种把耗时太长，第二种吧太随机了。第三种，马马虎虎，多算几次还是能算好的。

谁叫人丑就要多学习呢？

0x01核函数

有时候我们会发现，这他妈直线哪能描述我的想法啊？不行，我要换，换换换。

我们可以这样，用一个叫核函数的东西，把低维的东西，映射到高维上。

map ( x , y ) => exp ( x , y)

啥叫映射呢？就是我们反过来想。

你关上灯，然后拿起小电筒，照在墙上。

墙就是你这束三维的光在墙这个二维面上的投影。

反过来，我们人脑也可以用一个映射，把这个小投影，还原想象成这束三维的光。

哈？你问我这样做有什么用？

比如说，桌子上猪肉中间有一小块肥肉（二维问题），你要把他挑出来（分类），只能切一刀，还只能切直线，咋办？

机智的小蕉，会把猪肉提起来（变成三维的），然后横着一切，完美。最中间的肥肉就飞了飞了。

从分类来说。

有线性核，多项式核，高斯核，径向基核。

越复杂的核函数，越容易过拟合喔，小心为妙。

0x02正则化

我从两个方面来说这个东西吧，分别是防止过拟合要怎么办？以及为什么这样能防止过拟合。

好了，怕过拟合，咋办？加正则项咯。有这三种，可以单独用也可以打组合拳。

L0 = ||w||0 使得参数非零的个数最小

L1 = ||w||1 使得参数的绝对值的和最小

L2 = ||w||2 使得参数的平方的和最小

这三个都可以防止过拟合，但是L0比较难受，是一个NP-Hard问题，所以一般都用L1或者L2。

好那我们要使得

||w|| <= C 也就是 ||w|| - C <= 0

C是某一个常数。这样怎么去求解呢？

拉格朗日乘子法。

不熟悉的小朋友自行度娘，简单来说就是把约束条件也丢到损失函数里边。

所以损失函数就变成了

L(w,b) = ∑ ( f(x) - y )^2 - λ * （||w|| - C）

然后跟上面一样去求最小值就可以啦。

下面这些听起来很炫酷的算法，其实就是加正则项啦

Lasso 回归 -> 加了L1正则项的线性回归

Ridge 回归 -> 加了L2正则项的线性回归

ElasticNet -> 加了L1和L2正则项混合双大的线性回归