先看这里,可能由于你正在查看这个平台行间公式不支持很多的渲染,所以最好在我的csdn上查看,传送门:(无奈脸)
csdn博客文章地址:http://blog.csdn.net/zyq522376829/article/details/69941886
上一篇讲到分类问题的解决方法,推导出函数集的形式为:
将函数集可视化:
图中z写错了,应该是 z=∑iwixi+bz = \sum_{i} w_{i} x_{i} + bz=∑iwixi+b。这种函数集的分类问题叫做 logistic regression(逻辑回归),将它和第二篇讲到的线性回归简单对比一下函数集:
上图有一个训练集,每个对象分别对应属于哪个类型(例如 x3x^{3}x3 属于 c2c_{2}c2 )。假设这些数据都是由后验概率 fw,b(x)=pw,b(c1∣x)f_{w,b}(x) = p_{w, b}(c_{1} | x)fw,b(x)=pw,b(c1∣x)产生的。 |
---|
给定一组 w和b,就可以计算这组w,b下产生上图n个训练数据的概率,
l(w,b)=fw,b(x1)fw,b(x2)(1−fw,b(x3))⋯fw,b(xn)(1−1)l(w, b) = f_{w,b}(x^{1})f_{w,b}(x^{2}) \left( 1-f_{w,b}(x^{3}) \right) \cdots f_{w,b}(x^{n}) \qquad (1-1)l(w,b)=fw,b(x1)fw,b(x2)(1−fw,b(x3))⋯fw,b(xn)(1−1)
对于使得 l(w,b)l(w, b)l(w,b)最大的www和 bbb,记做wstarw^{star}wstar 和 bstarb^{star}bstar ,即:
wstar,bstar=argmaxw,bl(w,b)(1−2)w^{star},b^{star} = \arg \max_{w,b} l(w,b) \qquad (1-2)wstar,bstar=argmaxw,bl(w,b)(1−2)
将训练集数字化,并且将式1-2中求max通过取负自然对数转化为求min :
然后将−lnl(w,b)-\ln l(w,b)−lnl(w,b)改写为下图中带蓝色下划线式子的样子:
图中蓝色下划线实际上代表的是两个伯努利分布(0-1分布,两点分布)的 cross entropy(交叉熵)
假设有两个分布 p 和 q,如图中蓝色方框所示,这两个分布之间交叉熵的计算方式就是 h(p,q)h(p,q)h(p,q);交叉熵代表的含义是这两个分布有多接近,如果两个分布是一模一样的话,那计算出的交叉熵就是0
交叉熵的详细理论可以参考《information theory(信息论)》,具体哪本书我就不推荐了,由于学这门科目的时候用的是我们学校出版的教材。。。没有其他横向对比,不过这里用到的不复杂,一般教材都会讲到。
下面再拿逻辑回归和线性回归作比较,这次比较损失函数:
此时直观上的理解:如果把function的输出和target(真正的function y^n\hat{y}^{n}y^n)都看作是两个伯努利分布,所做的事情就是希望这两个分布越接近越好。
下面用梯度下降法求:
要求−lnl(w,b)-\ln l(w,b)−lnl(w,b) 对 wiw_{i}wi的偏微分,只需要先算出lnfw,b(xn)\ln f_{w,b}(x^{n})lnfw,b(xn) 对 wiw_{i}wi的偏微分以及 ln(1−fw,b(xn))\ln \left( 1- f_{w,b}(x^{n}) \right) ln(1−fw,b(xn)) 对 wiw_{i}wi的偏微分。计算lnfw,b(xn)\ln f_{w,b}(x^{n})lnfw,b(xn) 对 wiw_{i}wi偏微分,fw,b(x)f_{w,b}(x)fw,b(x)可以用σ(z)\sigma (z)σ(z)表示,而zzz可以用wiw_{i}wi和 bbb表示,所以利用链式法则展开。
计算 ln(1−fw,b(xn))\ln \left( 1- f_{w,b}(x^{n}) \right) ln(1−fw,b(xn)) 对 wiw_{i}wi 的偏微分,同理求得结果。
将求得两个子项的偏微分带入,化简得到结果。
现在 wiw_{i}wi 的更新取决于学习率 η\etaη ,xinx^{n}_{i}xin 以及上图的紫色划线部分;紫色下划线部分直观上看就是真正的目标 y^n\hat{y}^{n}y^n 与我们的function差距有多大。
下面再拿逻辑回归和线性回归作比较,这次比较如果挑选最好的function:
对于逻辑回归,target y^n\hat{y}^{n}y^n 是0或者1,输出是介于0和1之间。而线性回归的target可以是任何实数,输出也可以是任何值。
考虑上图中的平方误差形式。在step3计算出了对 wiw_{i}wi 的偏微分。假设 y^n=1\hat{y}^{n} = 1y^n=1 ,如果 fw,b(xn)=1f_{w,b}(x^{n}) = 1fw,b(xn)=1,就是非常接近target,会导致偏微分中第一部分为0,从而偏微分为0;而 fw,b(xn)=0f_{w,b}(x^{n}) = 0fw,b(xn)=0,会导致第二部分为0,从而偏微分也是0。
对于两个参数的变化,对总的损失函数作图:
如果是交叉熵,距离target越远,微分值就越大,就可以做到距离target越远,更新参数越快。而平方误差在距离target很远的时候,微分值非常小,会造成移动的速度非常慢,这就是很差的效果了。
逻辑回归的方法称为discriminative(判别) 方法;上一篇中用高斯来描述后验概率,称为 generative(生成) 方法。它们的函数集都是一样的:
如果是逻辑回归,就可以直接用梯度下降法找出w和b;如果是概率生成模型,像上篇那样求出 μ1\mu^{1}μ1 , μ2\mu^{2}μ2 ,协方差矩阵的逆,然后就能算出w和b。
用逻辑回归和概率生成模型找出来的w和b是不一样的。
上图是前一篇的例子,图中画的是只考虑两个因素,如果考虑所有因素,结果是逻辑回归的效果好一些。
上图的训练集有13组数据,类别1里面两个特征都是1,剩下的(1, 0), (0, 1), (0, 0) 都认为是类别2;然后给一个测试数据(1, 1),它是哪个类别呢?人类来判断的话,不出意外基本都认为是类别1。下面看一下朴素贝叶斯分类器(naive bayes)会有什么样的结果。
朴素贝叶斯分类器如图中公式:xxx属于cic_{i}ci 的概率等于每个特征属于cic_{i}ci 概率的乘积。
计算出p(c1∣x)p(c_{1} | x)p(c1∣x)的结果是小于0.5的,即对于朴素贝叶斯分类器来说,测试数据 (1, 1)是属于类别2的,这和直观上的判断是相反的。其实这是合理,实际上训练集的数据量太小,但是对于 (1, 1)可能属于类别2这件事情,朴素贝叶斯分类器是有假设这种情况存在的(机器脑补这种可能性==)。所以结果和人类直观判断的结果不太一样。 |
---|
生成方法的优势:
下面看一下多类别分类问题的做法,具体原理可以参考《pattern recognition and machine learning》christopher m. bishop 著 ,p209-210
假设有3个类别,每个都有自己的weight和bias
把z1,z2,z3z_{1}, z_{2}, z_{3}z1,z2,z3放到一个叫做softmax的方程中,softmax做的事情就是它们进行exponential(指数化),将exponential 的结果相加,再分别用 exponential 的结果除以相加的结果。原本z1,z2,z3z_{1}, z_{2}, z_{3}z1,z2,z3可以是任何值,但做完softmax之后输出会被限制住,都介于0到1之间,并且和是1。softmax做事情就是对最大值进行强化。
把结果看成
yi=p(ci∣x)=exp(zk)∑j=1nexp(zj)y_{i} = p(c_{i} | x) = \frac{\exp (z_{k})}{\sum^{n}{j = 1}\exp (z{j})}yi=p(ci∣x)=∑j=1nexp(zj)exp(zk) |
---|
比如图中数字的例子,即输入x,属于类别1的几率是0.88,属于类别2的几率是0.12,属于类别3的几率是0。
softmax的输出就是用来估计后验概率(posterior probability)。为什么会这样?下面进行简单的说明:
假设有3个类别,这3个类别都是高斯分布,它们也共用同一个协方差矩阵,进行类似上一篇讲述的推导,就可以得到softmax。
信息论学科中有一个 maximum entropy(最大熵)的概念,也可以推导出softmax。简单说信息论中定义了一个最大熵。指数簇分布的最大熵等价于其指数形式的最大似然界。二项式的最大熵解等价于二项式指数形式(sigmoid)的最大似然,多项式分布的最大熵等价于多项式分布指数形式(softmax)的最大似然,因此为什么用sigmoid函数,那是因为指数簇分布最大熵的特性的必然性。假设分布求解最大熵,引入拉格朗日函数,求偏导数等于0,直接求出就是sigmoid函数形式。还有很多指数簇分布都有对应的最大似然界。而且,单个指数簇分布往往表达能力有限,就引入了多个指数簇分布的混合模型,比如高斯混合,引出了em算法。想lda就是多项式分布的混合模型。
关于最大熵推导softmax有一篇论文讲的比较好:。传送门:[http://www.win-vector.com/dfiles/logisticregressionmaxent.pdf](http://www.win-vector.com/dfiles/logisticregressionmaxent.pdf)。如果传送门失效,google一下就好。
上一篇讲到如果定义类别1 y^=1\hat{y} = 1y^=1,类别2 y^=2\hat{y} = 2y^=2,类别3 y^=3\hat{y} = 3y^=3,这样会人为造成类别1 和类型2有一定的关系这种问题。但可以将 y^\hat{y}y^定义为矩阵,这样就避免了。而且为了计算交叉熵,y^\hat{y}y^也需要是个概率分布才可以。
考虑上图的例子,两个类别分布在两个对角线两端,用逻辑回归可以处理吗?
这里的逻辑回归所能做的分界线就是一条直线,没有办法将红蓝色用一条直线分开。
特征转换的方式很多,举例类别1转化为某个点到 (0,0)(0, 0)(0,0) 点的距离,类别2转化为某个点到 (1,1)(1,1)(1,1) 点的距离。然后问题就转化右图,此时就可以处理了。但是实际中并不是总能轻易的找到好的特征转换的方法。
可以将很多的逻辑回归接到一起,就可以进行特征转换。比如上图就用两个逻辑回归 z1z_{1}z1和 z2z_{2}z2来进行特征转换,然后对于 x1x_{1}x1撇 和 x2x_{2}x2撇(km上右上角打不出来一撇,单引号什么的都是失效),再用一个逻辑回归zzz来进行分类。
对上述例子用这种方式处理:
右上角的图,可以调整参数使得得出这四种情况。同理右下角也是
经过这样的转换之后,点就被处理为可以进行分类的结果。
一个逻辑回归的输入可以来源于其他逻辑回归的输出,这个逻辑回归的输出也可以是其他逻辑回归的输入。把每个逻辑回归称为一个 neuron(神经元),把这些神经元连接起来的网络,就叫做 neural network(神经网络)。