首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

广义线性模型之逻辑回归

逻辑回归是一个基本的分类算法,也属于广义线性模型中的一种。下面,以广义线性模型的推导思路来说明这一算法。

逻辑回归假定样本的类别服从伯努利分布,即

这一分布的期望

能否像线性回归一样,直接用线性模型拟合

ρ

呢?是不行的,因为线性模型的值域为整个实数,而

ρ

为概率值,因此需要进行一下转换,常用的转换就是使用sigmoid函数,如下

另外的一种解释是,虽然

ρ

的范围是0到1,但正例与反例的比值是个正的实数,即

此数值也称为几率。再对它取对数,就变换为了整个实数,即

容易看出,sigmoid函数的解释和几率的解释是一致的。

似然函数

所有样本的似然函数

取对数,就得到

接下来就可以通过梯度下降的方法进行求解了。

Logistic损失

与逻辑回归相关联的还有一个logistic损失的概念。

上面的推导中,假定了类别

y

可取0和1两个值,但这并不是一个关键的问题,实际上,

y

可以设定取任何两个实数。

当设定为取-1和1时,上面的对数似然函数等价于最小化下面函数

其中,求和号里面的部分就是logistic损失。

因此,逻辑回归也等价于使用logistic损失来衡量回归效果的线性回归。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180205A02DYV00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券