每天十分钟机器学习之十七：逻辑回归之代价函数

上几讲从逻辑回归的引出到应用都做了详细讲解，回顾一下并仔细体会以下知识点：

（1）逻辑回归是解决分类问题的，对于对于给定的x，通过已经确定的参数计算sigmoid函数值得出hθ(x)，hθ(x)可以理解成一个概率值，一般大于0.5认为是正向类，小于0.5是负向类；

（2）通过对判定边界的理解，只要能构造出不同的边界函数就可以应用逻辑回归进行分类，关键是边界函数的构造，不同的边界函数分类标准也不一样；

（3）逻辑回归可以解决多分类问题，实质就是拆分成多个二分类问题。

本讲是针对逻辑回归的最后一讲，就是如何构造代价函数进行参数求解，因为这是逻辑回归最终要面临的问题。

对于线性回归模型，我们用误差的平方和来定义代价函数。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数，这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。

这里注意一下，一般机器学习里的代价函数都要想办法转化为凸函数，因为只有凸函数才有全局最优解，至于原因请大家看一下凸函数的相关资料。

线性回归的代价函数为：

我们重新定义逻辑回归的代价函数为：

其中

这里沿用神经网络里的交叉熵的方法，为什么要这样构造，大家可以查一下交叉熵的相关方法。

带入代价函数得到：

得到代价函数后，我们便可以用梯度下降算法来求得能使代价函数最小的参数了。算法为：

求导后得到：

祝您的机器学习之旅愉快！

本文参考资料：斯坦福吴恩达老师的机器学习讲义，图片直接来自讲义；