基于上述情况,要使分类器的输出在[0,1]之间,可以采用假设表示的方法。 设
, 其中
, 称为逻辑函数(Sigmoid function,又称为激活函数,生物学上的S型曲线)
其两条渐近线分别为h(x)=0和h(x)=1
在分类条件下,最终的输出结果是:
其代表在给定x的条件下 其y=1的概率
对假设函数设定阈值
, 当
时,输出结果y=1.
根据假设函数的性质,当
h(x)≥0.5 用
替换x,则当
时,
解出
,其答案将会是一个在每一个
轴上都有的不等式函数。
这个不等式函数将整个空间分成了y=1 和 y=0的两个部分,称之为决策边界。
在线性回归中的代价函数:
令
, Cost是一个非凹函数,有许多的局部最小值,不利于使用梯度下降法。对于分类算法,设置其代价函数为:
对其化简:
检验: 当
时,
当
时,
那么代价函数可以写成:
对于代价函数,采用梯度下降算法求θ的最小值:
代入梯度:
sklearn 代码
## 基础函数库
import numpy as np
## 导入画图库
import matplotlib.pyplot as plt
## 导入逻辑回归模型函数
from sklearn.linear_model import LogisticRegression
## 构造数据集
x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])
## 调用逻辑回归模型
lr_clf = LogisticRegression()
## 用逻辑回归模型拟合构造的数据集
lr_clf = lr_clf.fit(x_fearures, y_label) #其拟合方程为 y=w0+w1*x1+w2*x2
## 查看其对应模型的w
print('the weight of Logistic Regression:',lr_clf.coef_)
## 查看其对应模型的w0
print('the intercept(w0) of Logistic Regression:',lr_clf.intercept_)
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')
plt.show()
## 在训练集和测试集上分别利用训练好的模型进行预测
y_label_new1_predict = lr_clf.predict(x_fearures_new1)
y_label_new2_predict = lr_clf.predict(x_fearures_new2)
print('The New point 1 predict class:\n',y_label_new1_predict)
print('The New point 2 predict class:\n',y_label_new2_predict)
## 由于逻辑回归模型是概率预测模型(前文介绍的 p = p(y=1|x,\theta)),所以我们可以利用 predict_proba 函数预测其概率
y_label_new1_predict_proba = lr_clf.predict_proba(x_fearures_new1)
y_label_new2_predict_proba = lr_clf.predict_proba(x_fearures_new2)
print('The New point 1 predict Probability of each class:\n',y_label_new1_predict_proba)
print('The New point 2 predict Probability of each class:\n',y_label_new2_predict_proba)