机器学习中的基本问题——log损失与交叉熵的等价性

1、log损失

log损失的基本形式为：

log(1+exp(−m))log(1+exp(−m))

log\left ( 1+exp\left ( -m \right ) \right )

其中，m=y⋅y^m=y⋅y^m=y\cdot \hat{y}，y∈{−1,1}y∈{−1,1}y\in\left \{ -1,1 \right \}。

对上述的公式改写： ⇒1m∑i=1mlog(1+exp(−y(i)⋅y(i)^))⇒1m∑i=1mlog(1+exp(−y(i)⋅y(i)^)) \Rightarrow \frac{1}{m}\sum_{i=1}^{m}log\left ( 1+exp\left ( -y^{\left ( i \right )}\cdot \hat{y^{\left ( i \right )}} \right ) \right ) 已知： σ(x)=11+exp(−x)σ(x)=11+exp(−x) \sigma \left ( x \right )=\frac{1}{1+exp\left ( -x \right )} σ(x)=1−σ(−x)σ(x)=1−σ(−x) \sigma \left ( x \right )=1-\sigma \left ( -x \right ) ⇒1m∑i=1mlog(σ(y(i)⋅y(i)^)−1)=−1m∑i=1mlogσ(y(i)⋅y(i)^)⇒1m∑i=1mlog(σ(y(i)⋅y(i)^)−1)=−1m∑i=1mlogσ(y(i)⋅y(i)^) \Rightarrow \frac{1}{m}\sum_{i=1}^{m}log\left ( \sigma \left ( y^{\left ( i \right )}\cdot \hat{y^{\left ( i \right )}} \right )^{-1}\right )=-\frac{1}{m}\sum_{i=1}^{m}log \sigma \left ( y^{\left ( i \right )}\cdot \hat{y^{\left ( i \right )}} \right )

2、交叉熵

交叉熵的一般形式为：

H(y,y^)=−∑y⋅logσ(y^)H(y,y^)=−∑y⋅logσ(y^)

H\left ( y,\hat{y} \right )=-\sum y\cdot log\sigma \left ( \hat{y} \right )

对于mmm个样本，则交叉熵为：

H(y,y^)=−1m∑i=1m[I{y(i)=1}⋅logσ(y^)+I{y(i)=−1}⋅log(1−σ(y^))]H(y,y^)=−1m∑i=1m[I{y(i)=1}⋅logσ(y^)+I{y(i)=−1}⋅log(1−σ(y^))]

H\left ( y,\hat{y} \right )=-\frac{1}{m}\sum_{i=1}^{m} \left [ I\left \{ y^{\left ( i \right )}=1 \right \}\cdot log\sigma \left ( \hat{y} \right )+ I\left \{ y^{\left ( i \right )}=-1 \right \}\cdot log\left ( 1-\sigma \left ( \hat{y} \right ) \right )\right ]

H(y,y^)=−1m∑i=1m[I{y(i)=1}⋅logσ(y^)+I{y(i)=−1}⋅logσ(−y^)]H(y,y^)=−1m∑i=1m[I{y(i)=1}⋅logσ(y^)+I{y(i)=−1}⋅logσ(−y^)] H\left ( y,\hat{y} \right )=-\frac{1}{m}\sum_{i=1}^{m} \left [ I\left \{ y^{\left ( i \right )}=1 \right \}\cdot log\sigma \left ( \hat{y} \right )+ I\left \{ y^{\left ( i \right )}=-1 \right \}\cdot log\sigma \left ( -\hat{y} \right ) \right ] 由于y(i)∈{−1,1}y(i)∈{−1,1}y^{\left ( i \right )}\in\left \{ -1,1 \right \}，且必定为其一。 ⇒I{y(i)=k}={01 if y(i)≠k if y(i)=k⇒I{y(i)=k}={0 if y(i)≠k1 if y(i)=k \Rightarrow I\left \{ y^{\left ( i \right )}=k \right \}=\begin{cases} 0 & \text{ if } y^{\left ( i \right )}\neq k \\ 1 & \text{ if } y^{\left ( i \right )}= k \end{cases} H(y,y^)=−1m∑i=1mlogσ(y(i)⋅y(i)^)H(y,y^)=−1m∑i=1mlogσ(y(i)⋅y(i)^) H\left ( y,\hat{y} \right )=-\frac{1}{m}\sum_{i=1}^{m} log\sigma \left ( y^{\left ( i \right )}\cdot \hat{y^{\left ( i \right )}} \right )

我的博客即将搬运同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan