相对熵和交叉熵

hotarugali

发布于 2022-04-22 13:38:59

8610

1. 相对熵

1.1 简介

相对熵也称为 KL 散度（Kullback-Leibler divergence），相对熵是两个概率分布 P 和 Q 差别的度量。具体来说，P 和 Q 的相对熵是用来度量使用基于 Q 的分布来编码服从 P 的分布的样本所需的额外平均比特数。典型情况下，P 表示真实分布，Q 表示数据的理论分布或者是估计的模型分布。

1.2 定义

对于离散随机变量，其概率分布 P 和 Q 的相对熵定义为：

D_{\mathrm{KL}}(P \Vert Q) = -\sum_{i} P(i) \ln{\frac{Q(i)}{P(i)}} = \mathbb{E}_{P} \left[ - \ln{\frac{Q}{P}} \right]

其中，P(i) 和 Q(i) 分别表示 P 和 Q 的离散概率。当式中出现 0 \ln{0} 时，其值按 0 处理。

对于连续随机变量，其概率分布 P 和 Q 的相对熵定义为：

D_{\mathrm{KL}}(P \Vert Q) = - \int_{-\infty}^{\infty} p(x) \ln{\frac{q(x)}{p(x)}} \mathrm{d}x = \mathbb{E}_{p} \left[ - \ln{\frac{q}{p}} \right]

其中，p 和 q 分别表示 P 和 Q 的概率密度。

1.3 性质

相对熵非负：D_{\mathrm{KL}}(P \Vert Q) \geq 0
相对熵非对称（故其不是一个真正的距离度量）：

D_{\mathrm{KL}}(P \Vert Q) \neq D_{\mathrm{KL}}(Q \Vert P)

2. 交叉熵

2.1 简介

交叉熵是指基于 Q 的分布来编码服从 P 的分布的样本所需要的平均比特数。

2.2 定义

对于离散随机变量，其概率分布 P 和 Q 的交叉熵定义为：

H(P, Q) = -\sum_{i} P(i) \ln{Q(i)} = \mathbb{E}_{P} \left[ -\ln{Q} \right]

其中，P(i) 和 Q(i) 分别表示 P 和 Q 的离散概率。

对于连续随机变量，其概率分布 P 和 Q 的交叉熵定义为：

H(P, Q) = - \int_{-\infty}^{\infty} p(x) \ln{q(x)} \mathrm{d}x = \mathbb{E}_{p} \left[ - \ln{q} \right]

其中，p 和 q 分别表示 P 和 Q 的概率密度。

2.3 性质

H(P, Q) = H(P) + D_{\mathrm{KL}}(P \Vert Q)

附录

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022-04-13，如有侵权请联系 cloudcommunity@tencent.com 删除

tcp/ip

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

tcp/ip

登录后参与评论

0 条评论

热度