机器学习_概率论_数学基础

机器学习_概率论

概念

先验概率： A的边缘概率表示为P(A)，B的边缘概率表示为P(B)

联合概率: 表示两个事件共同发生的概率。A与B的联合概率表示为P(A∩B)或者P(A,B)。

条件概率（又称后验概率）： 事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”,。

考虑一个问题：P(A|B)是在B发生的情况下A发生的可能性。

首先，事件B发生之前，我们对事件A的发生有一个基本的概率判断，称为A的先验概率，用P(A)表示；

其次，事件B发生之后，我们对事件A的发生概率重新评估，称为A的后验概率，用P(A|B)表示；

类似的，事件A发生之前，我们对事件B的发生有一个基本的概率判断，称为B的先验概率，用P(B)表示；

同样，事件A发生之后，我们对事件B的发生概率重新评估，称为B的后验概率，用P(B|A)表示。

贝叶斯公式

贝叶斯定理

贝叶斯公式

P(A,B)

假设B事件是由A1、A2事件导致的

理解： P(规律|现象)=P(现象|规律)P(规律)/P(现象)

案例1

假设有两个班级其中1班有男生30人，女生20人；2班有男生25人、女生25人。体育老师抓到一个抽烟的男生，该男生打死也不告诉体育老师是那个班的。问题来了体育老师怎么判断该男生来自那个班？

先将1班和2班标记为事件A1和事件A2，男生标记为事件B

那么我们所求的就是P(A1丨B)和P(A2丨B)

因为只有2个班那么我们先验概率P(A1)=P(A2)=50%；来自1班男生的概率P(B丨A1)=3/5：来自2班男生的概率P(B丨A2)=1/2

那么我们求出P(B)就可以代入公式得到结果:

P(B)=P(B丨A1)P(A1) P(B丨A2)P(A2)=0.55

P(A1丨B)=P(B丨A1)P(A1)/P(B)=0.6*0.5/0.55=55%

P(A2丨B)=P(B丨A2)P(A2)/P(B)=0.5*0.5/0.55=45%

由结果我们可以得出：该男生来自1班的概率从50%（先验概率）上升到55%（后验概率）

案例2

一种癌症，得了这个癌症的人被检测出为阳性的几率为90%，未得这种癌症的人被检测出阴性的几率为90%，而人群中得这种癌症的几率为1%，一个人被检测出阳性，问这个人得癌症的几率为多少？

我们用 A 表示事件 “测出为阳性”, 用 B_1 表示“得癌症”, B_2 表示“未得癌症”。

得到以下信息:P(A|B_1)=0.9得癌症的人检测阳性 0.9P(A|B_2)=0.1得癌症的人检测阴性 0.1P(B_1)=0.01得癌症的概率 0.01P(B_2)=0.99未得癌症的概率 0.99，联合概率P(B_1,A)=P(B_1)*P(A|B_1)=0.01*0.9=0.009 ，联合概率P(B_2,A)=P(B_2)*P(A|B_2)=0.99*0.1=0.099

P(B_1|A)P(B_1|A)=\frac{0.009}{0.099+0.009}=0.083未患癌症概率P(B_2|A)P(B_2|A)=\frac{0.099}{0.099+0.009}=0.917