概率论-条件概率，全概率，概率乘法公式，贝叶斯公式

1. 条件概率

在事件A已经发生的前提下事件B发生的概率，我们记为P(B∣A)P(B|A)P(B∣A)

定义设A，BA，BA，B为随机试验EEE的两个事件，且P(A)>0P(A)>0P(A)>0,则称

P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(B∣A)=P(A)P(AB)​

为事件A发生的条件下事件B发生的条件概率，或称为BBB关于AAA的条件概率

2. 概率乘法公式

概率乘法公式就是由条件概率公式得来的

定理（概率乘法定理）：对于任意的事件A,BA,BA,B,

(1)若P(A)>0P(A)>0P(A)>0，则有

P（AB）=P(B∣A)P(A)P（AB）=P(B|A)P(A)P（AB）=P(B∣A)P(A)

(2)若P(B)>0P(B)>0P(B)>0，则有

P（AB）=P(A∣B)P(B)P（AB）=P(A|B)P(B)P（AB）=P(A∣B)P(B)

注意这里如果事件A和BA 和BA和B独立那么

P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(AB)=P(A)P(B)

3.全概率公式

定理（全概率公式）：设试验EEE的样本空间为Ω；B1,b2...,Bn\Omega；B_1,b_2...,B_nΩ；B1​,b2​...,Bn​,为Ω\OmegaΩ的一个划分，且P(Bi)>0(i=1,2,3...n)P(B_i)>0(i=1,2,3...n)P(Bi​)>0(i=1,2,3...n),则对E的任一事件A有

P(A)=∑i=1nP(A∣Bi)P(Bi)P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)P(A)=i=1∑n​P(A∣Bi​)P(Bi​)

4.贝叶斯公式

定理（贝叶斯公式）：设试验EEE的样本空间为Ω\OmegaΩ，AAA为EEE的事件，B1,B2,B3,...BnB_1,B_2,B_3,...B_nB1​,B2​,B3​,...Bn​为样本空间Ω\OmegaΩ的一个划分，且P(A)>0,P(Bi)>0,i=1,2,3...nP(A)>0,P(B_i)>0,i=1,2,3...nP(A)>0,P(Bi​)>0,i=1,2,3...n，则

P(Bj∣A)=P(BjA)P(A)=P(A∣Bj)P(Bj)∑i=1nP(A∣Bi)P(Bi),j=1,2,3...nP(B_j|A)=\frac{P(B_jA)}{P(A)}=\frac{P(A|B_j)P(B_j)}{\sum_{i=1}^{n}P(A|B_i)P(B_i)},j=1,2,3...nP(Bj​∣A)=P(A)P(Bj​A)​=∑i=1n​P(A∣Bi​)P(Bi​)P(A∣Bj​)P(Bj​)​,j=1,2,3...n

5. 关于模式识别的贝叶斯决策

对于模式识别贝叶斯决策，是引入随机变量以后，将上面的条件概率变成类条件概率密度函数，先验概率变成类别的先验概率（实际上这两个合在一起就是联合概率密度函数，某类ωi\omega_iωi​和随机变量的取值xix_ixi​的函数，但是在模式识别分类中，这个类别wiw_iwi​的概率P(ωi)P(\omega_i)P(ωi​)是离散的，P(x∣ωi)P(x|\omega_i)P(x∣ωi​)是连续的），联合概率（有没有都可以判别，因为各个类别的分母都一样，变成系数）就变成了边缘概率积分。这里注意，贝叶斯决策重要的是要估计类条件概率密度，估计出来的是连续的概率密度函数，将样本值代入概率密度函数中进行判别类别。

引入随机变量以后，贝叶斯公式就变成了分子是联合概率分布，分母是边缘分布。