概率论-条件概率,全概率,概率乘法公式,贝叶斯公式
1. 条件概率
在事件A已经发生的前提下事件B发生的概率,我们记为P(B∣A)P(B|A)P(B∣A)
定义设A,BA,BA,B为随机试验EEE的两个事件,且P(A)>0P(A)>0P(A)>0,则称
P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(B∣A)=P(A)P(AB)
为事件A发生的条件下事件B发生的条件概率,或称为BBB关于AAA的条件概率
2. 概率乘法公式
概率乘法公式就是由条件概率公式得来的
定理(概率乘法定理):对于任意的事件A,BA,BA,B,
(1)若P(A)>0P(A)>0P(A)>0,则有
P(AB)=P(B∣A)P(A)P(AB)=P(B|A)P(A)P(AB)=P(B∣A)P(A)
(2)若P(B)>0P(B)>0P(B)>0,则有
P(AB)=P(A∣B)P(B)P(AB)=P(A|B)P(B)P(AB)=P(A∣B)P(B)
注意这里如果事件A和BA 和BA和B独立那么
P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(AB)=P(A)P(B)
3.全概率公式
定理(全概率公式):设试验EEE的样本空间为Ω;B1,b2...,Bn\Omega;B_1,b_2...,B_nΩ;B1,b2...,Bn,为Ω\OmegaΩ的一个划分,且P(Bi)>0(i=1,2,3...n)P(B_i)>0(i=1,2,3...n)P(Bi)>0(i=1,2,3...n),则对E的任一事件A有
P(A)=∑i=1nP(A∣Bi)P(Bi)P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)P(A)=i=1∑nP(A∣Bi)P(Bi)
4.贝叶斯公式
定理(贝叶斯公式):设试验EEE的样本空间为Ω\OmegaΩ,AAA为EEE的事件,B1,B2,B3,...BnB_1,B_2,B_3,...B_nB1,B2,B3,...Bn为样本空间Ω\OmegaΩ的一个划分,且P(A)>0,P(Bi)>0,i=1,2,3...nP(A)>0,P(B_i)>0,i=1,2,3...nP(A)>0,P(Bi)>0,i=1,2,3...n,则
P(Bj∣A)=P(BjA)P(A)=P(A∣Bj)P(Bj)∑i=1nP(A∣Bi)P(Bi),j=1,2,3...nP(B_j|A)=\frac{P(B_jA)}{P(A)}=\frac{P(A|B_j)P(B_j)}{\sum_{i=1}^{n}P(A|B_i)P(B_i)},j=1,2,3...nP(Bj∣A)=P(A)P(BjA)=∑i=1nP(A∣Bi)P(Bi)P(A∣Bj)P(Bj),j=1,2,3...n
5. 关于模式识别的贝叶斯决策
对于模式识别贝叶斯决策,是引入随机变量以后,将上面的条件概率变成类条件概率密度函数,先验概率变成类别的先验概率(实际上这两个合在一起就是联合概率密度函数,某类ωi\omega_iωi和随机变量的取值xix_ixi的函数,但是在模式识别分类中,这个类别wiw_iwi的概率P(ωi)P(\omega_i)P(ωi)是离散的,P(x∣ωi)P(x|\omega_i)P(x∣ωi)是连续的),联合概率(有没有都可以判别,因为各个类别的分母都一样,变成系数)就变成了边缘概率积分。这里注意,贝叶斯决策重要的是要估计类条件概率密度,估计出来的是连续的概率密度函数,将样本值代入概率密度函数中进行判别类别。
引入随机变量以后,贝叶斯公式就变成了分子是联合概率分布,分母是边缘分布。