PT_基本概率公式(减法/加法/乘法/除法(条件概率)/全概率/贝叶斯)@条件概率链式法则@乘

文章目录

ref概率公理条件概率和样本空间五大公式🎈减法公式🎈加法公式推广加法公式 🎈减法公式案例🎈除法公式(条件概率)条件概率的性质小结:例1例2 🎈乘法公式条件概率的链式法则More than two eventsExample例 More than two random variables(多维随机变量下的链式乘法法则)Example 🎈全概率公式TP完备事件组全概率公式例 🎈贝叶斯公式BPBayes公式和条件概率公式的联系和比较例1例2

ref

PT_概率论基本概念和事件运算性质_xuchaoxin1375的博客-CSDN博客

概率公理

概率函数p(检查概率p) 概率函数满足三个条件: 任意事件 A : P ( A ) ⩾ 0 任意事件A:P(A)\geqslant 0 任意事件A:P(A)⩾0 必然事件 Ω : P ( Ω ) = 1 必然事件\Omega:P(\Omega)=1 必然事件Ω:P(Ω)=1 互斥事件 A i 之间 : P ( ⋃ i = 1 n A i ) = ∑ i = 1 n P ( A i ) 互斥事件A_i之间:P(\bigcup\limits_{i=1}^{n}A_i)=\sum\limits_{i=1}^{n}P(A_i) 互斥事件Ai​之间:P(i=1⋃n​Ai​)=i=1∑n​P(Ai​) 互斥事件概率(值)之和等于和事件( A = ⋃ i = 1 n A i A=\bigcup\limits_{i=1}^{n}A_i A=i=1⋃n​Ai​)的概率(值)例如:投色子: 记 A 1 为 1 点数 A_1为1点数 A1​为1点数 记 A 2 为 2 点数 记A_2为2点数 记A2​为2点数 A = A 1 ∪ A 2 表示投出 1 点或者 2 点 ; A=A_1\cup A_2表示投出1点或者2点; A=A1​∪A2​表示投出1点或者2点; 并且 , A 1 ∩ A 2 = ∅ 并且,A_1\cap A_2=\varnothing 并且,A1​∩A2​=∅ P ( A ) = P ( A 1 ) + P ( A 2 ) P(A)=P(A_1)+P(A_2) P(A)=P(A1​)+P(A2​) 上述三条分别称为概率(函数的): 非负性规范性可列可加性 可以借助频率估计概率来证明

条件概率和样本空间

条件概率可以理解为,某个条件事件A发生的基础之上,再发生事件B的概率

五大公式

首先有减法公式和加法公式

🎈减法公式

P ( B − A ) = P ( B ) − P ( A ) ; ( 使用要求 ( 前提 ) : A ⊂ B 或者 A B = A , 两个条件等价 ) P(B-A)=P(B)-P(A);(使用要求(前提):A\sub B或者AB=A,两个条件等价) P(B−A)=P(B)−P(A);(使用要求(前提):A⊂B或者AB=A,两个条件等价)

更一般的:(下这个形式会更加通用)

P ( B − A ) = P ( B − A B ) = P ( B ) − P ( B A ) ; ( ∀ A , B ) P(B-A)=P(B-AB)=P(B)-P(BA);(\forall A,B) P(B−A)=P(B−AB)=P(B)−P(BA);(∀A,B) B − A = B − B A ; P ( B − A ) = P ( B − B A ) B-A=B-BA;P(B-A)=P(B-BA) B−A=B−BA;P(B−A)=P(B−BA)而 B A ⊂ B BA\sub B BA⊂B对于任意的A,B总是成立的 如果还有 A ⊂ B , 那么 P ( B A ) = P ( A ) ⇒ P ( B − A ) = P ( B ) − P ( B A ) = P ( B ) − P ( A ) 如果还有A\sub B,那么P(BA)=P(A)\Rightarrow P(B-A)=P(B)-P(BA)=P(B)-P(A) 如果还有A⊂B,那么P(BA)=P(A)⇒P(B−A)=P(B)−P(BA)=P(B)−P(A)

设 A ⊂ B 设A\sub B 设A⊂B

B = A ∪ B ; A B = A B=A\cup B;AB=A B=A∪B;AB=A B = A ∪ ( B − A ) B=A\cup (B-A) B=A∪(B−A) B − A = B − A B B-A=B-AB B−A=B−AB A ( B − A ) = ∅ ; A ( B − A B ) = ∅ A(B-A)=\varnothing;A(B-AB)=\varnothing A(B−A)=∅;A(B−AB)=∅ P ( B ) = P ( A ∪ ( B − A ) ) = P ( A ) + P ( B − A ) P(B)=P(A\cup (B-A))=P(A)+P(B-A) P(B)=P(A∪(B−A))=P(A)+P(B−A) 或者: P ( B ) = P ( A ∪ ( B − A B ) ) = P ( A ) + P ( B − A B ) P(B)=P(A\cup (B-AB))=P(A)+P(B-AB) P(B)=P(A∪(B−AB))=P(A)+P(B−AB) 从而(移项): P ( B − A ) = P ( B ) − P ( A ) , 该公式对于 A ⊂ B 的条件下成立 P(B-A)=P(B)-P(A),该公式对于A\sub B的条件下成立 P(B−A)=P(B)−P(A),该公式对于A⊂B的条件下成立 由于 B A ⊂ B 由于BA\sub B 由于BA⊂B,可以记C=BA,那么 C ⊂ B C\sub B C⊂B; 所以可以令A取C,得到: P ( B − C ) = P ( B ) − P ( C ) ; ⇒ P ( B − B A ) = P ( B ) − P ( B A ) P(B-C)=P(B)-P(C);\Rightarrow P(B-BA)=P(B)-P(BA) P(B−C)=P(B)−P(C);⇒P(B−BA)=P(B)−P(BA) 又因为 B − B A = B − A 又因为B-BA=B-A 又因为B−BA=B−A 从而 P ( B − A ) = P ( B ) − P ( B A ) 从而P(B-A)=P(B)-P(BA) 从而P(B−A)=P(B)−P(BA) 实时上 , 可以直接由公式 : A B = A ( 前提 ) , 得到 P ( A B ) = P ( A ) 实时上,可以直接由公式:AB=A(前提),得到P(AB)=P(A) 实时上,可以直接由公式:AB=A(前提),得到P(AB)=P(A)

小结:

P ( B − A ) = P ( B ) − P ( A ) ; ( c o n d i t i o n : A ⊂ B 或 A B = A ; 否则不满足规范性 ) P(B-A)=P(B)-P(A);\\(condition:A\sub B或AB=A;否则不满足规范性) P(B−A)=P(B)−P(A);(condition:A⊂B或AB=A;否则不满足规范性)

P ( B − A ) = P ( B ) − P ( B A ) P(B-A)=P(B)-P(BA) P(B−A)=P(B)−P(BA)

而 : P ( B − A B ) = P ( B ) − P ( B A ) ; ( ∀ A , B ) 而:P(B-AB)=P(B)-P(BA);(\forall A,B) 而:P(B−AB)=P(B)−P(BA);(∀A,B)

这两组公式有微妙的区别 B − A B = B − A ; ( ∀ A , B ) B-AB=B-A;(\forall A,B) B−AB=B−A;(∀A,B) 这是从试验的样本空间 ( 样本点集合的层面上的规律描述的 ) 这是从试验的样本空间(样本点集合的层面上的规律描述的) 这是从试验的样本空间(样本点集合的层面上的规律描述的) P ( B − A ) = P ( B ) − P ( A ) 就必须满足 A ⊂ B P(B-A)=P(B)-P(A)就必须满足A\sub B P(B−A)=P(B)−P(A)就必须满足A⊂B 但是我们知道设 C = B A , 则 C ⊂ B 但是我们知道设C=BA,则C\sub B 但是我们知道设C=BA,则C⊂B P ( B − B A ) = P ( B ) − P ( B A ) ; ( ∀ A , B ) P(B-BA)=P(B)-P(BA);(\forall A,B) P(B−BA)=P(B)−P(BA);(∀A,B)因为,概率函数P的参数是集合,相等价的集合X=Y总是得到相同的概率函数值 P ( X ) = P ( Y ) , 恰好 , B − B A = B − A 总是成立的 ( ∀ A , B ) P(X)=P(Y),恰好,B-BA=B-A总是成立的(\forall A,B) P(X)=P(Y),恰好,B−BA=B−A总是成立的(∀A,B)所以 P ( B − A ) = P ( B − B A ) P(B-A)=P(B-BA) P(B−A)=P(B−BA)

🎈加法公式

P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A B ) ; ( ∀ A , B ) P(A\cup B)=P(A)+P(B)-P(AB);(\forall A,B) P(A∪B)=P(A)+P(B)−P(AB);(∀A,B)

推导:

由前面概率函数的第三条我们知道 , 如果 A i A j = ∅ , 那么 P ( A i ∪ A j ) = P ( A i ) + P ( A j ) 由前面概率函数的第三条我们知道,如果A_iA_j=\varnothing,那么P(A_i\cup A_j)=P(A_i)+P(A_j) 由前面概率函数的第三条我们知道,如果Ai​Aj​=∅,那么P(Ai​∪Aj​)=P(Ai​)+P(Aj​)

但是如果 A i A j ≠ ∅ 时 , P ( A i ∪ A j ) = ? 但是如果A_iA_j\neq\varnothing时,P(A_i\cup A_j)=? 但是如果Ai​Aj​=∅时,P(Ai​∪Aj​)=?

由于 B − A = B − A B ; 由于B-A=B-AB; 由于B−A=B−AB;

A ∪ ( B A ‾ ) = ( A ∪ B ) ( A ∪ A ‾ ) = A ∪ B A\cup (B\overline{A})=(A\cup B)(A\cup \overline{A})=A\cup B A∪(BA)=(A∪B)(A∪A)=A∪B 同时 , A ( B − B A ) = A ( B − A ) = ∅ ( 这对于任意 A , B 都成立 ) 同时,A(B-BA)=A(B-A)=\varnothing(这对于任意A,B都成立) 同时,A(B−BA)=A(B−A)=∅(这对于任意A,B都成立) 因此 P ( A ∪ B ) = P ( A ∪ ( B − A B ) ) = P ( A ) + P ( B − A B ) = P ( A ) + ( P ( B ) − P ( A B ) ) 因此P(A\cup B)=P(A\cup (B-AB))=P(A)+P(B-AB)=P(A)+(P(B)-P(AB)) 因此P(A∪B)=P(A∪(B−AB))=P(A)+P(B−AB)=P(A)+(P(B)−P(AB)) P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A B ) P(A\cup B)=P(A)+P(B)-P(AB) P(A∪B)=P(A)+P(B)−P(AB)

推广加法公式

概率论_加法公式(基本+推广)(Addition Rule Of Probability)_xuchaoxin1375的博客-CSDN博客

🎈减法公式案例

P ( A ) = 1 3 , P ( B ) = 1 2 P(A)=\frac{1}{3},P(B)=\frac{1}{2} P(A)=31​,P(B)=21​ 求不同条件下的 P ( B − A ) 求不同条件下的P(B-A) 求不同条件下的P(B−A) A B = ∅ AB=\varnothing AB=∅ P ( B − A ) = P ( B − A B ) = P ( B ) = 1 2 P(B-A)=P(B-AB)=P(B)=\frac{1}{2} P(B−A)=P(B−AB)=P(B)=21​ A ⊂ B A\sub B A⊂B P ( B − A ) = P ( B − A ) = P ( B ) − P ( A ) = 1 2 − 1 3 = 1 6 P(B-A)=P(B-A)=P(B)-P(A)=\frac{1}{2}-\frac{1}{3}=\frac{1}{6} P(B−A)=P(B−A)=P(B)−P(A)=21​−31​=61​ P ( A B ) = 1 8 P(AB)=\frac{1}{8} P(AB)=81​ P ( B − A ) = P ( B − B A ) = P ( B ) − P ( B A ) = 1 2 − 1 8 = 3 8 P(B-A)=P(B-BA)=P(B)-P(BA)=\frac{1}{2}-\frac{1}{8}=\frac{3}{8} P(B−A)=P(B−BA)=P(B)−P(BA)=21​−81​=83​

🎈除法公式(条件概率)

CP:conditional probability

条件概率的基本观点是某些已获得的信息(某些事情的发生)改变了原本的样本空间条件概率也是概率(概率函数),不违背三条概率公理

在事件A发生的条件下,事件B发生的概率称为B对A的条件概率

C P ( B , A ) = P ( B ∣ A ) = P ( A B ) P ( A ) CP(B,A)=P(B|A)=\frac{P(AB)}{P(A)} CP(B,A)=P(B∣A)=P(A)P(AB)​

从直观上解释,就是样本空间 Ω \Omega Ω对应到事件A发生时,已经被收缩到 Ω A \Omega_A ΩA​

然而,根据具体的情况,某些已知发生事件A并不会导致 Ω \Omega Ω在收缩过程中变小(收缩量为0) 例如,含有20个球的箱子 记 A i = { 含有残次品数量为 i 个 } 记A_i=\set{含有残次品数量为i个} 记Ai​={含有残次品数量为i个} 记 B = 抽种的产品都是正品 记B={抽种的产品都是正品} 记B=抽种的产品都是正品假设已知箱子中有1个残次品,那么从中抽取出4件全是正品的可概率? P ( B ∣ A 1 ) = ( 19 4 ) ( 20 4 ) P(B|A_1)=\frac{\binom{19}{4}}{\binom{20}{4}} P(B∣A1​)=(420​)(419​)​ 其中 Ω A 1 = Ω \Omega_{A_1}=\Omega ΩA1​​=Ω

事件AB则一定是落在 Ω A \Omega_A ΩA​中

因此计算公式为 P ( B ∣ A ) = N ( Ω A B ) N ( Ω A ) 因此计算公式为P(B|A)=\frac{N(\Omega_{AB})}{N(\Omega_A)} 因此计算公式为P(B∣A)=N(ΩA​)N(ΩAB​)​

如果我们同时为RHS分子分母同乘以一个 N ( 1 Ω ) N(\frac{1}{\Omega}) N(Ω1​) N ( x ) 表示 x 中包含的样本电数量 N(x)表示x中包含的样本电数量 N(x)表示x中包含的样本电数量则: P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)​

条件概率的性质

记事件 C = B ∣ A , 事件 C 表示的是 : 记事件C=B|A,事件C表示的是: 记事件C=B∣A,事件C表示的是: 事件 B 在事件 A 已经发生的基础上发生 事件B在事件A已经发生的基础上发生 事件B在事件A已经发生的基础上发生或: 事件 A 已经发生的基础上又发生 B 事件A已经发生的基础上又发生B 事件A已经发生的基础上又发生B 记事件 C ‾ = B ‾ ∣ A 表示事件 A 发生的情况下 , 事件 B 不发生 \overline{C}=\overline{B}|{A}表示事件A发生的情况下,事件B不发生 C=B∣A表示事件A发生的情况下,事件B不发生 如果说样本点 c ∈ C , 那么 c 的发生必然导致 A 的发生 , B 不发生 ( 或者说导致 B 的对立事件 B ‾ 也一定发生 ) c\in C,那么c的发生必然导致A的发生,B不发生(或者说导致B的对立事件\overline{B}也一定发生) c∈C,那么c的发生必然导致A的发生,B不发生(或者说导致B的对立事件B也一定发生) P ( C ‾ ) = 1 − P ( C ) P(\overline{C})=1-P(C) P(C)=1−P(C) P ( B ‾ ∣ A ) = 1 − P ( B ∣ A ) P(\overline{B}|A)=1-P(B|A) P(B∣A)=1−P(B∣A) 类似的,从样本空间收缩的角度理解,有: P ( B 1 ∪ B 2 ∣ A ) = P ( B 1 ∣ A ) + P ( B 2 ∣ A ) − P ( B 1 B 2 ∣ A ) P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1B_2|A) P(B1​∪B2​∣A)=P(B1​∣A)+P(B2​∣A)−P(B1​B2​∣A)

小结:

P ( B ∣ A ) = N ( Ω A B ) N ( Ω A ) P(B|A)=\frac{N(\Omega_{AB})}{N(\Omega_A)} P(B∣A)=N(ΩA​)N(ΩAB​)​ P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)​ 可以用未缩小样本空间(原样本空间的概率直接计算)特别的,当 B ⊂ A , P ( A B ) = P ( B ) P ( A ) B\sub A,P(AB)=\frac{P(B)}{P(A)} B⊂A,P(AB)=P(A)P(B)​ 在实际问题中,条件概率公式的两种形式都有应用 有时,问题中的条件概率是直接给出的

例1

取产品(球)问题: 现有3个一等品,2个二等品现在做不放回抽样,每次抽一件记A={第一次取得一等品} B={第二次取得二等品} 计算P(B|A)=?方式1: 从样本空间的缩减角度(利用第一种形式来计算) A发生后,在从剩余的球中抽取一件的样本空间: Ω → Ω A \Omega\to \Omega_A Ω→ΩA​, N ( Ω A ) = 4 N(\Omega_A)=4 N(ΩA​)=4 此时事件B的样本点集合元素数: N ( Ω A B ) = 2 N(\Omega_{AB})=2 N(ΩAB​)=2 P ( B ∣ A ) = Ω A B Ω A = 1 2 P(B|A)=\frac{\Omega_{AB}}{\Omega_A}=\frac{1}{2} P(B∣A)=ΩA​ΩAB​​=21​ 方式2: P ( A ) = 3 5 P(A)=\frac{3}{5} P(A)=53​ P ( A B ) = 3 × 2 5 × 4 = 3 10 P(AB)=\frac{3\times 2}{5\times4}=\frac{3}{10} P(AB)=5×43×2​=103​ P ( B ∣ A ) = P ( A B ) P ( A ) = 1 2 P(B|A)=\frac{P(AB)}{P(A)}=\frac{1}{2} P(B∣A)=P(A)P(AB)​=21​

例2

某商品每天销售达到10件的概率为0.8;12件的概率为0.56 如果当天已经销售了10件,那么能销售到12件的概率?记A={销售10件}B={销售12件}则: P ( A ) = 0.8 ; P ( B ) = 0.56 P(A)=0.8;P(B)=0.56 P(A)=0.8;P(B)=0.56 且: B ⊂ A , A B = B B\sub A,AB=B B⊂A,AB=B P ( B ∣ A ) = P ( B A ) P ( A ) = P ( B ) P ( A ) = P(B|A)=\frac{P(BA)}{P(A)}=\frac{P(B)}{P(A)}= P(B∣A)=P(A)P(BA)​=P(A)P(B)​=

🎈乘法公式

从条件概率公式变形即可得到:

P ( E v e ⋅ c o n d E v e ) = P ( E v e ∣ c o n d E v e ) P ( c o n d E v e ) P(Eve\cdot condEve)=P(Eve|condEve)P(condEve) P(Eve⋅condEve)=P(Eve∣condEve)P(condEve)

乘法:积事件的条件概率乘法展开计算公式

P ( A B ) = P ( A ) P ( B ∣ A ) = P ( B ∣ A ) P ( A ) P(AB)=P(A)P(B|A)=P(B|A)P(A) P(AB)=P(A)P(B∣A)=P(B∣A)P(A)

通常习惯将条件概率写在前面 P ( A B ) = P ( B ∣ A ) P ( A ) = P ( A ∣ B ) P ( B ) P(AB)=P(B|A)P(A)=P(A|B)P(B) P(AB)=P(B∣A)P(A)=P(A∣B)P(B)

条件概率的链式法则

Chain rule (probability) - Wikipedia

In probability theory, the chain rule (also called the general product rule[1][2]) permits the calculation of any member of the joint distribution of a set of random variablesusing only conditional probabilities.

The rule is useful in the study of Bayesian networks, which describe a probability distribution in terms of conditional probabilities.

更一般的,如果反复套用上述公式,我们可以得到:

下面得到公式看起来复杂,其实用起来是很自然

P ( ∏ i = 1 n A i ) = P ( ( ∏ i = 1 n − 1 A i ) A n ) = P ( A n ∣ ∏ i = 1 n − 1 A i ) P ( ∏ i = 1 n − 1 A i ) 设通项 P k = P ( ∏ i = 1 k A i ) = P ( ( ∏ i = 1 k − 1 A i ) A k ) = P ( A k ∣ ∏ i = 1 k − 1 A i ) P ( ∏ i = 1 k − 1 A i ) T ( k ) = ∏ i = 1 k A i k = n , n − 1 , n − 2 , ⋯ , 1 P k = P ( T ( k ) ) = P ( A k ∣ T ( k − 1 ) ) P ( T ( k − 1 ) ) ⋮ P(\prod_{i=1}^{n}A_i)=P((\prod_{i=1}^{n-1}A_i)A_n) =P(A_n|\prod_{i=1}^{n-1}A_i)P(\prod_{i=1}^{n-1}A_i) \\ 设通项P_k= P(\prod_{i=1}^{k}A_i)=P((\prod_{i=1}^{k-1}A_i)A_k) =P(A_k|\prod_{i=1}^{k-1}A_i)P(\prod_{i=1}^{k-1}A_i) \\T(k)=\prod_{i=1}^{k}A_i \\k=n,n-1,n-2,\cdots,1 \\P_k=P(T(k))=P(A_k|T(k-1))P(T(k-1)) \\\vdots P(i=1∏n​Ai​)=P((i=1∏n−1​Ai​)An​)=P(An​∣i=1∏n−1​Ai​)P(i=1∏n−1​Ai​)设通项Pk​=P(i=1∏k​Ai​)=P((i=1∏k−1​Ai​)Ak​)=P(Ak​∣i=1∏k−1​Ai​)P(i=1∏k−1​Ai​)T(k)=i=1∏k​Ai​k=n,n−1,n−2,⋯,1Pk​=P(T(k))=P(Ak​∣T(k−1))P(T(k−1))⋮

特别的 : P 2 = P ( A 1 A 2 ) = P ( A 2 ∣ A 1 ) P ( A 1 ) P 3 = P ( A 1 A 2 A 3 ) = P ( A 3 ∣ A 1 A 2 ) P ( A 1 A 2 ) = P ( A 3 ∣ A 1 A 2 ) P ( A 2 ∣ A 1 ) P ( A 1 ) 类似的 : P 4 = P ( A 1 A 2 A 3 A 4 ) = P ( A 4 ∣ A 1 A 2 A 3 ) P ( A 1 A 2 A 3 ) = P ( A 4 ∣ A 1 A 2 A 3 ) P ( A 3 ∣ A 1 A 2 ) P ( A 2 ∣ A 1 ) P ( A 1 ) P n = ∏ i = 1 n P ( A n − i + 1 ∣ ∏ j = 0 n − i A j ) 严格的说 , ∏ j = 1 n A j 应该作 ⋂ j = 1 n A j , 表示积事件 定义 P ( A 0 ) = 1 特别的:P_2=P(A_1A_2)=P(A_2|A_1)P(A_1) \\P_3=P(A_1A_2A_3)=P(A_3|A_1A_2)P(A_1A_2) \\=P(A_3|A_1A_2)P(A_2|A_1)P(A_1) \\类似的: \\P_4=P(A_1A_2A_3A_4)=P(A_4|A_1A_2A_3)P(A_1A_2A_3) \\=P(A_4|A_1A_2A_3)P(A_3|A_1A_2)P(A_2|A_1)P(A_1) \\ P_n=\prod_{i=1}^{n}P(A_{n-i+1}|\prod_{j=0}^{n-i}A_j) \\严格的说,\prod_{j=1}^{n}A_j应该作\bigcap\limits_{j=1}^{n}A_j,表示积事件 \\定义P(A_0)=1 特别的:P2​=P(A1​A2​)=P(A2​∣A1​)P(A1​)P3​=P(A1​A2​A3​)=P(A3​∣A1​A2​)P(A1​A2​)=P(A3​∣A1​A2​)P(A2​∣A1​)P(A1​)类似的:P4​=P(A1​A2​A3​A4​)=P(A4​∣A1​A2​A3​)P(A1​A2​A3​)=P(A4​∣A1​A2​A3​)P(A3​∣A1​A2​)P(A2​∣A1​)P(A1​)Pn​=i=1∏n​P(An−i+1​∣j=0∏n−i​Aj​)严格的说,j=1∏n​Aj​应该作j=1⋂n​Aj​,表示积事件定义P(A0​)=1

其他写法

P n = ∏ i = 1 n P ( A n − i + 1 ∣ ⋂ j = 0 n − i A j ) 根据乘法交换律 ( 积事件调整书写顺序含义不变 ) P n = ∏ i = 1 n P ( A n − i + 1 ∣ ⋂ j = 0 n − i A j ) = ∏ i = 1 n P ( A i ∣ ⋂ j = 1 i − 1 A j ) 约定 ⋂ j = 1 0 A j 时省略该项 ( 作为必然事件 ) P_n=\prod_{i=1}^{n}P(A_{n-i+1}|\bigcap\limits_{j=0}^{n-i}A_j) \\根据乘法交换律(积事件调整书写顺序含义不变)\\ P_n=\prod_{i=1}^{n}P(A_{n-i+1}|\bigcap\limits_{j=0}^{n-i}A_j) =\prod_{i=1}^{n}P(A_{i}|\bigcap\limits_{j=1}^{i-1}A_j) \\约定\bigcap\limits_{j=1}^{0}A_j时省略该项(作为必然事件) Pn​=i=1∏n​P(An−i+1​∣j=0⋂n−i​Aj​)根据乘法交换律(积事件调整书写顺序含义不变)Pn​=i=1∏n​P(An−i+1​∣j=0⋂n−i​Aj​)=i=1∏n​P(Ai​∣j=1⋂i−1​Aj​)约定j=1⋂0​Aj​时省略该项(作为必然事件)

通常,公式右边的条件概率都是比较容易计算的

通常利用条件概率的样本收缩来得出各个条件概率因子否则可能要考虑其他的计算积事件的方法

More than two events

For more than two events A 1 , … , A n A_{1},\ldots ,A_{n} A1​,…,An​ the chain rule extends to the formula P ( A n ∩ … ∩ A 1 ) = P ( A n ∣ A n − 1 ∩ … ∩ A 1 ) ⋅ P ( A n − 1 ∩ … ∩ A 1 ) {\displaystyle \mathrm {P} \left(A_{n}\cap \ldots \cap A_{1}\right)=\mathrm {P} \left(A_{n}|A_{n-1}\cap \ldots \cap A_{1}\right)\cdot \mathrm {P} \left(A_{n-1}\cap \ldots \cap A_{1}\right)} P(An​∩…∩A1​)=P(An​∣An−1​∩…∩A1​)⋅P(An−1​∩…∩A1​) which by induction may be turned into P ( A n ∩ … ∩ A 1 ) = ∏ k = 1 n P ( A k ∣ ⋂ j = 1 k − 1 A j ) . {\displaystyle \mathrm {P} \left(A_{n}\cap \ldots \cap A_{1}\right)=\prod _{k=1}^{n}\mathrm {P} \left(A_{k}\,{\Bigg |}\,\bigcap _{j=1}^{k-1}A_{j}\right).} P(An​∩…∩A1​)=k=1∏n​P(Ak​ ​j=1⋂k−1​Aj​).

Example

With four events ( n = 4 n=4 n=4), the chain rule is P ( A 1 ∩ A 2 ∩ A 3 ∩ A 4 ) = P ( A 4 ∣ A 3 ∩ A 2 ∩ A 1 ) ⋅ P ( A 3 ∩ A 2 ∩ A 1 ) = P ( A 4 ∣ A 3 ∩ A 2 ∩ A 1 ) ⋅ P ( A 3 ∣ A 2 ∩ A 1 ) ⋅ P ( A 2 ∩ A 1 ) = P ( A 4 ∣ A 3 ∩ A 2 ∩ A 1 ) ⋅ P ( A 3 ∣ A 2 ∩ A 1 ) ⋅ P ( A 2 ∣ A 1 ) ⋅ P ( A 1 ) {\displaystyle {\begin{aligned}\mathrm {P} (A_{1}\cap A_{2}\cap A_{3}\cap A_{4})&=\mathrm {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\cdot \mathrm {P} (A_{3}\cap A_{2}\cap A_{1})\\&=\mathrm {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\cdot \mathrm {P} (A_{3}\mid A_{2}\cap A_{1})\cdot \mathrm {P} (A_{2}\cap A_{1})\\&=\mathrm {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\cdot \mathrm {P} (A_{3}\mid A_{2}\cap A_{1})\cdot \mathrm {P} (A_{2}\mid A_{1})\cdot \mathrm {P} (A_{1})\end{aligned}}} P(A1​∩A2​∩A3​∩A4​)​=P(A4​∣A3​∩A2​∩A1​)⋅P(A3​∩A2​∩A1​)=P(A4​∣A3​∩A2​∩A1​)⋅P(A3​∣A2​∩A1​)⋅P(A2​∩A1​)=P(A4​∣A3​∩A2​∩A1​)⋅P(A3​∣A2​∩A1​)⋅P(A2​∣A1​)⋅P(A1​)​

例

多次摸多颜色球问题

设有5红,3黑,2白

问,第三次才摸到白球的概率

即,前两次的摸球结果都不是白色的

为了方便讨论问题,记: A i = 第 i 次摸出白球 ; i = 1 , 2 , 3 A_i={第i次摸出白球};i=1,2,3 Ai​=第i次摸出白球;i=1,2,3

如果不是白球,则记为 A i ‾ \overline{A_i} Ai​​

P = P ( A 1 ‾ A 2 ‾ A 3 ) = P ( A 3 ∣ A 1 ‾ A 2 ‾ ) P ( A 2 ‾ ∣ A 1 ‾ ) P ( A 1 ‾ ) = 2 10 − 2 8 − 1 10 − 1 8 10 = 2 8 7 9 8 10 = 7 45 P=P(\overline{A_1}\ \overline{A_2}A_3) =P(A_3|\overline{A_1}\ \overline{A_2}) P(\overline{A_2}|\overline{A_1})P(\overline{A_1}) \\=\frac{2}{10-2}\frac{8-1}{10-1}\frac{8}{10} =\frac{2}{8}\frac{7}{9}\frac{8}{10} =\frac{7}{45} P=P(A1​​A2​​A3​)=P(A3​∣A1​​A2​​)P(A2​​∣A1​​)P(A1​​)=10−22​10−18−1​108​=82​97​108​=457​

其中 P ( B n ∣ B n − 1 ⋯ B 1 ) P(B_n|B_{n-1}\cdots{B_1}) P(Bn​∣Bn−1​⋯B1​)表示已经有 n − 1 n-1 n−1个求被摸出,现在再摸出一个球,发生事件 B n B_n Bn​的概率

例如 P ( A 2 ‾ ∣ A 1 ‾ ) P(\overline{A_2}|\overline{A_1}) P(A2​​∣A1​​)表示已经摸出一个球(而且不是白球)的情况下,再摸出一个求,而且仍然不是白球的概率

实时上,稍微熟练点的高中生,就可以直接写出 p = 2 8 7 9 8 10 p=\frac{2}{8}\frac{7}{9}\frac{8}{10} p=82​97​108​

More than two random variables(多维随机变量下的链式乘法法则)

Consider an indexed collection of random variables X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} X1​,…,Xn​ taking possible values x 1 , … , x n x_{1},\dots ,x_{n} x1​,…,xn​ respectively.

Then, to find the value of this member of the joint distribution, we can apply the definition of conditional probability to obtain:

P ( X n = x n , ⋯ , X 1 = x 1 ) = P ( X n = x n ∣ X n − 1 = x n − 1 , … , X 1 = x 1 ) ⋅ P ( X n − 1 = x n − 1 , … , X 1 = x 1 ) {\displaystyle \mathrm {P} \left(X_{n}=x_{n},\cdots ,X_{1}=x_{1}\right)=\mathrm {P} \left(X_{n}=x_{n}|X_{n-1}=x_{n-1},\ldots ,X_{1}=x_{1}\right)\cdot \mathrm {P} \left(X_{n-1}=x_{n-1},\ldots ,X_{1}=x_{1}\right)} P(Xn​=xn​,⋯,X1​=x1​)=P(Xn​=xn​∣Xn−1​=xn−1​,…,X1​=x1​)⋅P(Xn−1​=xn−1​,…,X1​=x1​)

Repeating this process with each final term and letting A k A_{k} Ak​ denote the event X k = x k {\displaystyle X_{k}=x_{k}} Xk​=xk​ creates the product:

P ( ⋂ k = 1 n A k ) = ∏ k = 1 n P ( A k ∣ ⋂ j = 1 k − 1 A j ) = ∏ k = 1 n P ( X k = x k ∣ X 1 = x 1 , … X k − 1 = x k − 1 ) . {\displaystyle \mathrm {P} \left(\bigcap _{k=1}^{n}A_{k}\right)=\prod _{k=1}^{n}\mathrm {P} \left(A_{k}\,{\Bigg |}\,\bigcap _{j=1}^{k-1}A_{j}\right)=\prod _{k=1}^{n}\mathrm {P} \left(X_{k}=x_{k}\,|\,X_{1}=x_{1},\dots X_{k-1}=x_{k-1}\right).} P(k=1⋂n​Ak​)=k=1∏n​P(Ak​ ​j=1⋂k−1​Aj​)=k=1∏n​P(Xk​=xk​∣X1​=x1​,…Xk−1​=xk−1​).

Example

With four variables ( n = 4 n=4 n=4), denote P ( x n ∣ x n − 1 … , x 1 ) : = P ( X n = x n ∣ X n − 1 = x n − 1 … , X 1 = x 1 ) {\displaystyle P(x_{n}\,|\,x_{n-1}\dots ,x_{1}):=P(X_{n}=x_{n}\,|\,X_{n-1}=x_{n-1}\dots ,X_{1}=x_{1})} P(xn​∣xn−1​…,x1​):=P(Xn​=xn​∣Xn−1​=xn−1​…,X1​=x1​) for brevity.Then, the chain rule produces this product of conditional probabilities: P ( x 4 , x 3 , x 2 , x 1 ) = P ( x 4 ∣ x 3 , x 2 , x 1 ) ⋅ P ( x 3 , x 2 , x 1 ) = P ( x 4 ∣ x 3 , x 2 , x 1 ) ⋅ P ( x 3 ∣ x 2 , x 1 ) ⋅ P ( x 2 , x 1 ) = P ( x 4 ∣ x 3 , x 2 , x 1 ) ⋅ P ( x 3 ∣ x 2 , x 1 ) ⋅ P ( x 2 ∣ x 1 ) ⋅ P ( x 1 ) {\displaystyle {\begin{aligned}\mathrm {P} (x_{4},x_{3},x_{2},x_{1})&=\mathrm {P} (x_{4}\mid x_{3},x_{2},x_{1})\cdot \mathrm {P} (x_{3},x_{2},x_{1})\\&=\mathrm {P} (x_{4}\mid x_{3},x_{2},x_{1})\cdot \mathrm {P} (x_{3}\mid x_{2},x_{1})\cdot \mathrm {P} (x_{2},x_{1})\\&=\mathrm {P} (x_{4}\mid x_{3},x_{2},x_{1})\cdot \mathrm {P} (x_{3}\mid x_{2},x_{1})\cdot \mathrm {P} (x_{2}\mid x_{1})\cdot \mathrm {P} (x_{1})\end{aligned}}} P(x4​,x3​,x2​,x1​)​=P(x4​∣x3​,x2​,x1​)⋅P(x3​,x2​,x1​)=P(x4​∣x3​,x2​,x1​)⋅P(x3​∣x2​,x1​)⋅P(x2​,x1​)=P(x4​∣x3​,x2​,x1​)⋅P(x3​∣x2​,x1​)⋅P(x2​∣x1​)⋅P(x1​)​

🎈全概率公式TP

原因推结果TP:total probability

完备事件组

称满足条件的 { B i } , i = 1 , ⋯ , n \set{B_i},i=1,\cdots,n {Bi​},i=1,⋯,n为一个**完备事件组**

⋃ i = 1 n B i = Ω \bigcup_{i=1}^{n}B_i=\Omega ⋃i=1n​Bi​=Ω B i B j = ∅ ; i ≠ j B_iB_j=\varnothing;i\neq j Bi​Bj​=∅;i=j

离散数学中,也称为**划分**

{ B i ∣ i ∈ I } 对样本空间 Ω 的一个划分 \set{B_i|i\in I}对样本空间\Omega的一个划分 {Bi​∣i∈I}对样本空间Ω的一个划分 其中, I = { 1 , 2 , ⋯ n } I=\set{1,2,\cdots n} I={1,2,⋯n} 任意一个样本点(任意一次试验结果)都属于且仅属于某一个 B i B_i Bi​

全概率公式

如果 { B i ∣ i ∈ I } 是一个 S 的划分 , P ( B i ) > 0 如果\set{B_i|i\in I}是一个S的划分,P(B_i)>0 如果{Bi​∣i∈I}是一个S的划分,P(Bi​)>0 那么 T P = P ( A ) = ∑ i ∈ I P ( A ∣ B i ) P ( B i ) 那么TP=P(A)=\sum\limits_{i\in I}P(A|B_i)P(B_i) 那么TP=P(A)=i∈I∑​P(A∣Bi​)P(Bi​)

证明:

P ( A ∣ B i ) P ( B i ) = P ( A B i ) A B i ⊂ B i B i B j = ∅ ( A B i ) ( A B j ) = ∅ P ( ( A B i ) ( A B j ) ) = 0 P ( A B i ) + P ( A B j ) = P ( A B i ) + P ( A B j ) − P ( ( A B i ) ( A B j ) ) = P ( A B i ∪ A B j ) = P ( A ( B i ∪ B j ) ) ∑ i ∈ I P ( A ∣ B i ) P ( B i ) = ∑ i ∈ I P ( A B i ) = P ( A ∩ ( ⋃ i ∈ I B i ) ) = P ( A Ω ) = P ( A ) P(A|B_i)P(B_i)=P(AB_i) \\AB_i\sub B_i \\B_iB_j=\varnothing \\(AB_i)(AB_j)=\varnothing \\ \\P((AB_i)(AB_j))=0 \\P(AB_i)+P(AB_j)=P(AB_i)+P(AB_j)-P((AB_i)(AB_j)) \\=P(AB_i\cup AB_j) \\=P(A(B_i\cup B_j)) \\ \\\sum\limits_{i\in I}P(A|B_i)P(B_i)=\sum\limits_{i\in I}P(AB_i) =P\left(A\cap\left(\bigcup\limits_{i\in I}B_i\right)\right) \\=P(A\Omega) \\=P(A) P(A∣Bi​)P(Bi​)=P(ABi​)ABi​⊂Bi​Bi​Bj​=∅(ABi​)(ABj​)=∅P((ABi​)(ABj​))=0P(ABi​)+P(ABj​)=P(ABi​)+P(ABj​)−P((ABi​)(ABj​))=P(ABi​∪ABj​)=P(A(Bi​∪Bj​))i∈I∑​P(A∣Bi​)P(Bi​)=i∈I∑​P(ABi​)=P(A∩(i∈I⋃​Bi​))=P(AΩ)=P(A)

例

例如,含有20个球的箱子

含有0,1,2只次品的概率分别为0.8,0.1,0.1

记 A i = { 含有残次品数量为 i 个 } 记A_i=\set{含有残次品数量为i个} 记Ai​={含有残次品数量为i个}

P ( A 0 ) = 0.8 P(A_0)=0.8 P(A0​)=0.8 P ( A 1 ) = P ( A 2 ) = 0.1 P(A_1)=P(A_2)=0.1 P(A1​)=P(A2​)=0.1

记 B = { 抽种的产品都是正品 } 记B=\set{抽种的产品都是正品} 记B={抽种的产品都是正品}

那么从中抽取出4件全是正品的可概率?

P ( B ∣ A 0 ) = ( 20 4 ) ( 20 4 ) = 1 P(B|A_0)=\frac{\binom{20}{4}}{\binom{20}{4}}=1 P(B∣A0​)=(420​)(420​)​=1

P ( B ∣ A 1 ) = ( 19 4 ) ( 20 4 ) = ( 19 ∗ 18 ∗ 17 ∗ 16 ) ∗ ( 4 ∗ 3 ∗ 2 ∗ 1 ) ( 20 ∗ 19 ∗ 18 ∗ 17 ) ∗ ( 4 ∗ 3 ∗ 2 ∗ 1 ) = 4 5 P(B|A_1)=\frac{\binom{19}{4}}{\binom{20}{4}}=\frac{(19*18*17*16)*(4*3*2*1)}{(20*19*18*17)*(4*3*2*1)}=\frac{4}{5} P(B∣A1​)=(420​)(419​)​=(20∗19∗18∗17)∗(4∗3∗2∗1)(19∗18∗17∗16)∗(4∗3∗2∗1)​=54​

其中 Ω A 1 = Ω \Omega_{A_1}=\Omega ΩA1​​=Ω

P ( B ∣ A 2 ) = ( 18 4 ) ( 20 4 ) = 12 19 P(B|A_2)=\frac{\binom{18}{4}}{\binom{20}{4}}=\frac{12}{19} P(B∣A2​)=(420​)(418​)​=1912​

根据全概率公式 P ( B ) = ∑ i = 1 3 P ( B ∣ A i ) P ( A i ) = 0.943 根据全概率公式P(B)=\sum\limits_{i=1}^{3}P(B|A_i)P(A_i)=0.943 根据全概率公式P(B)=i=1∑3​P(B∣Ai​)P(Ai​)=0.943

🎈贝叶斯公式BP

结果推原因BP:Bayes Probability B P = M P T P BP=\frac{MP}{TP} BP=TPMP​

Bayes公式和条件概率公式的联系和比较

贝叶斯公式的左边形式和条件概率公式CP是类似的🎈

但是,贝叶斯公式是结果推**原因(条件)**的尽管它们在含义上有所不同,但是我们仍然可以将贝叶斯公式理解为条件概率公式的一类应用(情况) 比如,将结果视为条件在实际应用中,可根据问题将相应的待求概率表达式按照条件概率的形式写出(而不比刻意强调bayes展开形式)

根据:

对于样本点空间 Ω 的一个划分 { B i ∣ i ∈ I } 对于样本点空间\Omega的一个划分\set{B_i|i\in I} 对于样本点空间Ω的一个划分{Bi​∣i∈I} 全概率公式TP P ( A ) = ∑ i ∈ I P ( A ∣ B i ) P ( B i ) P(A)=\sum\limits_{i\in I}P(A|B_i)P(B_i) P(A)=i∈I∑​P(A∣Bi​)P(Bi​) 条件概率公式CP P ( B i ∣ A ) = P ( B i A ) P ( A ) P(B_i|A)=\frac{P(B_iA)}{P(A)} P(Bi​∣A)=P(A)P(Bi​A)​ 乘法公式 M P : P ( B i A ) = P ( B i ∣ A ) P ( A ) 乘法公式MP:P(B_iA)=P(B_i|A)P(A) 乘法公式MP:P(Bi​A)=P(Bi​∣A)P(A)

容易推导出BP

P ( B i ∣ A ) = P ( B i A ) P ( A ) = P ( B i ∣ A ) P ( A ) ∑ i ∈ I P ( A ∣ B i ) P ( B i ) = M P ( B i ∣ A ) T P ( B i ∣ A ) P(B_i|A)=\frac{P(B_iA)}{P(A)} =\frac{P(B_i|A)P(A)}{\sum\limits_{i\in I}P(A|B_i)P(B_i)} =\frac{MP(B_i|A)}{TP(B_i|A)} P(Bi​∣A)=P(A)P(Bi​A)​=i∈I∑​P(A∣Bi​)P(Bi​)P(Bi​∣A)P(A)​=TP(Bi​∣A)MP(Bi​∣A)​

例1

次品来源问题

一批零件来自三个供应商

试验内容:从零件中抽取一件

记 , A = { 取到的产品是次品 } 记,A=\set{取到的产品是次品} 记,A={取到的产品是次品} B i = { 次品零件来自第 i 个厂商 } B_i=\set{次品零件来自第i个厂商} Bi​={次品零件来自第i个厂商}该样品是次品的概率 由全概率公式: P ( A ) = ∑ i = 1 3 P ( A ∣ B 1 ) P ( B 1 ) = 0.02 ∗ 0.15 + 0.01 ∗ 0.80 + 0.03 ∗ 0.05 = 0.0125 P(A)=\sum\limits_{i=1}^{3}P(A|B_1)P(B_1)=0.02*0.15+0.01*0.80+0.03*0.05=0.0125 P(A)=i=1∑3​P(A∣B1​)P(B1​)=0.02∗0.15+0.01∗0.80+0.03∗0.05=0.0125 从中取出一件 , 发现是次品 , 那么来自产商 i 的概率是多少 ( i = 1 , 2 , 3 ) ? 从中取出一件,发现是次品,那么来自产商i的概率是多少(i=1,2,3)? 从中取出一件,发现是次品,那么来自产商i的概率是多少(i=1,2,3)? 有贝叶斯公式: P ( B i ∣ A ) = P ( B i A ) P ( A ) = P ( A ∣ B i ) P ( B i ) P ( A ) P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{P(A)} P(Bi​∣A)=P(A)P(Bi​A)​=P(A)P(A∣Bi​)P(Bi​)​分别可以计算出: P ( B 1 ∣ A ) = 0.02 ∗ 0.15 0.0125 = 0.24 P(B_1|A)=\frac{0.02*0.15}{0.0125}=0.24 P(B1​∣A)=0.01250.02∗0.15​=0.24…

例2

机器与产品合格率问题

设机器正常时,生产的产品合格率为0.9

否则合格率为0.3

如果机器开机后,正常的概率是0.75(先验概率)

那么如果该机器第一件产品是合格的,机器正常的概率是多少?

分析:

记 A = { 第一件产品合格 } 记A=\set{第一件产品合格} 记A={第一件产品合格} B = 机器正常 B={机器正常} B=机器正常所求概率表达式为: P ( B ∣ A ) = ? P(B|A)=? P(B∣A)=?根据假设可知: P ( A ∣ B ) = 0.9 ; P ( A ∣ B ‾ ) = 0.3 P(A|B)=0.9;P(A|\overline{B})=0.3 P(A∣B)=0.9;P(A∣B)=0.3 P ( B ) = 0.75 , P ( B ‾ ) = 0.25 P(B)=0.75,P(\overline{B})=0.25 P(B)=0.75,P(B)=0.25 B , B ‾ 构成了一个必然事件 Ω 的划分 B,\overline{B}构成了一个必然事件\Omega的划分 B,B构成了一个必然事件Ω的划分 即机器要么正常,要么不正常 全概率公式 T P : P ( A ) = P ( A ∣ B ) P ( B ) + P ( A ∣ B ‾ ) P ( B ‾ ) = 0.9 ∗ 0.75 + 0.3 ∗ 0.25 = 0.75 全概率公式TP:P(A)={P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}=0.9*0.75+0.3*0.25=0.75 全概率公式TP:P(A)=P(A∣B)P(B)+P(A∣B)P(B)=0.9∗0.75+0.3∗0.25=0.75 那么根据Bayes公式,从结果推原因: P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) = 0.9 ∗ 0.75 0.75 = 0.9 P(B|A)=\frac{P(A|B)P(B)}{P(A)}=\frac{0.9*0.75}{0.75}=0.9 P(B∣A)=P(A)P(A∣B)P(B)​=0.750.9∗0.75​=0.9

PT_基本概率公式(减法/加法/乘法/除法(条件概率)/全概率/贝叶斯)@条件概率链式法则@乘法法则