900字范文 > 概率与统计进阶（1）——概率统计的基础概念：条件概率全概率贝叶斯公式

概率与统计进阶（1）——概率统计的基础概念：条件概率全概率贝叶斯公式

时间：2019-08-05 01:52:53

文章目录

1. 基本（核心）概念事件与样本点 2. 通理和思维2.1 通理概率的加法法则概率的乘法法则 2.2 思维（经验/技巧） 3. 条件概率4. 全概率5. 贝叶斯公式总结

从本质上理一下概率的基本概念，以及几个重要的公式。

1. 基本（核心）概念

事件与样本点

2. 通理和思维

2.1 通理

概率的加法法则

定理：设A、B是互不相容事件（AB=φ），则：

P(A∪B)=P(A)+P(B)

推论1：设A1、 A2、…、 An互不相容，则：P(A1+A2+…+ An)= P(A1) +P(A2) +…+ P(An)

推论2：设A1、 A2、…、 An构成完备事件组，则：P(A1+A2+…+An)=1

推论3：

为事件A的对立事件。

推论4：若B包含A，则P(B－A)= P(B)－P(A)

推论5（广义加法公式）：

对任意两个事件A与B，有P(A∪B)=P(A)+P(B)－P(AB)

概率的乘法法则

(乘法法则由条件概率公式推到而来)

条件概率计算公式：

当P(A)>0，P(B|A)=P(AB)/P(A)

可以推出乘法公式：

P(AB)=P(A)×P(B|A)=P(B)×P(A|B)

2.2 思维（经验/技巧）

样本空间

不同的角度看待——不同的事物/事件——不同的样本空间：无论什么问题，一定要先搞清当前问题的空间是什么

所谓条件概率，本质上就是更换了"样本空间“

一切概率皆可看做条件概率

比如，P(A) = P(A|Ω)

条件（概率）：以谁为条件则我们认为谁先发生

条件概率公式中隐含了一个非常重要的约定，既是一种先后顺序，因为 𝐵 是相对于 𝐴 的条件概率，那么就是说 𝐴 是 𝐵 的前提，或者说 𝐴 比 𝐵 先发生。（不过实质上，这个“先“和”后”并没有实际意义）

先验后验

先验：调查“原因”本身——Bi的概率：P(Bi)

后验：调查“原因”本身（Bi）与“结果”（A）的关系——P(A|Bi)

注：① “结果”表示我们一开始直接得知的情况，“原因”指的是可能导致结果的可能事件 ② 这里用Bi表示所有可能原因中的一个

3. 条件概率

概念：

~~大学教科书上的定义：条件概率既是指当某个事件发生的前提下，另一个事件发生的概率；~~

条件概率是指某个事件 B 对样本空间 Ω 的某个子集 𝑆 的概率，而与其它某个事件是否真的发生与否无关，唯一变化的是计算概率的样本空间发生了改变而已。

比如，通常情况下，我们有事件 B 的概率 𝑃(𝐵)= B Ω \frac{B}{Ω} ΩB，但是如果我们将事件 B 所参照的样本空间 Ω 变为 𝑆，且 𝑆 是 Ω 的子集，B 与 𝑆 存在交集 BS，这时 B 相对于前提条件 𝑆 的概率为：

数学上，将上式中的 𝑃(𝐵)′ 表示为 𝑃(𝐵|𝑆)，所以我们有：

令上式 S 为 A，则推导出乘法公式：

实际上，𝑃(𝐴)⋅𝑃(𝐵|𝐴) 求解的就是 𝐴∩𝐵 相对于 Ω 的概率；而 𝑃(𝐵|𝐴) 实际上求解的是 𝐴∩𝐵 相对于 𝑆 的概率。

4. 全概率

书中全概率公式的定义：

其实，其本质就是将样本空间Ω分为互斥的事件𝐵1,𝐵2,⋯,𝐵𝑛 ，再利用互斥事件的加法，配合乘法规则（条件概率公式）推导得到。

即：

P(A)

=P(AΩ)

=P(B1)P(A|B1) + P(B2)P(A|B2 )+ … + P(Bn)P(A|Bn)

5. 贝叶斯公式

概念

~~高等教育出版社出版的《概率论与数理统计教程》第二版中的定义：~~

以上公式不是糊弄人的是什么？

钟开莱所著《初等概率论》中对贝叶斯公式的定义：

实际上贝叶斯公式的定义有如下两种方式:

贝叶斯公式 1

这种方式和钟开莱所定义一致，只是笔者换种数学形式对其进行描述，

解读：

A 事件发生了，比如出现了杀人事件 A，正常情况下我们可以把 A 叫”结果“，这时，我们要去找导致 A 发生的原因了，这个“原因”是什么我们是无法得知的，但是我们可以从诸多可能中，即从可能的凶手𝐵1,𝐵2,⋯,𝐵𝑛 中找出可能性最大的那个。即，我们的目标是求得所有嫌疑人 Bi参与这起案件的概率P(Bi|A)，并找出最大的那个。结合上面的图，即找出”瓜分“阴影 A范围最大的那个 Bi。

但是怎么找？按照正常的思路，我们首先要去评估每种可能本身的某种**“性质”，比方说，直接去调查𝐵1,𝐵2,⋯,𝐵𝑛人的品性很坏的概率或者作案动机的大小等等即P(Bi)，这个就叫做先验概率。接着，我们需要将这些嫌疑人与案件关联起来，即将这起杀人案件 A 与嫌疑人 Bi 放在一起进行关联分析**，即以A为条件来分析Bi是凶手的可能性，即P(A|Bi)，这也就是我们所说的后验概率。

至此，也就从本质上理解了贝叶斯公式。

博主还提出了贝叶斯公式的另外一种解释

贝叶斯公式 2

等有时间再深究。