【读书笔记-＞统计学】04-02 利用概率理论预测和决策-条件概率、概率树、全概率公式、贝叶斯定理、相关与独立概念简介

条件概率

现在书给我们提供了一个情境：已知下一次小球会停在黑色球位，赌小球会不会停在偶数球位上。

由于我们已经知道小球停在黑色球位，那么小球一定不会停在绿色或红色球位了，但我们求概率的时候，相应的范围也会缩减（我理解为样本空间S减少了，从”黑色、红色和绿色”变成了”黑色”）。

换言之，我们要求出所有黑色球位中有多少偶数球位。在轮盘赌，18个黑色球位中有10个球位是偶数，所以：

P ( 黑 色 已 知 条 件 下 的 偶 数 ) = 10 18 = 0.556 P(黑色已知条件下的偶数) = \frac{10}{18} = 0.556 P (黑色已知条件下的偶数)=1 8 1 0 ​=0 .5 5 6

结果证明，即使得到了内幕消息，我们的胜算实际上还是比较之前低。”黑色已知条件下的偶数”的概率（0.556）实际上小于”停球位置为黑色或偶数”的概率（26 38 = 0.684 \frac{26}{38} = 0.684 3 8 2 6 ​=0 .6 8 4）。要是赌注是停球位置为黑色的话，那就稳赢了。

不过，0.556这个概率仍然比50%的胜算更大，因此仍是一个不错的赌注。

到这里，我们可以介绍” 条件概率“了。它用于量度与其他事件的发生情况有关的某个事件的概率。

条件概率：如果要表示以另一个事件的发生为条件的某个事件发生的概率，我们就用”|”符号表示”已知条件”。

“以事件B为已知条件的事件A的概率”简写为P ( A ∣ B ) P(A | B)P (A ∣B )。

为了计算P(A|B)，我们感兴趣的是A和B同时发生的次数与B发生的所有次数相除的结果。观察维恩图，得到：

P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A | B) = \frac{P(A \cap B)}{P(B)}P (A ∣B )=P (B )P (A ∩B )​

改变算式，求P ( A ∩ B ) P(A \cap B)P (A ∩B )：

P ( A ∩ B ) = P ( A ∣ B ) ∗ P ( B ) P(A \cap B) = P(A | B) * P(B)P (A ∩B )=P (A ∣B )∗P (B )

或者对调A、B，也可以求P ( A ∩ B ) = P ( B ∩ A ) P(A \cap B) = P(B \cap A)P (A ∩B )=P (B ∩A )：

P ( B ∩ A ) = P ( B ∣ A ) ∗ P ( A ) P(B \cap A) = P(B | A) * P(A)P (B ∩A )=P (B ∣A )∗P (A )

; 概率树

除了维恩图，还有另外一种图 — 概率树，它适合表示条件概率。看书中提供的示例图（我怀疑书中图片打印错误，自己在图片中已经修改过来）：

• 第一级分支线上标出各种结果的概率，因此”停球结果为黑”的概率为18/38，即0.474
• 第二级分支线上变出已知所连接的上一级结果的情况下的第二级结果的概率。若已知停球位置为黑色，则停球位置为奇数的概率为8/18，即0.444

概率树还能帮助计算概率。下面给出一幅概率树。

A和A’，B和B’分别是互斥事件，即一方不涵盖另一方的任何可能事件。将一个概率乘以下一级分支概率，就可以求出包含相交情况的概率。例如，假定要求P ( A ∩ B ) P(A \cap B)P (A ∩B )，就可以用P(B)乘以P(A|B)，即，用第一级的B分支概率乘以第二级的A分支概率。

使用概率树得出的结果和以前的算法相同，用不用随便你。画概率树很费时间，但它是一种以图形体现条件概率的途径。

概率树使用诀窍

这里有一道例题，大家可以先思考，试着填上长方形里的概率：

提示：其中，右下的概率是通过P ( 咖 啡 ∣ 圈 饼 ′ ) P(咖啡|圈饼’)P (咖啡∣圈饼′)得到，右上的概率是通过计算得到。

另外一道：

小知识：如果A与B互斥，那么P(A|B)结果如何？

答：如果A与B互斥，则P ( A ∩ B ) = 0 P(A \cap B)=0 P (A ∩B )=0且P ( A ∣ B ) = 0 P(A | B)=0 P (A ∣B )=0。这可以理解，因为当A与B互斥时，两个事件不可能同时发生。如果我们假定事件B已经发生，则事件A不可能发生，因此P ( A ∩ B ) = 0 P(A \cap B)=0 P (A ∩B )=0。

问题导引

有一道题：已知P(偶|黑)和先前的概率树，求P(黑|偶)。

因为P ( 黑 ∣ 偶 ) = P ( 黑 ∩ 偶 ) P ( 偶 ) P(黑|偶)=\frac{P(黑\cap偶)}{P(偶)}P (黑∣偶)=P (偶)P (黑∩偶)​，只要能求出分子和分母，就能得到答案。

1. 求P ( 黑 ∩ 偶 ) P(黑\cap偶)P (黑∩偶)

P ( 黑 ∩ 偶 ) = P ( 偶 ∩ 黑 ) = P ( 黑 ) ∗ P ( 偶 ∣ 黑 ) = 18 38 ∗ 10 18 = 5 19 P(黑\cap偶) = P(偶\cap黑) \ = P(黑) * P(偶|黑) \ = \frac{18}{38} * \frac{10}{18} \ = \frac{5}{19}P (黑∩偶)=P (偶∩黑)=P (黑)∗P (偶∣黑)=3 8 1 8 ​∗1 8 1 0 ​=1 9 5 ​

因此，P ( 黑 ∣ 偶 ) = P ( 黑 ∩ 偶 ) P ( 偶 ) = P ( 黑 ) ∗ P ( 偶 ∣ 黑 ) P ( 偶 ) P(黑|偶)=\frac{P(黑\cap偶)}{P(偶)} = \frac{P(黑) * P(偶|黑)}{P(偶)}P (黑∣偶)=P (偶)P (黑∩偶)​=P (偶)P (黑)∗P (偶∣黑)​。

1. 求P(偶)

为了求出小球停在偶数球位上的情况，其实际是停在”红色偶数”或”黑色偶数”之和。
P ( 偶 ) = P ( 黑 ∩ 偶 ) + P ( 红 ∩ 偶 ) = P ( 黑 ) ∗ P ( 偶 ∣ 黑 ) + P ( 红 ) ∗ P ( 偶 ∣ 红 ) = 18 38 ∗ 10 18 + 18 38 ∗ 8 18 = 9 19 P(偶) = P(黑 \cap 偶)+P(红 \cap 偶) \ = P(黑) * P(偶|黑) + P(红) * P(偶|红) \ = \frac{18}{38} * \frac{10}{18} + \frac{18}{38} * \frac{8}{18}\ = \frac{9}{19}P (偶)=P (黑∩偶)+P (红∩偶)=P (黑)∗P (偶∣黑)+P (红)∗P (偶∣红)=3 8 1 8 ​∗1 8 1 0 ​+3 8 1 8 ​∗1 8 8 ​=1 9 9 ​

1. 求P(黑|偶)

P ( 黑 ∣ 偶 ) = P ( 黑 ∩ 偶 ) P ( 偶 ) = P ( 黑 ) ∗ P ( 偶 ∣ 黑 ) P ( 黑 ) ∗ P ( 偶 ∣ 黑 ) + P ( 红 ) ∗ P ( 偶 ∣ 红 ) = 5 19 / 9 19 = 5 9 P(黑|偶)=\frac{P(黑\cap偶)}{P(偶)} \ = \frac{P(黑) * P(偶|黑)}{P(黑) * P(偶|黑) + P(红) * P(偶|红)} \ =\frac{5}{19} / \frac{9}{19} \ =\frac{5}{9}P (黑∣偶)=P (偶)P (黑∩偶)​=P (黑)∗P (偶∣黑)+P (红)∗P (偶∣红)P (黑)∗P (偶∣黑)​=1 9 5 ​/1 9 9 ​=9 5 ​

由此得到结果。不过从这里，我们可以推导一下。

; 全概率公式

接下来将用更通用的方法来介绍 全概率公式和 贝叶斯定理，其本质上和上面的例题一致。

假定有一幅概率树，A和A’，B和B’ 互斥且穷举，你知道了P(A)、P(B|A)、P(B|A’)等概率，求P(A|B)。

和例题的一样，求P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A|B) = \frac{P(A \cap B)}{P(B)}P (A ∣B )=P (B )P (A ∩B )​的分子和分母。

分子已知：P ( A ∩ B ) = P ( A ) ∗ P ( B ∣ A ) P(A \cap B) = P(A) * P(B|A)P (A ∩B )=P (A )∗P (B ∣A )

分母可以这样计算：事件B发生有两种方式：与事件A一起发生；不与事件A一起发生。既可以利用下式求出P(B)：

P ( B ) = P ( A ∩ B ) + P ( A ′ ∩ B ) P(B) = P(A \cap B) + P(A’ \cap B)P (B )=P (A ∩B )+P (A ′∩B )

已知，
P ( A ∩ B ) = P ( A ) ∗ P ( B ∣ A ) P ( A ′ ∩ B ) = P ( A ′ ) ∗ P ( B ∣ A ′ ) P(A \cap B) = P(A) * P(B|A) \ P(A’ \cap B) = P(A’) * P(B|A’)P (A ∩B )=P (A )∗P (B ∣A )P (A ′∩B )=P (A ′)∗P (B ∣A ′)
则，

P ( B ) = P ( A ) ∗ P ( B ∣ A ) + P ( A ′ ) ∗ P ( B ∣ A ′ ) P(B) = P(A) * P(B|A) + P(A’) * P(B|A’)P (B )=P (A )∗P (B ∣A )+P (A ′)∗P (B ∣A ′)

这个公式有时被称为 全概率公式，因为它提供了一种方法：根据条件概率计算一个特定事件的全概率。

既然已经求出P(B)和P ( A ∩ B ) P(A\cap B)P (A ∩B )的表达式，就可以将这两个式子放在一起，得出P(A|B)的表达式。

全概率公式：如果有两个事件A和B，则：
P ( B ) = P ( B ∩ A ) + P ( B ∩ A ′ ) = P ( A ) P ( B ∣ A ) + P ( A ′ ) P ( B ∣ A ′ ) P(B) = P(B\cap A)+P(B\cap A’)=P(A)P(B|A)+P(A’)P(B|A’)P (B )=P (B ∩A )+P (B ∩A ′)=P (A )P (B ∣A )+P (A ′)P (B ∣A ′)
全概率公式是贝叶斯定理的分母。

贝叶斯定理

由上面两式，可以求出P(A|B)：
P ( A ∣ B ) = P ( A ) ∗ P ( B ∣ A ) P ( A ) ∗ P ( B ∣ A ) + P ( A ′ ) ∗ P ( B ∣ A ′ ) P(A|B) = \frac{P(A) * P(B|A)}{P(A) * P(B|A) + P(A’) * P(B|A’)}P (A ∣B )=P (A )∗P (B ∣A )+P (A ′)∗P (B ∣A ′)P (A )∗P (B ∣A )​
这就是所谓的 贝叶斯定理。该定理提供了一种计算逆条件概率的方法，在你无法预知每种概率的情况下，它非常有用。

贝叶斯定理：如果你有n个互斥且穷举的事件：A 1 A_1 A 1 ​至A n A_n A n ​，而B是另一个事件，则：
P ( A ∣ B ) = P ( A ) P ( B ∣ A ) P ( A ) P ( B ∣ A ) + P ( A ′ ) P ( B ∣ A ′ ) P(A|B)=\frac{P(A)P(B|A)}{P(A)P(B|A)+P(A’)P(B|A’)}P (A ∣B )=P (A )P (B ∣A )+P (A ′)P (B ∣A ′)P (A )P (B ∣A )​
（
按照百科查到的资料，我猜测更精准的写法是：
P ( A i ∣ B ) = P ( A i ) P ( B ∣ A i ) P ( A 1 ) P ( B ∣ A 1 ) + . . . + P ( A n ) P ( B ∣ A n ) P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(A_1)P(B|A_1)+…+P(A_n)P(B|A_n)}P (A i ​∣B )=P (A 1 ​)P (B ∣A 1 ​)+…+P (A n ​)P (B ∣A n ​)P (A i ​)P (B ∣A i ​)​
）

这里给出一道例题，可以做一下。

其实我做的时候只要一步步推导就好了，就和解答”问题导引”那道题一样。从P ( 游 戏 2 ∩ 满 意 ) P ( 满 意 ) \frac{P(游戏2\cap满意)}{P(满意)}P (满意)P (游戏2 ∩满意)​开始推导，分子和分母（全概率公式）分别利用公式即可。

小知识：什么时候使用贝叶斯定理？

答：在需要求出条件概率，且该条件概率与已知条件概率顺序相反时使用。

小知识：我必须画概率树吗？

答：你可以直接使用贝叶斯定理，也可以使用概率树进行辅助。使用贝叶斯定理更为直接快捷，但务必记住各个概率。在你忘记贝叶斯定理时，概率树很有用，不仅可以让你得出相同的结果，还能让你免于忘记每个事件所对应的概率。

; 相关事件与独立事件

书再给出一个问题：求小球连续两次停在两个黑色球位上的概率。

这是我们画出的概率树：

它与上面”已知球位为黑色的条件下，停球结果为偶数球位的可能性”不同。

相关事件：如果几个事件互有影响，则为相关事件

P ( 偶 ∣ 黑 ) = 10 / 18 = 0.556 P(偶|黑) = 10/18 = 0.556 P (偶∣黑)=1 0 /1 8 =0 .5 5 6

对于P(偶|黑)来说，”停在偶数球位”的概率受到”停在黑色球位”的概率的影响。如果我们不知道小球已经停在黑色球位上，则概率会不一样。

P ( 偶 ) = 18 / 38 = 0.474 P(偶) = 18/38 = 0.474 P (偶)=1 8 /3 8 =0 .4 7 4

P(偶|黑)得出了与P(偶)不一样的结果，换句话说，我们所得知的”球位为黑色”的信息使概率发生了改变。我们说这两个事件是 相关事件。

如果用通用术语表达就是：如果P(A|B)与P(A)不等，则我们说事件A与事件B是相关事件—这等于说事件A与事件B的概率相互影响。

独立事件：如果几个事件互不影响，则为独立事件

有时候，几个事件相互之间完全没有影响，无论其他事件发生与否，某个事件的发生概率总是保持不变。
P ( 黑 ) = 18 / 38 = 0.474 P ( 黑 ∣ 黑 ) = 18 / 38 = 0.474 P(黑)=18/38=0.474 \ P(黑|黑)=18/38=0.474 P (黑)=1 8 /3 8 =0 .4 7 4 P (黑∣黑)=1 8 /3 8 =0 .4 7 4
“小球在这一局停在黑色球位上”事件对”小球在下一局停在黑色球位上”事件没有影响，这两个事件是 独立的。

独立事件彼此之间互不影响—不以任何形式相互影响对方的概率。若一个事件发生，其他事件的概率保持原样，纹丝不变。

如果事件A和事件B相互独立，则事件A的概率不受事件B的影响，换句话说，对于独立事件来说：

P ( A ∣ B ) = P ( A ) P(A|B)=P(A)P (A ∣B )=P (A )

我们还能用以上公式进行独立性检验。如果你有两个事件A和B，且P(A|B)=P(A)，则事件A和事件B必然相互独立。

如果两个事件是独立事件，那么P ( A ∩ B ) = P ( A ) ∗ P ( B ) P(A\cap B) = P(A) * P(B)P (A ∩B )=P (A )∗P (B )

推导如下：
∵ P ( A ∣ B ) = P ( A ∩ B ) P ( B ) 【 条 件 概 率 】 ∵ P ( A ∣ B ) = P ( A ) 【 独 立 事 件 】 ∴ P ( A ) = P ( A ∩ B ) P ( B ) ∴ P ( A ∩ B ) = P ( A ) ∗ P ( B ) \because P(A|B)=\frac{P(A \cap B)}{P(B)}【条件概率】 \ \because P(A|B)=P(A)【独立事件】 \ \therefore P(A) = \frac{P(A \cap B)}{P(B)} \ \therefore P(A\cap B) = P(A) * P(B)∵P (A ∣B )=P (B )P (A ∩B )​【条件概率】∵P (A ∣B )=P (A )【独立事件】∴P (A )=P (B )P (A ∩B )​∴P (A ∩B )=P (A )∗P (B )
对上个问题的解答：

小知识：如果A、B是互斥事件，则两者不会是独立事件；如果A、B是独立事件，则两者不会是互斥事件。

如果A和B是互斥事件，则如果事件A发生，则事件B不发生。这意味着，A的结果会影响B的结果，于是这两者相关。

与此相似，如果A和B是独立事件，则两者不会相斥。

问：独立事件和互斥事件有何差别？

答：假定两个事件A和B。如果它们互斥，则A和B无法同时发生（我今天吃了米饭，所以我在吃下米饭的前提下，我不吃米饭的概率为0）。

如果他们独立，则A和B互不影响（有可能同时发生，我今天吃或者不吃米饭，和陌生人张三吃或者不吃米饭没有任何影响，我今天可能吃了米饭，也可能不吃）。

一个相关和独立事件例题：

书上是利用P ( A ∩ B ) = P ( A ) ∗ P ( B ) P(A\cap B) = P(A) * P(B)P (A ∩B )=P (A )∗P (B )这个公式来验证它们是否独立，我认为也可以用P ( A ∣ B ) = P ( A ) P(A|B)=P(A)P (A ∣B )=P (A )来证明独立，比如验证P ( 游 泳 ) = P ( 游 泳 ∣ 瑜 伽 ) [ = P ( 游 泳 ∩ 瑜 伽 ) P ( 瑜 伽 ) ] P(游泳) = P(游泳|瑜伽)[=\frac{P(游泳\cap 瑜伽)}{P(瑜伽)}]P (游泳)=P (游泳∣瑜伽)[=P (瑜伽)P (游泳∩瑜伽)​]是否成立。不过第一个式子也是利用第二个式子推导出来的，第一个式子能成立的话，第二个式子自然而然也能成立。

另外一道题：

概率例题

1：

2：

Original: https://blog.csdn.net/bill2766/article/details/123818593
Author: 小明2766
Title: 【读书笔记-＞统计学】04-02 利用概率理论预测和决策-条件概率、概率树、全概率公式、贝叶斯定理、相关与独立概念简介