我知道有很多人理解不了 “条件期望” (Conditional Expectation) 这个东西，有的时候没看清把随机变量看成事件，把 (\sigma)-algebra 看成随机变量从而思路全错的时候，我也会觉得莫名奇妙。所以在这里用一个极其简单的例子解释一下，只要你是一只上过高中的草履虫那就能听懂。
[]
我们来丢一枚质地均匀的硬币（意味着得到正面与反面的概率各为 (\frac{1}{2})），连丢两次并记录两次结果。那么很容易可以写出全集 (\Omega = \left{ HH, HT, TH, TT \right}) ，(H) 和 (T) 分别代表正面和反面。现在是第一个需要稍加思考的地方，令 (\mathcal{G}) 为一个 (\sigma)-algebra，其中包括了第一次丢硬币结果的信息，请问 (\mathcal{G}) 是什么？
稍加思考，不难得出 (\mathcal{G} = \left{\Omega, ~ \emptyset, ~ \left{ HH, HT \right}, ~ \left{ TT, TH \right} \right})，这里也做出一个解释。首先要明确的是，(\Omega) 中的元素 (例如 (HH)) 和 (\mathcal{G}) 中的元素 (例如 (\left{ HH, HT \right})) 之间的区别：前者是结果 (outcome)，后者是事件 (event)。我们对于一次 “抽样”，只能得到一种结果，例如 (HH)，代表丢两次硬币后得到两个正面的结果。但不同的结果由于共享某些特性，可以被划分在同一个事件当中，例如，丢两次硬币产生相同的结果应有两种，即同时为正面或同时为背面 (i.e. (HH) 或 (TT))，它们归属于 “丢两次硬币产生相同的结果” 的事件：(\left{ HH, TT \right})。回到问题，现在我们已知了第一次丢硬币后结果的信息，也就是 “第一次丢硬币是正面还是背面”，那么我们自然可以得出 (\mathcal{G}) 是由集类：(\left{ \left{ HH, HT \right}, ~ \left{TT, TH \right} \right}) 生成的 (\sigma)-algebra。这是因为第一次扔硬币的结果已经被确定——无论它是正面还是背面：如果是正面，那么结果无非两种：两次都正面或第一次正面第二次背面；如果是背面，结果也无非两种：两次都背面或第一次背面第二次正面。结合以下树结构，在得知第一次扔硬币结果的信息后，相当于从根 (XX) 来到了第一层 (HX) 或 (TX) （(X) 代表未知信息）。
同时，这也从另一个角度说明为什么概率论最终需要引入 “测度” 的定义——为了描述一种信息变化的过程。当我们并不知道第一次扔硬币的结果时，在全空间 (\Omega) 上定义的测度空间为 ((\Omega, \mathcal{F}, P))，其中：
[\mathcal{F}:= \left{ \Omega, ~ \emptyset, ~ \left{ HH \right}, ~ \left{ HT \right}, ~ \left{ TH \right}, ~ \left{ TT \right}, ~ \left{ HH, HT \right}, \ldots \right} ]
where (\mathcal{F}) 的 cardinality: (|\mathcal{F}| = 2^{4} = 16)。
[]
而当已知第一次的信息后，(\sigma)-algebra 随即收缩为：
[\mathcal{G}:= \left{ \Omega, ~ \emptyset, ~ \left{ HH, HT \right}, ~ \left{ TH, TT \right} \right} ]
[]
现在考虑条件期望： (\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right])。其中，(\mathcal{G}) 如上记作第一次丢完硬币后结果的全部信息，对于 (\forall w \in \Omega:) 随机变量 (X) 定义为：
[X(w) = \begin{cases} a \qquad \mbox{if } ~ w = HH\ b \qquad \mbox{if } ~ w = HT\ c \qquad \mbox{if } ~ w = TH\ d \qquad \mbox{if } ~ w = TT\ \end{cases} ]
其中 (a, b, c, d \geq 0)。
Definition. (Conditional Expectation)
令 (X) 为一个定义在 ((\Omega, \mathcal{F}, P)) 上的非负随机变量。令 (G_{1}, G_{2}, \ldots) 为一个两两不相交的事件序列，且对于 (\forall n \in \mathbb{N}^{+}: ~ P(G_{n}) > 0)，并且 (\bigcup\limits_{n\in\mathbb{N}^{+}} G_{n} = \Omega)。令 (\mathcal{G}) 为包含 (\left{ G_{1}, G_{2}, \ldots \right}) 的最小 (\sigma)-algebra，即，任意 (\mathcal{G}) 的元素都可以写作 (\bigcup\limits_{n \in I} G_{n}) 的形式，其中 (I \subset \mathbb{N}^{+}) ((I) 为 (\mathbb{N}^{+}) 的某些子集)。那么：
[\mathbb{E}\left X ~ | ~ \mathcal{G} \right = \mathbb{E}\left[ X ~ | ~ G_{n} \right] = \frac{\mathbb{E}\left[ X \cdot \mathbb{I}{G{n}} \right]}{P(G_{n})} \qquad \qquad \mbox{if } w \in G_{n} ]
首先，(\mathbb{I}{G{n}})是一个随机变量，或者说函数：
[\mathbb{I}{G{n}}: \Omega \longrightarrow \left{ 0, 1 \right}, \quad x \longrightarrow \mathbb{I}{G{n}}(x) = \begin{cases} 1 \qquad \mbox{if } x \in G_{n}\ 0 \qquad \mbox{otherwise} \end{cases} ]
因此则可以判定，Conditional Expectation (\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right]) 算出来也是一个随机变量，而并非常数。最后，我们可以发现一旦假设 (w \in G_{n})，那么一定意味着 (w \notin G_{k}, ~ \forall k \in \mathbb{N}^{+}\setminus\left{n\right})。
回到扔硬币的例子。这里显然我们有：(G_{1} = \left{ HH, HT \right}, ~ G_{2} = \left{ TT, TH \right})，且 (G_{1} \cup G_{2} = \Omega)。那么。我们现在只需要依次假设 (w \in G_{n})， 并求 (\frac{\mathbb{E}\left[ X \cdot \mathbb{I}{G{n}} \right]}{P(G_{n})})，最后分类讨论逐点列出即可。
[]
- 假设(w \in G_{1} = \left{ HH, HT \right})，
[ \begin{align} \mathbb{E}\left X ~ | ~ \mathcal{G} \right &= \frac{\mathbb{E}\left[ X \cdot \mathbb{I}{G{1}}, ~ w \in G_{1} \right]}{P(G_{1})}\ &= \frac{\sum\limits_{w \in G_{1}}\mathbb{E}\left[ X \cdot \mathbb{I}{G{1}} ~ | ~ w \in G_{1} \right] \cdot P\big(\left{ w \right}\big)}{P(G_{1})}\ &= \frac{\sum\limits_{w \in G_{1}} X(w) \cdot P\big(\left{ w \right}\big)}{P(G_{1})}\ & = \frac{X(HH) \cdot P\big( \left{ HH \right} \big) + X(HT) \cdot P\big( \left{ HT \right} \big)}{P\big( \left{ HH, HT \right} \big)}\ & = \frac{\frac{1}{4} \cdot a + \frac{1}{4} \cdot b}{\frac{1}{2}}\ & = \frac{a + b}{2} \end{align} ]
- 假设(w \in G_{2} = \left{ TT, TH \right})，
[ \begin{align} \mathbb{E}\left X ~ | ~ \mathcal{G} \right &= \frac{\mathbb{E}\left[ X \cdot \mathbb{I}{G{2}}, ~ w \in G_{2} \right]}{P(G_{2})}\ &= \frac{\sum\limits_{w \in G_{2}}\mathbb{E}\left[ X \cdot \mathbb{I}{G{2}} ~ | ~ w \in G_{2} \right] \cdot P\big(\left{ w \right}\big)}{P(G_{2})}\ &= \frac{\sum\limits_{w \in G_{2}} X(w) \cdot P\big(\left{ w \right}\big)}{P(G_{2})}\ & = \frac{X(TT) \cdot P\big( \left{ TT \right} \big) + X(TH) \cdot P\big( \left{ TH \right} \big)}{P\big( \left{ TT, TH \right} \big)}\ & = \frac{\frac{1}{4} \cdot c + \frac{1}{4} \cdot d}{\frac{1}{2}}\ & = \frac{c + d}{2} \end{align} ]
综上所述：
[\mathbb{E}\left X ~ | ~ \mathcal{G} \right = \begin{cases} \frac{a + b}{2} \qquad \mbox{if } ~ w \in \left{ HH, HT \right}\ \frac{c + d}{2} \qquad \mbox{if } ~ w \in \left{ TT, TH \right}\ 0 \qquad \quad \mbox{otherwise}\ \end{cases} ]
Original: https://www.cnblogs.com/chetianjian/p/16758275.html
Author: 车天健
Title: 条件期望：Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/801340/
转载文章受原作者版权保护。转载请注明原作者出处！