概率

概率是概率论中的最基础概念，它实际上是一个定义在事件域上的集函数，相关概念详见概率空间，这里仅列出有关其一般成立的公式，以下总设$P(A)$是概率空间$(\mathit{\Omega}, \mathcal{F}, P)$上某事件的概率。

基本假设

概率的定义中有如下三条基本假设：

1. 完备性：$P(\mathit{\Omega}) = 1;$
2. 非负性：$\forall A \in \mathcal{F}, P(A) \geqslant 0;$
3. 可列可加性：$A_j \in \mathcal{F}, j = 1,2,\cdots$互斥，$P \left( \bigcup_{j=1}^\infty A_j \right) = \sum_{j=1}^\infty P(A_j).$

基本性质

1. $P(\varnothing) = 0;$
2. 有限可加性：$A_j \in \mathcal{F}, j = 1,2,\cdots, n$互斥，$P \left( \bigcup_{j=1}^n A_j \right) = \sum_{j=1}^n P(A_j);$
3. $P(\overline{A}) = 1 - P(A);$
4. 如果$A \supset B$，那么$P(A - B) = P(A) - P(B);$
5. 如果$A \subset B$，那么$P(A) \leqslant P(B);$
6. 次可加性：$P \left( \bigcup_{j=1}^n A_j \right) \leqslant \sum_{j=1}^n P(A_j), P \left( \bigcup_{j=1}^\infty A_j \right) \leqslant \sum_{j=1}^\infty P(A_j)$

加法公式

设$A, B \in \mathit{\Omega}$，那么有 $$P(A \cup B) = P(A) + P(B) - P(AB);$$ 在三个事件场合下 $$P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC);$$ 推广到任意有限个事件的场合，得到一般加法公式 $$\begin{align} P\left(\bigcup_{i=1}^n A_i\right) = \sum_{k=1}^n (-1)^{k-1} \sum_{1 \leqslant i_1 < i_2 < \cdots < i_k \leqslant n} P(A_{i_1} A_{i_2} \cdots A_{i_k}) \end{align}$$ 其中，符号$\sum_{1 \leqslant i_1 < i_2 < \cdots < i_k \leqslant n}$表示取遍$i_1, i_2, \cdots, i_k$在$1,2,\cdots,n$中的所有可能组合。

这个公式对单个事件有定义，借助随机变量，我们可以将它写成概率分布的形式，考察这样一个一般情景：设随机变量$X$表示$n$个事件$A_1, A_2 ,\cdots, A_n$中恰好发生$k$个事件的概率，这样可以证明，该概率就是 $$P\{X = k\} = \sum_{j=k}^n (-1)^{j-k} \binom{j}{k} \sum_{1 \leqslant i_1 < i_2 < \cdots < i_j \leqslant n} P(A_{i_1} A_{i_2} \cdots A_{i_j})$$ 假定$k=0$时空求和的值是1.这样可得它的分布函数 $$P\{X < k\} = 1-\sum_{j=k}^n (-1)^{j-k} \binom{j-1}{k-1} \sum_{1 \leqslant i_1 < i_2 < \cdots < i_j \leqslant n} P(A_{i_1} A_{i_2} \cdots A_{i_j})$$ 上面两个式子是一般加法公式的推广，因为$1 - P\{X = 0\}$就是事件$\bigcup_{i=1}^n A_i$发生的概率。

乘法公式

加法公式是用交事件来表示并事件概率的方法，与其对偶地还有使用并事件来表示交事件的做法，这被称为一般乘法公式，即 $$P\left(\prod_{i=1}^n A_i\right) = \sum_{k-1} (-1)^{k-1} \sum_{1 \leqslant i_1 < i_2 < \cdots < i_k \leqslant n} P\left(\bigcup_{j=1}^k A_{i_j}\right)$$ 它可以由加法公式推出。

De Morgan 定理

又称对偶原理，得摩根律，设事件$A, B \in \mathit{\Omega}$，那么 $$P(A \cup B) = 1 - P(\overline{A} \cap \overline{B}),\quad P(A \cap B) = 1-P(\overline{A} \cup \overline{B})$$ 推广到有限个事件的情形 $$P\left(\bigcup_{i=1}^n A_i\right) = 1-P\left(\bigcap_{i=1}^n \overline{A_i}\right).$$ 可列情形时也有公式 $$P\left(\bigcup_{n=1}^\infty A_n\right) = 1-P\left(\bigcap_{n=1}^\infty \overline{A_n}\right).$$

利用它可以证明很多有用的关系式，例如等待事件发生的概率（和几何分布相关） $$P\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n P(\overline{A_1}~\overline{A_2}\cdots\overline{A_{i-1}}A_i).$$ 等式两边同时加上$\bigcap_{i=1}^n \overline{A_i}$，即为$\mathit{\Omega}$，右侧利用$A_i + \overline{A_i} = \mathit{\Omega}$，即可得证。

全概率公式和 Bayes 公式

设有事件组$\{ A \}_{n=1}^\infty$，其中的任意两个事件互不相容且满足$\bigcup_{n=1}^\infty A_n = \mathit{\Omega}$，那么对任意的$B \in \mathit{\Omega}$成立公式 $$P(B) = \sum_{n=1}^\infty P(A_n) P(B|A_n).$$ 在多数实际问题中，上述只含有有限项，全概率公式应用广泛，是因为它可以将一个复杂多因素的问题分解为多个单因素的问题，从而逐个解决。

设事件$A, B \in \mathit{\Omega}$，那么 $$P(B) = P(A)P(B|A) + P(\overline{A}) P(B|\overline{A})$$ 这可以将一个事件化为与其相关事件来计算，这在一些敏感问题的调查统计中有重要应用。

另外还有 Bayes 公式：若事件$B$能且只能域两两不相容的事件$A_n, n = 1,2,\cdots$之一发生，那么成立公式 $$P(A_i|B) = \dfrac{P(A_i) P(B|A_i)}{\sum_{n=1}^\infty P(A_n) P(B|A_n)}$$ 这个公式可以由全概率公式推出，它所描述的实际意义是：各种事件$A_n, n = 1,2,\cdots$导致事件$B$的发生，现在要“溯源”：现在已知$B$发生了，那么$P(A_i|B)$就是是事件$A_i$导致$B$发生的概率。另外该公式也对“烽火戏诸侯”现象的理解提供理论依据。

参考资料

1. 李贤平, 《概率论基础（第3版）》, 高等教育出版社, 北京, 2010-04, ISBN 978-7-0402-8890-2.