Fisher 引理

在数理统计中，Fisher 引理（费希尔引理）是正态总体统计学中的核心结果，近代统计学是以其为基础建立的。

内容

假设随机变量$X_1, X_2, \cdots, X_n$是独立同分布的正态变量，$X_i \sim N(\mu, \sigma^2)$，分别记 $$\overline{X} = \dfrac{1}{n} \sum_{i=1}^n X_i, \quad S_n^2 = \dfrac{1}{n} \sum_{i=1}^n (X - \overline{X})^2$$ 为样本均值和样本方差，于是有如下结论：

1. $\overline{X}$和$S_n^2$相互独立；
2. $\overline{X} \sim N\!\left(\mu, \dfrac{\sigma^2}{n} \right);$
3. $\dfrac{nS_n^2}{\sigma^2} \sim \chi_{n-1}^2.$

证明的思路是寻找一个适当的正交矩阵$\boldsymbol{A}$，做适当正交变换$\boldsymbol{Y} = \boldsymbol{AX}$（$\{ X_i \}_{i=1}^n$变换之后得到的$\{ Y_i \}_{i=1}^n$依然是相互独立的）使得随机变量组$\{ Y_i \}_{i=1}^n$在新的坐标系下能分离表示出$\overline{X}$和$S_n^2$。

证明

设有正交矩阵 $$\boldsymbol{A} = \begin{pmatrix} \dfrac{1}{\sqrt{n}} & \dfrac{1}{\sqrt{n}} & \dfrac{1}{\sqrt{n}} & \cdots & \dfrac{1}{\sqrt{n}} \\ \dfrac{1}{\sqrt{2}} & \dfrac{-1}{\sqrt{2}} & 0 & \cdots & 0 \\ \dfrac{1}{\sqrt{3 \cdot 2}} & \dfrac{1}{\sqrt{3 \cdot 2}} & \dfrac{-2}{\sqrt{3 \cdot 2}} & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \dfrac{1}{\sqrt{n(n-1)}} & \dfrac{1}{\sqrt{n(n-1)}} & \dfrac{1}{\sqrt{n(n-1)}} & \cdots & \dfrac{-(n-1)}{\sqrt{n(n-1)}} \end{pmatrix}$$ 令$\boldsymbol{Y} = \boldsymbol{AX}$，其中$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)^\text{T}, \boldsymbol{Y} = (Y_1, Y_2, \cdots, Y_n)^\text{T}.$因此由随机变量的线性变换性质有 $$\boldsymbol{X} \sim N(\boldsymbol{\mu}, \sigma^2 \boldsymbol{E}_n), \quad \boldsymbol{Y} \sim N(\boldsymbol{A\mu}, \sigma^2 \boldsymbol{E}_n).$$ 其中，$\boldsymbol{\mu} = (\mu, \mu, \cdots, \mu)^{\text{T}} \in \R^n, \boldsymbol{E}_n$是$n$单位阵。进一步有 $$\begin{align} Y_1 & = \dfrac{1}{\sqrt{n}} \sum_{i=1}^n X_i \sim N(\sqrt{n}\mu, \sigma^2). \\ Y_i & \sim N(0, \sigma^2), \quad i = 2,3,\cdots,n. \end{align}$$ 且$\{ Y_i \}_{i=1}^n$是相互独立的随机变量组，又有 $$\begin{align} nS_n^2 & = \sum_{i=1}^n (X_i - \overline{X})^2 = \sum_{i=1}^n X_i^2 - n\overline{X}^2 \\ & = \sum_{i=1}^n Y_i^2 - Y_1^2 = Y_2^2 + Y_3^2 + \cdots + Y_n^2. \end{align}$$

1. 注意到$\overline{X} = \dfrac{1}{n} \sum_{i=1}^n X_i = \dfrac{1}{\sqrt{n}} Y_1$可知$\overline{X}$和$S_n^2$相互独立。
2. 由$Y_1 = \dfrac{1}{\sqrt{n}} \sum_{i=1}^n X_i \sim N(\sqrt{n}\mu, \sigma^2)$得到$\overline{X} \sim N\!\left(\mu, \dfrac{\sigma^2}{n} \right).$
3. $\dfrac{nS_n^2}{\sigma^2} = \sum_{i=2}^n \dfrac{Y_i^2}{\sigma^2} \sim \chi_{n-1}^2.$

推论

1. （Gosset-t）设$X_1, X_2, \cdots, X_n \text{ i.i.d. } \sim N(0, 1)$，则$$T := \dfrac{\sqrt{n}(\overline{X} - a)}{S} \sim t_{n-1}.$$此处$$S^2 = \dfrac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2.$$
2. （Fisher-F）设$X_1, X_2, \cdots, X_m \text{ i.i.d. } \sim N(\mu_1, \sigma^2_1), Y_1, Y_2, \cdots, Y_n \text{ i.i.d. } \sim N(\mu_2, \sigma^2_2)$且$\{ X_i \}_{i=1}^m$和$\{ Y_i \}_{i=1}^n$相互独立，则$$F := \dfrac{S_1^2}{S_2^2} \cdot \dfrac{\sigma_2^2}{\sigma_1^2} \sim F_{m-1, n-1}.$$其中$$S_1^2 = \dfrac{1}{m-1} \sum_{i=1}^m (X_i - \overline{X})^2, \quad S_2^2 = \dfrac{1}{m-1} \sum_{i=1}^n (Y_i - \overline{Y})^2.$$

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.