Behrens-Fisher 问题/假设检验

Behrens-Fisher 问题是数理统计的参数估计的一个问题，它是说给定两组相互独立的正态分布样本，这两组正态分布样本对应的随机变量分布的相似程度。这种问题的一般情况到目前没有精确表示，激起了很多学者的持续研究。

这个页面介绍参数假设检验，参数估计问题详见 Behrens-Fisher 问题。

问题描述

假设相互独立的样本$X_i \sim N(\mu_1, \sigma_1^2), Y_j \sim N(\mu_2, \sigma_2^2), i = 1,2,\cdots,m, j=1,2,\cdots,n$，通过合适的统计量对不同情形下的$\mu_1, \sigma_1^2, \mu_2, \sigma^2$作假设检验，来衡量整两个正态分布总体的差异，一般来说我们使用均值差$\mu_2 - \mu_1$和方差比$\dfrac{\sigma_1^2}{\sigma_2^2}$来衡量这两个正态总体。

首先指出一些记号 $${\begin{aligned}{\overline {X}}&={\dfrac {1}{m}}\sum _{k=1}^{m}X_{k},\\S_{X}^{2}&={\dfrac {1}{m-1}}\sum _{k=1}^{m}(X_{k}-{\overline {X}})^{2},\\S_{\mu _{1}}^{2}&={\dfrac {1}{m}}\sum _{k=1}^{m}(X_{k}-\mu _{1})^{2},\end{aligned}}\quad {\begin{aligned}{\overline {Y}}&={\dfrac {1}{n}}\sum _{k=1}^{n}Y_{k},\\S_{Y}^{2}&={\dfrac {1}{n-1}}\sum _{k=1}^{n}(Y_{k}-{\overline {Y}})^{2},\\S_{\mu _{2}}^{2}&={\dfrac {1}{n}}\sum _{k=1}^{n}(Y_{k}-\mu _{2})^{2}.\end{aligned}}$$ 分别是对应样本的样本均值、无偏方差和母体二阶中心矩。下面我们分均值差和方差比两种情况讨论。

均值差情形

下面我们讨论$\mu_2 - \mu_1$的假设检验，有以下三种情况 $$\begin{align} H_0: \mu_1 \geqslant \mu_2 & \longleftrightarrow H_1: \mu_1 < \mu_2, \\ H_0: \mu_1 \leqslant \mu_2 & \longleftrightarrow H_1: \mu_1 > \mu_2, \\ H_0: \mu_1 = \mu_2 & \longleftrightarrow H_1: \mu_1 \ne \mu_2. \end{align}$$ 分为方差已知和方差未知两种类型：

两方差已知

如果$\sigma_1^2, \sigma_2^2$已知，那么$\overline{Y} - \overline{X}$是$\mu_2 - \mu_1$的极大似然估计，注意到 $$(\overline{X} - \overline{Y})|H_0 \sim N\!\left( \mu_1 - \mu_2, \dfrac{\sigma_1^2}{m} + \dfrac{\sigma_2^2}{n} \right)$$ 于是取 $$U = \dfrac{(\overline{X}-\overline{Y})}{\sqrt{\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n}}}$$ 为检验统计量。于是得到 $$\begin{align} H_0: \mu_1 \geqslant \mu_2 & \longleftrightarrow H_1: \mu_1 < \mu_2, && W = \{ U \leqslant u_\alpha \}, \\ H_0: \mu_1 \leqslant \mu_2 & \longleftrightarrow H_1: \mu_1 > \mu_2, && W = \{ U \geqslant u_{1-\alpha} \}, \\ H_0: \mu_1 = \mu_2 & \longleftrightarrow H_1: \mu_1 \ne \mu_2, && W = \{ |U| \leqslant u_{\alpha/2} \}. \end{align}$$

成对试验

当$m= n$时该样本试验称为成对试验，在这种情形下，不管$\sigma_1^2, \sigma_2^2$是否已知，都可以求解，思路是：注意到 $$Z_i|H_0 = (Y_i - X_i)|H_0 \sim N(\mu_2 - \mu_1, \sigma_1^2 + \sigma_2^2), \quad i=1,2,\cdots,n.$$ $\overline{Z}$是$\mu_2 - \mu_1$的无偏点估计，记$S_Z^2 = \sum_{i=1}^n (Z_i - \overline{Z})$，则选择的检验统计量 $$t = \dfrac{\overline{Z}}{S_Z/\sqrt{n}}.$$ 那么 $$\begin{align} H_0: \mu_1 \geqslant \mu_2 & \longleftrightarrow H_1: \mu_1 < \mu_2, && W = \{ t \leqslant t_{n-1}(\alpha) \}, \\ H_0: \mu_1 \leqslant \mu_2 & \longleftrightarrow H_1: \mu_1 > \mu_2, && W = \{ t \geqslant t_{n-1}(1-\alpha) \}, \\ H_0: \mu_1 = \mu_2 & \longleftrightarrow H_1: \mu_1 \ne \mu_2, && W = \{ |t| \leqslant t_{n-1}(\alpha/2) \}. \end{align}$$

方差比已知

如果方差未知但是知道它们是成比例的，且知道比例系数$k = \dfrac{\sigma_2^2}{\sigma_1^2} > 0$，那么可以对$\sigma_2^2$对应的数据做伸缩做变量替换从而使得两组数据的总体方差相等，下面假设两者方差相等，注意到变量 $$S^2 = \dfrac{1}{m+n-2}\left(\sum_{i=1}^m (X_i - \overline{X})^2 + \sum_{k=1}^n (Y_k - \overline{Y})^2\right)$$ 是$\sigma^2$的无偏估计，注意到 $$\left. \dfrac{(\overline{X}-\overline{Y}) - (\mu_1 - \mu_2)}{\sqrt{S^2/m+S^2/n}} \right|H_0 \sim t_{m+n-2}$$ 于是令 $$t = \dfrac{\overline{X} - \overline{Y}}{\sqrt{S^2/m + S^2/n}}$$ 是检验统计量，$t|H_0 \sim t(m+n-2,\delta), \delta = \dfrac{\mu_1 - \mu_2}{\sqrt{\frac{\sigma^2}{m}+\frac{\sigma^2}{n}}}.$ 因此三种假设检验问题对应的拒绝域分别是 $$\begin{align} H_0: \mu_1 \geqslant \mu_2 & \longleftrightarrow H_1: \mu_1 < \mu_2, && W = \{ t \leqslant t_{m+n-2}(\alpha) \}, \\ H_0: \mu_1 \leqslant \mu_2 & \longleftrightarrow H_1: \mu_1 > \mu_2, && W = \{ t \geqslant t_{m+n-2}(\alpha) \}, \\ H_0: \mu_1 = \mu_2 & \longleftrightarrow H_1: \mu_1 \ne \mu_2, && W = \{ |t| \leqslant t_{m+n-2}(\alpha/2) \}. \end{align}$$

一般情形

如果所考虑的分布不满足如上的任何一种情况，那么到目前为止还没有解出精确解法，一种可行的方法是大样本方法，即当$m, n \to \infty$时采用正态分布做近似，构造检验统计量 $$U = \dfrac{(\overline{X} - \overline{Y})}{S_*}.$$ 其中$S_*^2 = \dfrac{S_X^2}{m} + \dfrac{S_Y^2}{n}.$进行 U 检验。

也可以用另一种由 Welch 给出的近似方法（特别是小样本场合下）：令 $$T_* = \dfrac{(\overline{Y} - \overline{X}) - (\mu_2 - \mu_1)}{S_*^2}$$ 零假设成立时它近似服从 t 分布$t_r$，其中整数$r$是和下式 $$\dfrac{S_*^4}{\frac{S_X^4}{m^2(m-1)} + \frac{S_Y^4}{n^2(n-1)}}$$ 最接近的整数。取检验统计量 $$U = \dfrac{(\overline{X} - \overline{Y})}{S_*}.$$ 再使用 t 检验。

方差比情形

下面我们讨论$\dfrac{\sigma_2^2}{\sigma_1^2}$的假设检验，有以下三种情况 $$\begin{align} H_0: \sigma_1 \geqslant \sigma_2 & \longleftrightarrow H_1: \sigma_1 < \sigma_2, \\ H_0: \sigma_1 \leqslant \sigma_2 & \longleftrightarrow H_1: \sigma_1 > \sigma_2, \\ H_0: \sigma_1 = \sigma_2 & \longleftrightarrow H_1: \sigma_1 \ne \sigma_2. \end{align}$$ 分为均值已知和均值未知两种类型：

均值差已知

此时$S_{\mu_1}^2, S_{\mu_2}^2$是$\sigma_1^2, \sigma_2^2$的一致最小方差无偏估计。由 Fisher 引理， $$\left. \dfrac{mS_{\mu_1}^2}{\sigma_1^2} \right|H_0 \sim \chi^2_m, \quad \left. \dfrac{nS_{\mu_2}^2}{\sigma_2^2} \right|H_0 \sim \chi^2_n.$$ 因此令 $$F = \dfrac{S_{\mu_1}^2}{S_{\mu_2}^2}$$ 为检验统计量。得到三种假设检验问题对应的拒绝域分别是 $$\begin{align} H_0: \sigma_1 \geqslant \sigma_2 & \longleftrightarrow H_1: \sigma_1 < \sigma_2, && W = \{ F \leqslant F_{m,n}(\alpha) \}, \\ H_0: \sigma_1 \leqslant \sigma_2 & \longleftrightarrow H_1: \sigma_1 > \sigma_2, && W = \{ F \geqslant F_{m,n}(1-\alpha) \}, \\ H_0: \sigma_1 = \sigma_2 & \longleftrightarrow H_1: \sigma_1 \ne \sigma_2, && W = \{ F \leqslant F_{m,n}(\alpha/2) \text{ or } F \geqslant F_{m,n}(1-\alpha/2) \}. \end{align}$$ 注意最后一种情况我们采用了 F 分布的双边平分的近似。这种检验称为 F 检验。

均值差未知

$S_X^2, S_Y^2$是$\sigma_1^2, \sigma_2^2$的无偏点估计，进而构造检验统计量 $$F = \dfrac{S_X^2}{S_Y^2}.$$ 得到三种假设检验问题对应的拒绝域分别是 $$\begin{align} H_0: \sigma_1 \geqslant \sigma_2 & \longleftrightarrow H_1: \sigma_1 < \sigma_2, && W = \{ F \leqslant F_{m-1,n-1}(\alpha) \}, \\ H_0: \sigma_1 \leqslant \sigma_2 & \longleftrightarrow H_1: \sigma_1 > \sigma_2, && W = \{ F \geqslant F_{m-1,n-1}(1-\alpha) \}, \\ H_0: \sigma_1 = \sigma_2 & \longleftrightarrow H_1: \sigma_1 \ne \sigma_2, && W = \{ F \leqslant F_{m-1,n-1}(\alpha/2) \text{ or } F \geqslant F_{m,n}(1-\alpha/2) \}. \end{align}$$ 以上两种情况的区别在于，虽然都构造了形式相同的检验统计量，但前者没有做均值的点估计（因为总体均值是已知的），后者需要借样本均值做一个无偏估计，因此自由度会减少一个。

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.