一致最小方差无偏估计

在数理统计中，一致最小方差无偏估计（uniformly minimum variance unbiased estimation, UMVUE）是一种基于均方误差的无偏点估计。

概念

假设样本$\boldsymbol{X}$服从总体参数分布族$\mathcal{F} = \{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是参数空间，设统计量$\hat{g}(\boldsymbol{X})$是待估函数$g(\theta)$的一个点估计，我们就称 $$\text{MSE}(\hat{g}(\boldsymbol{X})) := E_\theta(\hat{g}(\boldsymbol{X}) - g(\theta))^2$$ 为$\hat{g}(\boldsymbol{X})$的均方误差（mean square error, MSE）。

评价不同估计量之间的优劣就在于用均方误差衡量：设$\hat{g}_1(\boldsymbol{X}), \hat{g}_2(\boldsymbol{X})$是两个$g(\theta)$的估计量，如果 $$\forall \theta \in \varTheta, \quad \text{MSE}(\hat{g}_1(\boldsymbol{X})) \leqslant \text{MSE}(\hat{g}_2(\boldsymbol{X}))$$ 且至少有一点取到不等号，我们就说在 MSE 准则下$\hat{g}_1(\boldsymbol{X})$优于$\hat{g}_2(\boldsymbol{X}).$如果存在$\hat{g}^*(\boldsymbol{X})$使得对任意的$g(\theta)$的估计量$\hat{g}(\boldsymbol{X})$都有 $$\forall \theta \in \varTheta, \quad \text{MSE}(\hat{g}^*(\boldsymbol{X})) \leqslant \text{MSE}(\hat{g}(\boldsymbol{X}))$$ 我们就说$\hat{g}^*(\boldsymbol{X})$是$g(\theta)$的一致最小均方误差估计。特别地，当要求$\hat{g}(\boldsymbol{X})$均是无偏估计时，均方误差$\text{MSE}(\hat{g}(\boldsymbol{X}))$变为方差$D_\theta(\hat{g}(\boldsymbol{X}))$，这时的点估计称为一致最小方差无偏估计。这样可以定义的前提是：参数函数$g(\theta)$的无偏估计是存在的，UMVUE 是所有无偏估计中方差最小者。

性质

一致最小方差无偏估计一定是充分统计量的函数。实际上，假设$T = T(\boldsymbol{X})$是一个充分统计量，$\hat{g}(\boldsymbol{X})$是$g(\theta)$的一个无偏估计，那么 $$h(T) = E(\hat{g}(\boldsymbol{X})|T)$$ 是$g(\theta)$的无偏估计，且 $$\forall \theta \in \varTheta, \quad D_\theta(h(T)) \leqslant D_\theta(\hat{g}(\boldsymbol{X}))$$ 等号取到当且仅当 $$P_\theta \{ \hat{g}(\boldsymbol{X}) = h(T) \} = 1.$$

Lehmann-Scheff 定理

假设样本$\boldsymbol{X}$取自总体参数分布族$\{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是参数空间。$g(\theta)$是待估的参数函数且它的无偏估计存在。假设$T = T(\boldsymbol{X})$是一个充分完备统计量，如果$\varphi(\boldsymbol{X})$是$g(\theta)$的无偏估计，那么$E(\varphi(\boldsymbol{X})|T)$是$g(\theta)$的 UMVUE，且在估计量是几乎处处相等的意义下该估计是唯一的。

这个定理告诉了我们两种求 UMVUE 的思路：首先找到一个充分完备统计量$T = T(\boldsymbol{X})$，然后

1. 找到待估函数$g(\theta)$的一个无偏估计$\varphi$，计算条件期望$E(\varphi|T)$即为 UMVUE.
2. 找到统计量$T$的函数$\hat{g}(T)$使得它是待估函数$g(\theta)$的无偏估计，则$\hat{g}(T)$就是 UMVUE.

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.