一致最小方差無偏估計

在數理統計中，一致最小方差無偏估計（uniformly minimum variance unbiased estimation, UMVUE）是一種基於均方誤差的無偏點估計。

概念

假設樣本$\boldsymbol{X}$服從總體參數分佈族$\mathcal{F} = \{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是參數空間，設統計量$\hat{g}(\boldsymbol{X})$是待估函數$g(\theta)$的一個點估計，我們就稱 $$\text{MSE}(\hat{g}(\boldsymbol{X})) := E_\theta(\hat{g}(\boldsymbol{X}) - g(\theta))^2$$ 為$\hat{g}(\boldsymbol{X})$的均方誤差（mean square error, MSE）。

評價不同估計量之間的優劣就在於用均方誤差衡量：設$\hat{g}_1(\boldsymbol{X}), \hat{g}_2(\boldsymbol{X})$是兩個$g(\theta)$的估計量，如果 $$\forall \theta \in \varTheta, \quad \text{MSE}(\hat{g}_1(\boldsymbol{X})) \leqslant \text{MSE}(\hat{g}_2(\boldsymbol{X}))$$ 且至少有一點取到不等號，我們就說在 MSE 準則下$\hat{g}_1(\boldsymbol{X})$優於$\hat{g}_2(\boldsymbol{X}).$如果存在$\hat{g}^*(\boldsymbol{X})$使得對任意的$g(\theta)$的估計量$\hat{g}(\boldsymbol{X})$都有 $$\forall \theta \in \varTheta, \quad \text{MSE}(\hat{g}^*(\boldsymbol{X})) \leqslant \text{MSE}(\hat{g}(\boldsymbol{X}))$$ 我們就說$\hat{g}^*(\boldsymbol{X})$是$g(\theta)$的一致最小均方誤差估計。特別地，當要求$\hat{g}(\boldsymbol{X})$均是無偏估計時，均方誤差$\text{MSE}(\hat{g}(\boldsymbol{X}))$變為方差$D_\theta(\hat{g}(\boldsymbol{X}))$，這時的點估計稱為一致最小方差無偏估計。這樣可以定義的前提是：參數函數$g(\theta)$的無偏估計是存在的，UMVUE 是所有無偏估計中方差最小者。

性質

一致最小方差無偏估計一定是充分統計量的函數。實際上，假設$T = T(\boldsymbol{X})$是一個充分統計量，$\hat{g}(\boldsymbol{X})$是$g(\theta)$的一個無偏估計，那麼 $$h(T) = E(\hat{g}(\boldsymbol{X})|T)$$ 是$g(\theta)$的無偏估計，且 $$\forall \theta \in \varTheta, \quad D_\theta(h(T)) \leqslant D_\theta(\hat{g}(\boldsymbol{X}))$$ 等號取到當且僅當 $$P_\theta \{ \hat{g}(\boldsymbol{X}) = h(T) \} = 1.$$

Lehmann-Scheff 定理

假設樣本$\boldsymbol{X}$取自總體參數分佈族$\{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是參數空間。$g(\theta)$是待估的參數函數且它的無偏估計存在。假設$T = T(\boldsymbol{X})$是一個充分完備統計量，如果$\varphi(\boldsymbol{X})$是$g(\theta)$的無偏估計，那麼$E(\varphi(\boldsymbol{X})|T)$是$g(\theta)$的 UMVUE，且在估計量是幾乎處處相等的意義下該估計是唯一的。

這個定理告訴了我們兩種求 UMVUE 的思路：首先找到一個充分完備統計量$T = T(\boldsymbol{X})$，然後

1. 找到待估函數$g(\theta)$的一個無偏估計$\varphi$，計算條件期望$E(\varphi|T)$即為 UMVUE.
2. 找到統計量$T$的函數$\hat{g}(T)$使得它是待估函數$g(\theta)$的無偏估計，則$\hat{g}(T)$就是 UMVUE.

參考資料

1. 韋來生, 《數理統計（第二版）》, 科學出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.