Lehmann-Scheff 定理

Lehmann-Scheff 定理是数理统计中的一个定理，它可以帮助我们借助充分完备统计量来给出点估计中一个参数函数的一致最小方差无偏估计。

内容

假设样本$\boldsymbol{X}$取自总体参数分布族$\{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是参数空间。$g(\theta)$是待估的参数函数且它的无偏估计存在。假设$T = T(\boldsymbol{X})$是一个充分完备统计量，如果$\varphi(\boldsymbol{X})$是$g(\theta)$的无偏估计，那么$E(\varphi(\boldsymbol{X})|T)$是$g(\theta)$的 UMVUE，且在估计量是几乎处处相等的意义下该估计是唯一的。

证明

存在性

假设$\varphi = \varphi(\boldsymbol{X})$是$g(\theta)$的一个无偏估计，即 $$E_\theta(\varphi(\boldsymbol{X})) = g(\theta), \quad \forall \theta \in \varTheta.$$ 记 $$\hat{g} = E(\varphi(\boldsymbol{X})|T).$$ 那么$\hat g$是$g(\theta)$的无偏估计，下面证明他就是 UMVUE. 假设$f = f(\boldsymbol{X})$是另外一个$g(\theta)$的无偏估计，则$E(f(\boldsymbol{X})|T)$也是无偏估计，且 $$D_\theta(E(f(\boldsymbol{X})|T)) \leqslant D_\theta(f(\boldsymbol{X})).$$ 由于$\hat g$和$E(f|T)$都是$g(\theta)$的无偏估计，必有 $$E_\theta(\hat{g} - E(f|T)) = 0, \quad \forall \theta \in \varTheta.$$ 由于$T$是完备统计量， $$P_\theta \{ \hat{g} = E(f|T) \} = 1, \quad \forall \theta \in \varTheta.$$ 于是 $$D_\theta(\hat{g}) = D_\theta(E(f|T)) \leqslant D_\theta(f(\boldsymbol{X})), \quad \forall \theta \in \varTheta.$$ 证毕。

唯一性

假设$S = S(\boldsymbol{X}), T = T(\boldsymbol{X})$都是$g(\theta)$的 UMVUE，即 $$E_\theta(S) = E_\theta(T) = g(\theta), \quad D_\theta(S) = D_\theta(T), \quad \forall \theta \in \varTheta.$$ 定义$W = \dfrac{1}{2}(S+T).$那么它是$g(\theta)$的无偏估计，于是 $$\begin{align} D_\theta(S) & \leqslant D_\theta(W) \\ & \leqslant \dfrac{1}{4} (D_\theta(S) + D_\theta(T) + 2\text{cov}_\theta (S, T)) \\ & \leqslant \dfrac{1}{4} \left( D_\theta(S) + D_\theta(T) + 2\sqrt{D_\theta(S) D_\theta(T)} \right) \\ & = D_\theta(T). \end{align}$$ 于是，我们证明了$W$也是 UMVUE. 但同时上述协方差到下一步是 Cauchy-Schwarz 不等式，它取到等号当且仅当 $$P_\theta \{ S(\boldsymbol{X}) = T(\boldsymbol{X}) \} = 1, \quad \forall \theta \in \varTheta.$$ 这就证明了唯一性。

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.