点估计

在数理统计中，点估计（point estimation）是参数估计的一种，它的主要任务是给出一个含有未知参数$\theta$的参数分布族，再给出一个参数$\theta$的待估函数，用总体中取出的样本$\boldsymbol{X}$构造一个样本函数，去作为待估函数$g(\theta)$的估计。

相关概念

假设有一个含有未知参数$\theta$（可以是高维向量）的总体参数分布族$\mathcal{F} = \{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是参数空间。从总体中得到一组样本$\boldsymbol{X} = (X_1, X_2, \cdots X_n)$，另假设有$\theta$的函数$g(\theta)$，这称为待估函数，我们要用这些样本的某个函数$\hat{g}(\boldsymbol{X})$去估计$g(\theta)$的值，这里的$\hat{g}(\boldsymbol{X})$是基于样本$\boldsymbol{X}$得出的统计量，我们称其为$g(\theta)$的估计量，这样的问题就称为点估计问题。

参数估计的另一个方法是区间估计，在那里我们使用带有误差限的方式估计待估函数。

性质

做点估计我们往往需要考虑一个估计量满足的一些性质，这些性质常用来判断估计量的合理性和优劣性。

无偏性

假设从总体中抽出的样本$\boldsymbol{X}$得到的一个估计量$\hat{g}(\boldsymbol{X})$满足

$$E_\theta(\hat{g}(\boldsymbol{X})) = g(\theta), \quad \theta \in \varTheta$$

我们就说$\hat{g}(\boldsymbol{X})$是$g(\theta)$的一个无偏估计（unbiased estimation）。无偏估计有很好的解析与统计性质，在经典频率学派中是很重要的，它要求单次结果不一定准确，但是大量重复的结果有统计上的没有偏差的性质。这同时也是它的局限性所在：因为并不是所有估计问题的样本是出现很多次的，例如对近期天气的预报，这种情况下经典频率学派的观点就会出问题。

如果样本$\boldsymbol{X}$可以取很多次，每次估计的结果不是无偏的，但是取出的一列样本得到的估计量$\hat{g}_n(\boldsymbol{X})$满足

$$\lim_{n \to \infty} E_\theta(\hat{g}_n(\boldsymbol{X})) = g(\theta), \quad \forall \theta \in \varTheta.$$

我们就说估计量$\hat{g}_n(\theta)$是渐近无偏的。很多估计量可能不是无偏的，但很有可能是渐近无偏的。

有效性

假设定义中的估计问题有两个无偏估计量$\hat{g}_1(\boldsymbol{X}), \hat{g}_2(\boldsymbol{X})$，且

$$\begin{align} D_\theta(\hat{g}_1(\boldsymbol{X})) & \leqslant D_\theta(\hat{g}_2(\boldsymbol{X})), \quad \forall \theta \in \varTheta, \\ D_\theta(\hat{g}_1(\boldsymbol{X})) & < D_\theta(\hat{g}_2(\boldsymbol{X})), \quad \exists \theta \in \varTheta. \end{align}$$

我们就说$\hat{g}_1(\boldsymbol{X})$比$\hat{g}_2(\boldsymbol{X})$有效。有效性是表示了多个无偏估计量中方差较小的那个估计量，这个估计量在估计上更稳定，见有效估计。

大样本性质

大样本性质是估计量依赖的样本量充分大时，估计量向着待估函数极限逼近的性质，主要有相合估计（consistent estimation）和渐近正态估计，大样本性质对应了概率极限理论中的各种收敛形式。以下均假设$\forall n \in \N^+, \hat{g}_n(\boldsymbol{X}) = \hat{g}_n(X_1, X_2, \cdots, X_n)$是$g(\theta)$的一个估计量。

相合估计主要有

弱相合估计，对应依概率收敛（几乎处处收敛）和弱大数定律：

$$\forall \theta \in \varTheta, \forall \varepsilon > 0, \quad \lim_{n to \infty} P_\theta \{ |\hat{g}_n(\boldsymbol{X}) - g(\theta)| > \varepsilon \} = 0.$$

强相合估计，对应以概率1收敛和强大数定律：

$$\forall \theta \in \varTheta, \quad \lim_{n to \infty} P_\theta \{ \hat{g}_n(\boldsymbol{X}) = g(\theta)| \} = 0.$$

$r$阶矩相合估计，对应$r$阶矩收敛：

$$\forall \theta \in \varTheta, \quad \lim_{n to \infty} E_\theta |\hat{g}_n(\boldsymbol{X}) - g(\theta)|^r = 0.$$

相合渐近正态性（consistent asymptotic normal estimation, CAN 估计）对应了依分布收敛和中心极限定理：如果存在$\varTheta$上的函数$A_n(\theta), B_n(\theta)$且$B(\theta) > 0, \forall \theta \in \varTheta$使得

$$\dfrac{\hat{g}_n(\boldsymbol{X}) - A_n(\theta)}{B_n(\theta)} \overset{\mathcal{L}}{\longrightarrow} N(0, 1).$$

我们就说$\hat{g}_n(\boldsymbol{X})$是$g(\theta)$的相合渐近正态估计。

方法

常用的点估计方法主要有

1. 矩估计（MM）：最简单且易操作的，性质也很好，但是用处不大。
2. 极大似然估计（MLE）：比较常用的估计方法，和最小二乘法等有关。
3. 一致最小方差无偏估计（UMVUE）：基于均方误差的无偏估计。
4. 最佳线性无偏估计（BLUE）：在信号处理等问题中使用。
5. 简单线性无偏估计（GLUE）：可操作性强的一种线性无偏估计。

此外 Bayes 估计是 Bayes 学派给出的估计方法，它是将未知参数视作随机变量的估计方法，最后求得的估计量是参数的概率分布。

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.