区间估计

在统计推断的参数估计中，区间估计（interval estimation）是一种估计使用一些试验样本去估计一个含参分布族的参数的方法，它是弥补点估计的不足提出的，其古典理论由 Neyman 建立。

概述

假设有一个参数分布族$\mathcal{F} = \{ f(x; \theta): \theta \in \varTheta \}$，其中$\varTheta$是参数空间。$g(\theta)$是定义在参数空间上的已知函数，如果我们采用试验样本$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$的某个函数$\hat{g}(\boldsymbol{X})$直接去作为函数$g(\theta)$的估计，这就是点估计方法，那么这种估计的精度我们没办法刻画，单点取值的概率（尤其是连续分布情形下）不能帮助我们有效地去估计参数地具体取值。因此这时可以容许估计的范围扩大，即我们说$g(\theta)$可能落在区间$[\hat{g}(\boldsymbol{X}) - d(\boldsymbol{X}), \hat{g}(\boldsymbol{X}) + d(\boldsymbol{X})]$内，这样就是区间估计的基本思想。

另外，给一个区间估计，我们考虑的问题是：

1. 这个估计的可信度，也就是说，我们有多大的把握保证我们的区间估计包含待估函数的值，一般来说区间长度越大我们的把握也越大。
2. 这个估计的精度，如果区间长度过大对我们的估计其实是不好的，我们需要的估计要适当的精确一些，一般来说的理想情况是精度在我们所关心的估计里对重点关注的问题是足够的，如果不足够会导致我们的研究没有意义。

这分别引出置信度和精度的概念。

定义

假设有一个参数分布族$\mathcal{F} = \{ f(x; \theta): x \in \mathcal{X}, \theta \in \varTheta \}$，其中$\varTheta$是参数空间。$g(\theta)$是定义在参数空间上的已知函数，$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$是取自参数分布族的一组样本。假设$\hat{g}_1(\boldsymbol{X})$和$\hat{g}_2(\boldsymbol{X})$是定义域为样本空间$\mathcal {X}$且值域为$\varTheta$的两个统计量，且$\hat{g}_1(\boldsymbol{X}) \leqslant \hat{g}_2(\boldsymbol{X})$，我们就称随机区间$[\hat{g}_1(\boldsymbol{X}), \hat{g}_2(\boldsymbol{X})]$为$g(\theta)$的区间估计量，简称区间估计。

在参数空间为高维的情形下，我们也有上述类似的定义，详见置信域。

置信水平

假设随机区间$[L(\boldsymbol{X}), U(\boldsymbol{X})]$是一个$g(\theta)$的区间估计，我们称$P_\theta \{ g(\theta) \in [L(\boldsymbol{X}), U(\boldsymbol{X})] \}$为该区间估计的置信水平或置信度。置信水平关于参数空间的下确界 $$\inf_{\theta \in \varTheta} P_\theta \{ g(\theta) \in [L(\boldsymbol{X}), U(\boldsymbol{X})] \}$$ 称为置信系数，这个概念反映了区间估计对所有参数的适应性优劣水平。

而刻画精度的概念主要用随机区间关于参数的平均长度$E_\theta(U(\boldsymbol{X}) - L(\boldsymbol{X}))$来表征。

置信区间

我们知道精度和置信度不能兼得，因此 Neyman 提出一种在给定置信度不小于某个概率的条件下让精度达到最大的方案，这就是置信区间估计方法。假设$[L(\boldsymbol{X}), U(\boldsymbol{X})]$是一个$g(\theta)$的区间估计，给定$\alpha \in (0, 1)$，如果 $$P_\theta \{ g(\theta) \in [L(\boldsymbol{X}), U(\boldsymbol{X})] \} \geqslant 1-\alpha.$$ 我们就说$[L(\boldsymbol{X}), U(\boldsymbol{X})]$是$g(\theta)$的置信水平为$1-\alpha$的置信区间。

一般来说我们不知道上述不等式的等号是否达到，在连续型场合下一般是可以达到的，我们有时也将取等号时的最佳的区间称为其同等置信区间。

有时候我们考虑的问题是参数不会高于或低于某个指标值，而不关系另一侧的情况，这时引入单侧置信限的概念：假设$(-\infty, U(\boldsymbol{X})]$是一个$g(\theta)$的区间估计，给定$\alpha \in (0, 1)$，如果 $$P_\theta \{ g(\theta) \leqslant U(\boldsymbol{X})] \} \geqslant 1-\alpha.$$ 我们就说$U(\boldsymbol{X})$是$g(\theta)$的置信水平为$1-\alpha$的（单侧）置信上限。同样可以定义（单侧）置信下限的概念以及同等置信上（下）限的概念。

假设$U(\boldsymbol{X}), L(\boldsymbol{X})$分别是置信水平为$1-\alpha_U, 1-\alpha_L$的单侧置信上下限，那么区间估计$[L(\boldsymbol{X}), U(\boldsymbol{X})]$是置信水平为$1-(\alpha_U+\alpha_L)$的置信区间。

置信域

在参数空间为高维的情形下由置信域的概念以代替置信区间的概念：我们不妨假设待故函数就是参数$\boldsymbol{\theta} = (\theta_1, \theta_2, \cdots, \theta_m) \in \varTheta \subset \R^m$本身，设样本$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$的集合函数$S(\boldsymbol{X})$满足：

1. 对任意样本观察值$\boldsymbol{x}, S(\boldsymbol{x})$是$\varTheta$的子集；
2. 对给定的$\alpha \in (0, 1)$，$P_\boldsymbol{\theta} \{ \boldsymbol{\theta} \in S(\boldsymbol{X}) \} \geqslant 1-\alpha, \forall \boldsymbol{\theta} \in \varTheta.$

我们称$S(\boldsymbol{X})$是$\boldsymbol{\theta}$的置信域。一般采用规则图形（矩体，球体等）作为置信域。

优化问题求解

求解置信区间或置信域实际上给出了一个条件优化问题： $$\begin{align} &\quad~~ \min E_\theta (U(\boldsymbol{X}) - L(\boldsymbol{X})), \\ &\text{s.t. } P_\theta \{ g(\theta) \in [L(\boldsymbol{X}), U(\boldsymbol{X})] \} \geqslant 1-\alpha. \end{align}$$ Neyman 给出了一种枢轴变量法，通过引进一种表达式中含有参数，但分布又不依赖于参数的变量来求解上述问题。但是一般来说，如果找不到这样的变量就需要另寻他法，例如大样本方法（使用中心极限定理对渐近分布做统计推断）。

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.