充分统计量

在数理统计中，充分统计量（sufficient statistic）是一种包含有我们所感兴趣的所有信息的统计量，它是原始统计量的一个子集，利用它可以和原始统计量一样做推断。在数学定义中我们使用条件概率来定义充分统计量。充分统计量不是唯一的。

概念

假设样本$\boldsymbol{X}$的分布族是$\{ f(\boldsymbol{x}, \theta), \theta \in \varTheta \}$，$\varTheta$是参数空间。$T = T(\boldsymbol{X})$为一统计量，如果在已知$T$的条件下$X$的条件分布与$\theta$无关，我们就称$T$是充分统计量。

可以使用定义验证一个统计量是否为充分统计量，也可以使用下面的定理。

因子分解定理

设样本$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$的概率函数为$f(\boldsymbol{x}, \theta)$，$T$是一个统计量，则它是充分统计量当且仅当存在不依赖于$\theta$的函数$h(\boldsymbol{x})$以及包含$T(\boldsymbol{X})$的观察值$t(\boldsymbol{x})$作为自变量的函数$g(t(\boldsymbol{x}, \theta)$满足 $$f(\boldsymbol{x}, t) = g(t(\boldsymbol{x}, \theta) h(\boldsymbol{x}).$$ 由该定理可知，如果$T$是$\theta$的充分统计量，$g(x)$是单值可逆函数，那么$g(T)$也是$\theta$的充分统计量。

例子

1. 两点分布$b(1, p)$的充分统计量有$T = \sum_{k=1}^n X_k.$
2. 正态分布$N(\mu, \sigma^2)$关于参数$\theta = (\mu, \sigma^2)$的充分统计量有$(\overline{X}, S^2).$
3. 指数分布$\text{Exp}(\lambda)$的充分统计量有$T = \sum_{k=1}^n X_k.$
4. 均匀分布$U(0, \theta)$的充分统计量有$T = \max_{1 \leqslant k \leqslant n} X_k = X_{(n)}.$
5. 顺序统计量是充分统计量。

极小充分统计量

极小充分统计量是不断将充分统计量中无用信息剔除后的结果。它是如下定义的：假设$T$是参数分布族$\mathcal{F}$的一个充分统计量，如果对$\mathcal{F}$的任意充分统计量$S$，均存在一函数$q_S$满足$T = q_S(S)$，我们就称$T$是参数分布族$\mathcal{F}$的一个极小充分统计量，完全充分统计量是极小充分统计量，反之未必。

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.