充分統計量

在數理統計中，充分統計量（sufficient statistic）是一種包含有我們所感興趣的所有信息的統計量，它是原始統計量的一個子集，利用它可以和原始統計量一樣做推斷。在數學定義中我們使用條件概率來定義充分統計量。充分統計量不是唯一的。

概念

假設樣本$\boldsymbol{X}$的分布族是$\{ f(\boldsymbol{x}, \theta), \theta \in \varTheta \}$，$\varTheta$是參數空間。$T = T(\boldsymbol{X})$為一統計量，如果在已知$T$的條件下$X$的條件分布與$\theta$無關，我們就稱$T$是充分統計量。

可以使用定義驗證一個統計量是否為充分統計量，也可以使用下面的定理。

因子分解定理

設樣本$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$的概率函數為$f(\boldsymbol{x}, \theta)$，$T$是一個統計量，則它是充分統計量當且僅當存在不依賴於$\theta$的函數$h(\boldsymbol{x})$以及包含$T(\boldsymbol{X})$的觀察值$t(\boldsymbol{x})$作為自變量的函數$g(t(\boldsymbol{x}, \theta)$滿足 $$f(\boldsymbol{x}, t) = g(t(\boldsymbol{x}, \theta) h(\boldsymbol{x}).$$ 由該定理可知，如果$T$是$\theta$的充分統計量，$g(x)$是單值可逆函數，那麼$g(T)$也是$\theta$的充分統計量。

例子

1. 兩點分布$b(1, p)$的充分統計量有$T = \sum_{k=1}^n X_k.$
2. 正態分布$N(\mu, \sigma^2)$關於參數$\theta = (\mu, \sigma^2)$的充分統計量有$(\overline{X}, S^2).$
3. 指數分布$\text{Exp}(\lambda)$的充分統計量有$T = \sum_{k=1}^n X_k.$
4. 均勻分布$U(0, \theta)$的充分統計量有$T = \max_{1 \leqslant k \leqslant n} X_k = X_{(n)}.$
5. 順序統計量是充分統計量。

極小充分統計量

極小充分統計量是不斷將充分統計量中無用信息剔除後的結果。它是如下定義的：假設$T$是參數分布族$\mathcal{F}$的一個充分統計量，如果對$\mathcal{F}$的任意充分統計量$S$，均存在一函數$q_S$滿足$T = q_S(S)$，我們就稱$T$是參數分布族$\mathcal{F}$的一個極小充分統計量，完全充分統計量是極小充分統計量，反之未必。

參考資料

1. 韋來生, 《數理統計（第二版）》, 科學出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.