Cramer-Rao 不等式

在數理統計中，Cramer-Rao 不等式是判斷一個無偏估計是否為一致最小方差無偏估計的方法之一，它給出了無偏的參數估計的一個下界，由此定義的 Fisher 信息陣是反映母體分佈對參數的敏感程度的函數。

Cramer-Rao 正則條件

假設取自總體參數分佈族$\mathcal{F} = \{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是參數空間。如果它滿足如下五條稱之為正則性的條件：

1. $\varTheta$是直線上的開區間；
2. 分佈族有相同的支集，即$\{ x \in \mathcal{X}: f(x; \theta) > 0 \}$不依賴於$\theta$（這表明均勻分佈族$U(0, \theta)$不滿足該性質）；
3. $\forall x \in \mathcal{X}, \forall \theta \in \varTheta$，偏導數$\dfrac{\partial f}{\partial \theta}$存在；
4. 連續情形下概率密度函數$f(x, \theta)$的積分可以和偏導交換次序，即$$\dfrac{\partial}{\partial \theta} \int_{\R} f(x; \theta) \mathrm{d}x = \int_{\R} \dfrac{\partial}{\partial \theta} f(x; \theta) \mathrm{d}x.$$離散情形下概率分佈律的無窮級數求和可以和偏導交換次序。
5. 如下定義的函數是有限的，即概率分佈的對數的偏導的二階矩存在。$$I(\theta) := E_\theta \! \left( \dfrac{\partial \ln f(x, \theta)}{\partial \theta} \right)^2 < + \infty$$

我們就說參數分佈族$\mathcal{F}$是正則參數族，稱$I(\theta)$是 Fisher 信息函數。進一步可以證明 $$I(\theta) = - E_\theta \! \left( \dfrac{\partial^2 \ln f(X; \theta)}{\partial \theta^2} \right).$$ 如果$X_1, X_2, \cdots, X_n$是取自$\mathcal{F}$的簡單隨機樣本，那麼它的信息量 $$I_n(\theta) = n I(\theta).$$

Cramer-Rao 不等式

假設取自總體參數分佈族$\mathcal{F} = \{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是參數空間。$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$是取自$\mathcal{F}$的簡單隨機樣本，$\hat{g}(\boldsymbol{X})$是可微的可估函數$g(\theta)$的一個無偏估計，且積分$\int_{\R^n} \hat{g}(\boldsymbol{x}) f(\boldsymbol{x}; \theta) \mathrm{d} \boldsymbol{x}$可以和偏導運算$\dfrac{\partial}{\partial \theta}$交換次序，那麼成立如下 Cramer-Rao 不等式 $$D_\theta(\hat{g}(\boldsymbol{X})) \geqslant \dfrac{(g'(\theta))^2}{n I(\theta)}.$$ 這表明，對於所有的無偏估計，它們是存在下界的，這裏給出的下界不是最優的，即不是下確界或最小值，如果存在一個無偏估計達到了這個下界，那麼這個無偏估計一定是 UMVUE. 注意，不滿足該定理的條件時結論不一定成立，例如均勻分佈族。

特別地可以驗證，對於指數分佈族上述條件皆滿足，因此成立這樣的不等式。

參考資料

1. 韋來生, 《數理統計（第二版）》, 科學出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.