Cramer-Rao 不等式

在数理统计中，Cramer-Rao 不等式是判断一个无偏估计是否为一致最小方差无偏估计的方法之一，它给出了无偏的参数估计的一个下界，由此定义的 Fisher 信息阵是反映母体分布对参数的敏感程度的函数。

Cramer-Rao 正则条件

假设取自总体参数分布族$\mathcal{F} = \{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是参数空间。如果它满足如下五条称之为正则性的条件：

1. $\varTheta$是直线上的开区间；
2. 分布族有相同的支集，即$\{ x \in \mathcal{X}: f(x; \theta) > 0 \}$不依赖于$\theta$（这表明均匀分布族$U(0, \theta)$不满足该性质）；
3. $\forall x \in \mathcal{X}, \forall \theta \in \varTheta$，偏导数$\dfrac{\partial f}{\partial \theta}$存在；
4. 连续情形下概率密度函数$f(x, \theta)$的积分可以和偏导交换次序，即$$\dfrac{\partial}{\partial \theta} \int_{\R} f(x; \theta) \mathrm{d}x = \int_{\R} \dfrac{\partial}{\partial \theta} f(x; \theta) \mathrm{d}x.$$离散情形下概率分布律的无穷级数求和可以和偏导交换次序。
5. 如下定义的函数是有限的，即概率分布的对数的偏导的二阶矩存在。$$I(\theta) := E_\theta \! \left( \dfrac{\partial \ln f(x, \theta)}{\partial \theta} \right)^2 < + \infty$$

我们就说参数分布族$\mathcal{F}$是正则参数族，称$I(\theta)$是 Fisher 信息函数。进一步可以证明 $$I(\theta) = - E_\theta \! \left( \dfrac{\partial^2 \ln f(X; \theta)}{\partial \theta^2} \right).$$ 如果$X_1, X_2, \cdots, X_n$是取自$\mathcal{F}$的简单随机样本，那么它的信息量 $$I_n(\theta) = n I(\theta).$$

Cramer-Rao 不等式

假设取自总体参数分布族$\mathcal{F} = \{ f(x; \theta), \theta \in \varTheta \}$，其中$\varTheta$是参数空间。$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$是取自$\mathcal{F}$的简单随机样本，$\hat{g}(\boldsymbol{X})$是可微的可估函数$g(\theta)$的一个无偏估计，且积分$\int_{\R^n} \hat{g}(\boldsymbol{x}) f(\boldsymbol{x}; \theta) \mathrm{d} \boldsymbol{x}$可以和偏导运算$\dfrac{\partial}{\partial \theta}$交换次序，那么成立如下 Cramer-Rao 不等式 $$D_\theta(\hat{g}(\boldsymbol{X})) \geqslant \dfrac{(g'(\theta))^2}{n I(\theta)}.$$ 这表明，对于所有的无偏估计，它们是存在下界的，这里给出的下界不是最优的，即不是下确界或最小值，如果存在一个无偏估计达到了这个下界，那么这个无偏估计一定是 UMVUE. 注意，不满足该定理的条件时结论不一定成立，例如均匀分布族。

特别地可以验证，对于指数分布族上述条件皆满足，因此成立这样的不等式。

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.