极大似然估计

在数理统计中，极大似然估计（maximum likelihood estimation, MLE）是一种常用的参数估计方法，它的似然函数被广泛应用于各种度量精确度的场合，最小二乘法是该估计的特例，它要求残差服从标准正态分布。该方法是 Fisher 在1912年提出的，早年 Gauss 在导出正态分布时已经使用到相似的原理。

参数假设检验中的似然比检验和参数估计的极大似然估计有着相似的想法。

似然函数

假设样本的概率函数为$f(\boldsymbol{x}; \theta)$，由此确定参数分布族$\{ f(\boldsymbol{x}; \theta), \theta \in \varTheta \}$，其中$\varTheta$是参数空间，$\boldsymbol{x}, \theta$都允许是向量。将$f(\boldsymbol{x}; \theta)$视作$\theta$的函数时称其为似然函数（likelihood function），记 $$L(\theta, \boldsymbol{x}) = f(\boldsymbol{x}; \theta), \forall \theta \in \varTheta$$ 它定义在参数空间$\varTheta$上，并在$L(\theta, \boldsymbol{x})$非负时称$l(\theta, \boldsymbol{x}) = \ln L(\theta, \boldsymbol{x})$为对数似然函数。

极大似然估计

假设样本$\boldsymbol{X}$取自总体参数分布族为$\mathcal{F} = \{ f(\boldsymbol{x}, \theta), \theta \in \varTheta \}$，$L(\theta, \boldsymbol{x})$是似然函数，如果存在统计量$\hat{\theta}^* = \hat{\theta}^*(\boldsymbol{X})$满足条件 $$L(\hat{\theta}, \boldsymbol{x}) = \sup_{\theta \in \varTheta} L(\theta, \boldsymbol{x}), \quad \forall \boldsymbol{x} \in \mathcal{X}$$ 我们就说$\hat{\theta}$是$\theta$的极大似然估计，这等价于在对数似然函数有意义时，成立 $$l(\hat{\theta}, \boldsymbol{x}) = \sup_{\theta \in \varTheta} l(\theta, \boldsymbol{x}), \quad \forall \boldsymbol{x} \in \mathcal{X}$$ 如果待估函数为$g(\theta)$，我们定义$g(\hat{\theta}^*(\boldsymbol{X}))$是$g(\theta)$的极大似然估计。

极大似然估计可以是无偏的，也可以是有偏的。它是充分统计量的函数。

求解

一个参数或待估函数的 MLE 通常的求解方法有两种，一种是定义法，一种是利用微积分求极值的方法，后者在似然函数的性质足够好时使用，如果似然函数没有对数似然形式，或者不可导，这时一般使用定义法（如均匀分布场合）。

微积分求极值的方法是：如果假设参数向量$\boldsymbol{\theta} = (\theta_1, \theta_2, \cdots, \theta_n)$，那么对数似然函数$l(\boldsymbol{\theta}, \boldsymbol{x})$的极值点由以下偏导数方程（组） $$\dfrac{\partial l}{\partial \theta_i}(\boldsymbol{\theta, x}) = 0, \quad i = 1,2,\cdots,n$$ 确定，或等价写为 $$\nabla l(\boldsymbol{\theta, x}) = \boldsymbol{0}.$$ 在上述方程组不便于解出解析解时可以使用数值方法。

相合性

极大似然估计的相合性问题十分复杂，到现在也没一个完美的答案，有很多文献在添加一定条件下证得极大似然估计是强相合的。在一般的场合下，极大似然估计可以没有相合性。

在添加控制收敛定理可以使用的条件下可以证得参数为一维情形下的相合渐近正态性。

参考资料

1. 韦来生, 《数理统计（第二版）》, 科学出版社, 北京, 2015-12, ISBN 978-7-0304-6573-3.