多元正态分布

在概率论中，多元正态分布是一类常见的连续型多元概率分布，它可以由正态分布导出。其中使用最广泛的一类是二元正态分布。

模型

设有连续型随机向量$\boldsymbol{X} = (X_1, X_2, \cdots, X_n) \in \R^n$，如果它的联合概率密度函数为 $$f(\boldsymbol{x}) = \dfrac{1}{(2\pi)^{\frac{n}{2}} (\det \boldsymbol\varSigma)^{\frac{1}{2}}} \exp \left\{ -\dfrac{1}{2} (\boldsymbol{x-\mu})^\text{T} \boldsymbol\varSigma^{-1} (\boldsymbol{x-\mu}) \right\}.$$ 其中， $$\begin{align} \boldsymbol{\mu} & = (\mu_1, \mu_2, \cdots, \mu_n)^\text{T} \in \R^n; \\ \boldsymbol{\varSigma} & = (\sigma_{ij})_{n \times n} \end{align}$$ 分别为$n$阶实常列向量和$n \times n$的实正定对称矩阵，我们就称随机向量$\boldsymbol{X}$服从$\boldsymbol{n}$元正态分布，记作$\boldsymbol{X} \sim N(\boldsymbol{\mu}, \boldsymbol{\varSigma}).$

它的特征函数为 $$\varphi(\boldsymbol{t}) = \exp \left\{ \text{i} \boldsymbol{\mu}^\text{T} \boldsymbol{t} - \dfrac{1}{2} \boldsymbol{t}^\text{T} \boldsymbol{\varSigma} \boldsymbol{t} \right\}.$$

边缘分布

多元正态分布的边缘分布也是正态分布，假设向量$\boldsymbol{X} = (X_1, X_2, \cdots, X_n) \in \R^n$服从$N(\boldsymbol{\mu}, \boldsymbol{\varSigma})$，那么子向量$\boldsymbol{X} = (X_{k_1}, X_{k_2}, \cdots, X_{k_m})^\text{T} \in \R^m, \{ k_i \}_{i=1}^m \subset \{1,2,\cdots,n \}$服从参数为$\boldsymbol{\mu}' = (EX_{k_1}, EX_{k_2}, \cdots, EX_{k_m})^\text{T}, \boldsymbol{\varSigma}'$的$m$元正态分布，其中$\boldsymbol{\varSigma}'$是$\boldsymbol{\varSigma}$的$\{ k_i \}_{i=1}^m$行列确定的主子阵。

数字特征

正态分布的定义中$\boldsymbol{\mu}, \boldsymbol{\varSigma}$分别是数学期望和协方差矩阵，因此实际上正态分布由前二阶矩就唯一确定了。

独立性

一维正态变量相互独立的充要条件是他们两两不相关。

正态随机向量的情形下，有：

假设$\boldsymbol{X} = (\boldsymbol{X}_1, \boldsymbol{X}_2)^\text{T}$，$\boldsymbol{X}_1, \boldsymbol{X}_2$的协方差矩阵分别为$\boldsymbol{\varSigma}_{11}, \boldsymbol{\varSigma}_{22}.$而$\boldsymbol{X}$的协方差矩阵记为$${\boldsymbol {\varSigma }}={\begin{pmatrix}{\boldsymbol {\varSigma }}_{11}&{\boldsymbol {\varSigma }}_{12}\\{\boldsymbol {\varSigma }}_{21}&{\boldsymbol {\varSigma }}_{22}\end{pmatrix}}$$$\boldsymbol{\varSigma}_{12}$是$\boldsymbol{X}_1, \boldsymbol{X}_2$的相应分量的协方差构成的相互协方差矩阵，那么$\boldsymbol{X}_1, \boldsymbol{X}_2$当且仅当$\boldsymbol{\varSigma}_{12} = \boldsymbol{O}.$

线性变换不变性

由随机变量的线性变换中的结论，如果$\boldsymbol{X}$服从$n$元正态分布，$\boldsymbol{A} \in \R^{n \times n}$，那么$\boldsymbol{AX} \sim N(\boldsymbol{A \mu}, \boldsymbol{A \varSigma A^\text{T}}).$在正态分布中这个结论对于长方阵也是成立的。这个性质称为正态变量的线性变换不变性。

一个随机向量服从多元正态分布的充要条件是它的任意分量的线性组合都服从一元正态分布。

特别地，在正交变换的场合下，正态变量的独立性不会改变，且协方差矩阵具有相同的特征值，而数学期望则要左乘正交矩阵。

条件分布

假设$\boldsymbol{X} = (\boldsymbol{X}_1, \boldsymbol{X}_2)^\text{T}$服从$n$元正态分布，$E\boldsymbol{X}_1 = \boldsymbol{\mu}_1, E\boldsymbol{X}_2 = \boldsymbol{\mu}_2$，$\boldsymbol{\varSigma}$的定义如式#A1，那么在给定$\boldsymbol{X}_1 = \boldsymbol{x}_1$的条件下，$\boldsymbol{X}_2$的条件分布是正态分布$N(\boldsymbol{\mu}_2 + \boldsymbol{\varSigma}_{21} \boldsymbol{\varSigma}_{11}^{-1} (\boldsymbol{x}_1 - \boldsymbol{\mu}_1), \boldsymbol{ \varSigma}_{22} - \boldsymbol{\varSigma}_{21} \boldsymbol{\varSigma}_{11}^{-1} \boldsymbol{\varSigma}_{12}).$

奇异正态分布

我们可以看到在多元正态分布的特征函数中如果$\boldsymbol{\varSigma}$是非负定的（不一定是正定矩阵），做一个小扰动$\boldsymbol{\varSigma}_k = \boldsymbol{\varSigma} + \dfrac{1}{k} \boldsymbol{E}_n$之后便成为正定矩阵，由此可以定义一列正态随机向量$\{ \boldsymbol{X}_k \}_{k=1}^\infty$满足$\boldsymbol{X}_k \sim N(\boldsymbol{\mu}, \boldsymbol{\varSigma}_k)$得到一列特征函数$\{\varphi_k(\boldsymbol{t})\}$满足 $$\lim_{k \to \infty} \varphi_k (\boldsymbol{t}) =: \varphi_{\infty} (\boldsymbol{t}).$$ 可以验证右侧的函数是特征函数，它也对应了某个随机向量的分布，我们称这个分布为奇异正态分布或退化正态分布，仍记作$N(\boldsymbol{\mu}, \boldsymbol{\varSigma}).$协方差矩阵的秩$r := r(\boldsymbol{\varSigma}) < n$因此写不出密度函数的表达式，这时的概率分布都集中在一个$r$维子空间上。

参考资料

1. 李贤平, 《概率论基础（第3版）》, 高等教育出版社, 北京, 2010-04, ISBN 978-7-0402-8890-2.