协方差

在概率论中，协方差（covariance）是衡量多个随机变量或一个随机向量的各分量见相关性的指标之一，是定义相关系数的基础。

概念

设有两个随机变量$X, Y$，它们都有数学期望，如果下式存在 $$\text{cov}(X, Y) := E[(X-E(X))(Y-E(Y))]$$ 我们就称$\text{cov}(X, Y)$是这两个随机变量的协方差，其记号是英文单词 covariance 的前三个字母。

显然它有如下性质：

1. 正定性：$\text{cov}(X, X) \geqslant 0$，它就是$X$的方差；
2. 对称性：$\text{cov}(X, Y) = \text{cov}(Y, X);$

基于以上两点，我们可以将协方差理解为一种内积。

协方差矩阵

设有一个随机向量$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$，如果下式存在，我们就称之为随机向量$\boldsymbol{X}$的协方差矩阵。 $$\mathit{\Sigma}(\boldsymbol{X}) = E[(\boldsymbol{X} - E(\boldsymbol{X}))(\boldsymbol{X} - E(\boldsymbol{X}))^\text{T}] = (\text{cov}(X_i, X_j))_{n \times n}.$$ 显然它是一个非负定矩阵，即 $$\det(\mathit{\Sigma}(\boldsymbol{X})) \geqslant 0.$$ 若以$\lambda_i, i = 1,2,\cdots,n$记作该矩阵的特征根，则有$\lambda_i \geqslant 0.$

性质

1. $\text{cov}(X, Y) = E(XY) - E(X) E(Y);$
2. $D\left( \sum_{k=1}^n X_k \right) = \sum_{k=1}^n D(X_k) + 2 \sum_{1 \leqslant i < j \leqslant n} \text{cov}(X_i, X_j),$特别地，$D(X \pm Y) = D(X) + D(Y) \pm 2 \text{cov} (X, Y);$
3. $\text{cov} (X, Y) \leqslant \sqrt{D(X)D(Y)} \leqslant \dfrac{D(X) + D(Y)}{2};$
4. $\text{cov}(k_1X+b_1, k_2Y+b_2) = k_1k_2 \text{cov}(X, Y).$

上下节

• 上一节：方差
• 下一节：相关系数

参考资料

1. 李贤平, 《概率论基础（第3版）》, 高等教育出版社, 北京, 2010-04, ISBN 978-7-0402-8890-2.