相关系数

在概率论中，相关系数是衡量随机变量或随机向量的各分量之间（线性）相关性程度的一个指标。注意它只能衡量线性关系，对于非线性关系还需要引入其它概念。一下所称的相关性均指线性相关性。

定义

设有两个非退化的随机变量$X$和$Y$，它们的协方差存在，并记做$\text{cov}(X, Y)$，定义下述值 $$\rho = \dfrac{\text{cov}(X, Y)}{\sqrt{D(X)D(Y)}}$$ 为这两个随机变量的相关系数。定义常数（退化的随机变量）和任何随机变量的相关系数为零。

可以证明$|\rho| \leqslant 1.$协方差定义了某种内积，相关系数可以认为定义了某种夹角的余弦值。

如果$\rho > 0 ~(< 0)$，我们就说这两个随机变量正（负）相关；如果$\rho = 1~(-1)$，我们就说这两个随机变量完全正（负）相关；如果$\rho = 0$，我们就说这两个随机变量线性无关。

线性不变性

若$X, Y$的相关系数为$\rho$，那么对任何实常数$k_1, k_2, b_1, b_2, k_1k_2 \ne 0$，随机变量$k_1 X + b_1, k_2Y + b_2$的相关系数仍为$\rho.$

注意这里的线性指的是对一个随机变量进行线性操作，如果考虑这样两个随机变量$X+Y, X-Y$，它的相关系数不一定是$\rho.$

等价刻画

设$X$和$Y$是存在方差的随机变量，那么以下四款等价：

1. $X, Y$不相关（$\rho = 0$）；
2. 协方差$\text{cov}(X, Y) = 0;$
3. $E(XY) = E(X)E(Y);$
4. $D(X \pm Y) = D(X) + D(Y).$

相关与独立

若$X$和$Y$独立，那么它们一定不相关，但反之不真。

但是，如果$X$和$Y$是正态变量，独立性和相关性是等价的；如果$X$和$Y$是二值随机变量，独立性和相关性也是等价的。

在二元正态分布$(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$中，参数$\rho$就是$X$和$Y$的相关系数。

随机事件的相关系数

可以将随机变量的相关系数推广到随机事件中去，这是二值随机变量的一个应用。设$A, B$为两个随机事件，$P(A) = p_1, P(B) = p_2, P(AB) = p_{12}$，定义它们的相关系数为 $$\rho_{AB} = \dfrac{p_{12} - p_1p_2}{\sqrt{p_1p_2(1-p_1)(1-p_2)}}.$$ 显然$\rho = 0$当且仅当$A, B$相互独立。

上下节

• 上一节：协方差
• 下一节：矩

参考资料

1. 李贤平, 《概率论基础（第3版）》, 高等教育出版社, 北京, 2010-04, ISBN 978-7-0402-8890-2.