方差

方差（variance），是概率统计学科中最常用的一个随机变量的指标量，反映的是一组数据或一个随机变量取值的离散程度，它是二阶中心矩。常见分布的方差详见概率分布。方差存在则数学期望一定存在，但反之不真。

衡量数据偏离程度的标准有很多种，这里的方差采用的是平方距离，当然也可以使用其它距离（只要符合距离的三条定义）来定义，例如绝对值距离，只是方差采用的距离分析性质更好。

概念

有限情形

设有有限个数$\{ x_k \}_{k=1}^n$，算数平均值为$\bar{x}$，下述和式的值 $$D = \dfrac{1}{n} \sum_{k=1}^n (x_k - \bar{x})^2$$ 就称为这组数据的方差。其中每个数据的地位是平权的，如果每个数据的权重不同，即存在一列$\omega_k \in [0, 1], k = 1,2,\cdots,n$满足$\sum_{k=1}^n \omega_k = 1$，以下是加权的方差 $$\sum_{k=1}^n \omega_k (x_k - \bar{x})^2$$

其中，$\bar{x}$是这组数据的加权平均值。如果将上述权重理解为随机变量取对应值的概率，那么上述加权的方差就是有限概率空间情形下随机变量的方差。

可列情形

设有离散型随机变量$X$的分布列$$\begin{array}{c|ccccc} \hline X & x_1 & x_2 & \cdots & x_i & \cdots \\ \hline P\{X = x_i\} & p(x_1) & p(x_2) & \cdots & p(x_i) & \cdots \\ \hline \end{array}$$ 设它有期望$E(X)$，当下述级数 $$\sum_{n=1}^\infty (x_i - E(X))^2 p(x_i)$$ 绝对收敛时，我们就称该级数的收敛值为这个随机变量的数学期望，记为$D(X)$（符号来源于“偏差”的英文 dispersion）。要求该级数绝对收敛是因为我们必须要保证衡量这个随机变量离散程度取值的指标量是唯一的，它不能因为求和顺序发生改变而有不同值。

连续情形

设有连续型随机变量$X$，设它的概率密度函数为$f(x)$，设它有期望$E(X)$，如果下述反常积分绝对收敛 $$\int_{-\infty}^{+\infty} (x-E(X))^2 f(x) \mathrm{d}x$$ 我们就称该积分的收敛值为这个随机变量的数学期望，也记为$D(X)$，同样要求绝对收敛的原因同上。

一般情形

我们来叙述一般场合下的定义，该定义不仅可以适用于离散和连续情形，也适用于奇异的情形。

设随机变量$X$的分布函数为$F(x)$，设它有期望$E(X)$，如果下述 Stieltjes 积分 $$\int_{-\infty}^{+\infty} (x-E(X))^2 \mathrm{d}F(x)$$ 绝对收敛，那么我们就称该积分的收敛值为这个随机变量的数学期望，记为$D(X)$。

实际上，上述定义等价于 $$D(X) = E[(X - E(X))^2].$$ 其中$X - E(X)$是一个随机变量，它实际上就是数据相对均值的偏移程度，由于其有正有负，为避免正负相消造成的数据信息不真实，我们求其平方值作为偏移整体度量标准，然后对其求均值，即针对不同的取值的偏移量施以不同权重，便得到方差。

基本性质

• 常数的方差：$D(X) = 0$当且仅当随机变量$X$取常数值（即退化分布）；
• $D(aX) = a^2 D(X)$，$a$是实常数；
• 平移不变性：方差反映的是整体数据相对于均值的偏移程度，数据进行整体平移方差不变，即有$D(X + c) = D(X), c$为实常数；
• 与数学期望的关系：$D(X) = E(X^2) - (E(X))^2$，该性质在计算方差时应用广泛；
• 独立可加性：若$X, Y$相互独立，则$D(X \pm Y) = D(X) \pm D(Y)$；
• 控制不等式：若$c \ne E(X)$，则$D(X) < E[(X - c)^2].$

标准差

在随机变量$X$的方差存在的前提下，定义$\sqrt{D(X)}$为标准差（standard deviation），或称根方差，它和随机变量的取值是相同量纲的。

随机向量的方差

设有随机向量$\boldsymbol{X} = (X_1, X_2, \cdots, X_n)$，其中，$D_i (X_i)$表示分量$X_i$的方差，在$D_i (X_i)$都存在时我们称随机向量$\boldsymbol{X}$的方差是 $$D(\boldsymbol{X}) = (D_1(X_1), D_2(X_2), \cdots, D_n (X_n)).$$

随机变量的标准化

设一个随机变量$X$，它的均值和方差分别是$E(X), D(X)$，那么随机变量$Y = \dfrac{X - E(X)}{\sqrt{D(X)}}$的均值和方差分别是$0,1$，我们就称$Y$是$X$的标准随机变量，这一过程叫做随机变量的标准化。

所有标准化的随机变量是相同量纲的。

Chebyshev 不等式

Chebyshev 不等式给出了在不知道随机变量的具体分布时依靠均值和方差对分布概率做出范围估计的公式：

设一随机变量$X$的均值和方差分别是$E(X), D(X)$，那么对任意正数$\varepsilon$都有 $$P\{ |X - E(X)| \geqslant \varepsilon \} \leqslant \dfrac{D(X)}{\varepsilon^2}.$$ 它是 Markov 不等式的特例。

上下节

• 上一节：数学期望
• 下一节：协方差

参考资料

1. 李贤平, 《概率论基础（第3版）》, 高等教育出版社, 北京, 2010-04, ISBN 978-7-0402-8890-2.