为什么是正态分布如此常见

rh-li / 2024-10-18 / 原文

1. 什么是中心极限定理
- 1.1 经典中心极限定理
- 1.2 Lyapunov中心极限定理
- 1.3 Lyapunov条件的解释
2. 为什么正态分布如此常见

我最近在学习时，发现很多去噪的模型，都将噪声假设为服从正态分布，并且最后取得了很好的效果。这么做的原因是什么呢？为什么不是其他的分布，偏偏是正态分布呢？

想要知道为什么，我们要先从中心极限定理谈起。

1. 什么是中心极限定理

1.1 经典中心极限定理

若随机变量 $X_1, X_2, \cdots, X_n$ 满足：

相互独立
服从同一分布
存在数学期望和方差：$E\left(X_k\right)=\mu, D\left(X_k\right)=\sigma^2>0\quad(k=$ $1,2, \cdots)$

那么，当$n\to \infty$时，$\sum_{i = 1}^{n}X_i$近似服从于正态分布$N\left(n \mu, n \sigma^2\right)$。

1.2 Lyapunov中心极限定理

若随机变量 $X_1, X_2, \cdots, X_n$ 满足：

相互独立
存在数学期望和方差：$E\left(X_k\right)=\mu_k, D\left(X_k\right)=\sigma_k^2>0 \quad (k=1,2, \cdots)$
满足Lyapunov条件：存在正数$\delta>0$，使得$\lim_{n\to \infty}\frac{1}{\left(\sum_{i=1}^n \sigma_i^2\right)^{2+\delta}} \sum_{k=1}^n E\left\{\left|X_k-\mu_k\right|^{2+\delta}\right\} = 0$

那么，当$n\to \infty$时，$\sum_{i = 1}^{n}X_i$近似服从于正态分布$N\left(\sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2\right)$。

1.3 Lyapunov条件的解释

有读者可能会说，上面的Lyapunov条件好难懂，一大堆数学符号，表示的是什么意思？

别急，我会尽可能的以简单的方式讲明白这个公式的意义。

我们先来看看，什么情况下，Lyapunov条件不会得到满足。

考虑这样一种情况：

假设随机变量 $X_i$ 的波动非常大，那么它的 $E\left(\left|X_i-\mu_i\right|^{2+\delta}\right)$ 以及方差会远远大于其他随机变量。我们可以近似的将Lyapunov条件转换为$\frac{E\left(\left|X_i-\mu_i\right|^{2+\delta}\right)}{(\sigma_i^2)^{2+\delta}}$的形式。

又因为$\sigma_i^2 = E(|X_i-\mu_i|^2)$。当$X_i$波动很大时，$X_i -\mu_i$的值也会很大，因此$E\left(\left|X_i-\mu_i\right|^{2+\delta}\right)$会远远的大于$E(|X_i-\mu_i|^2)$，甚至是$\left[E(|X_i-\mu_i|^2)\right]^{2+\delta}$。

因此$\frac{E\left(\left|X_i-\mu_i\right|^{2+\delta}\right)}{(\sigma_i^2)^{2+\delta}}$的取值为正数或者是无穷大，Lyapunov条件得不到满足。

反之，我们可以看出，当没有波动很大的随机变量时，Lyapunov条件就可以得到满足。

因此，Lyapunov 条件的核心在于：防止单个随机变量的极端波动，来对整个系统造成影响。

打一个比方：假设很多工人共同铺一条马路，并且每个工人都负责铺设一小段路。如果大部分工人都铺得比较平整（即随机变量的波动较小），那么整条路看起来相对平滑。但是如果某个工人铺了一块特别大的凸起（随机变量的极端波动），那这个凸起就会极大地影响整条路的平整度，使得其他工人的平整铺设都不起作用了。这个凸起就像是极端波动的随机变量，它使得总和的平滑性被破坏。