神说，要有正态分布，就有了正态分布。 神看正态分布是好的，就让随机误差服从了正态分布。 创世纪—数理统计

1. 正态分布，熟悉的陌生人

学过基础统计学的同学大都对正态分布非常熟悉。这个钟形的分布曲线不但形状优雅，它对应的密度函数写成数学表达式

f(x)=1 2π − −  √ σ  e −(x−μ) 2  2σ 2     

也非常具有数学的美感。其标准化后的概率密度函数

f(x)=1 2π − −  √   e −x 2  2    

更加的简洁漂亮，两个最重要的数学常量 π 、e   都出现在这公式之中。在我个人的审美之中，它也属于 top-N 的最美丽的数学公式之一，如果有人问我数理统计领域哪个公式最能让人感觉到上帝的存在，那我一定投正态分布的票。因为这个分布戴着神秘的面纱，在自然界中无处不在，让你在纷繁芜杂的数据背后看到隐隐的秩序。

 

正态分布曲线

正态分布又通常被称为高斯分布，在科学领域，冠名权那是一个很高的荣誉。2002年以前去过德国的兄弟们还会发现，德国1991年至2001年间发行的的一款10马克的纸币上印着高斯(Carl Friedrich Gauss, 1777-1855)的头像和正态密度曲线，而1977年东德发行的20马克的可流通纪念钢镚上，也印着正态分布曲线和高斯的名字。正态分布被冠名高斯分布，我们也容易认为是高斯发现了正态分布，其实不然，不过高斯对于正态分布的历史地位的确立是起到了决定性的作用。

    德国马克和纪念币上的高斯头像和正态分布曲线

正态曲线虽然看上去很美，却不是一拍脑袋就能想到的。我们在本科学习数理统计的时候，课本一上来介绍正态分布就给出分布密度函数，却从来不说明这个密度函数是通过什么原理推导出来的。所以我一直搞不明白数学家当年是怎么找到这个概率分布曲线的，又是怎么发现随机误差服从这个奇妙的分布的。我们在实践中大量的使用正态分布，却对这个分布的来龙去脉知之甚少，正态分布真是让人感觉既熟悉又陌生。直到我读研究生的时候，我的导师给我介绍了陈希儒院士的《数理统计学简史》这本书，看了之后才了解了正态分布曲线从发现到被人们重视进而广泛应用，也是经过了几百年的历史。

正态分布的这段历史是很精彩的，我们通过讲一系列的故事来揭开她的神秘面纱。

 

2. 邂逅，正态曲线的首次发现

第一个故事和概率论的发展密切相关，主角是棣莫弗(Abraham de Moivre, 1667-1754) 和拉普拉斯 (Pierre-Simon Laplace 1749-1827)。拉普拉斯是个大科学家，被称为法国的牛顿；棣莫弗名气可能不算很大，不过大家应该都应该很熟悉这个名字，因为我们在高中数学学复数的时候都学过棣莫弗公式

(cosθ+isinθ) n =cos(nθ)+isin(nθ). 

而棣莫弗所写的《机遇论》（The doctrine of chances）是概率论发展历史中很重要的一本书。牛顿对棣莫弗十分欣赏,遇到学生向他请教概率方面的问题时，他就说：“这样的问题应该去找棣莫弗，他对这些问题的研究比我深入得多。”

 

棣莫弗和拉普拉斯

古典概率论发源于赌博，惠更斯(Christiaan Huygens, 1629-1695)、帕斯卡(Blaise Pascal, 1623-1662)、费马(Pierre de Fermat, 1601-1665)、雅可比·贝努利(Jacob Bernoulli, 1654-1705)都是古典概率的奠基人，他们那会研究的概率问题大都来自赌桌上，最早的概率论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计学中的总体均值之所以被称为期望 (Expectation), 就是源自惠更斯、帕斯卡这些人研究平均情况下一个赌徒在赌桌上可以期望自己赢得多少钱。

有一天一个哥们，也许是个赌徒，向棣莫弗提了一个和赌博相关的问题：A、B 两人在赌场里赌博，A、B各自的获胜概率是p,q=1−p ,  赌 n   局。两人约定：若 A 赢的局数 X>np ,  则 A 付给赌场 X−np   元；若 X<np ,则B  付给赌场 np−X   元。 问赌场挣钱的期望值是多少。

问题并不复杂， 本质上是一个二项分布，若 np   为整数，棣莫弗求出最后的理论结果是

2npqb(n,p,np) 

其中 b(n,p,i)=(n i )p i q n−i    是常见的二项概率。 但是对具体的 n ,  因为其中的二项公式中有组合数，要把这个理论结果实际计算出数值结果可不是件容易的事， 这就驱动棣莫弗寻找近似计算的方法。

 

与此相关联的另一个问题，是遵从二项分布的随机变量 X∼B(n,p) ,  求X 落在二项分布中心点一定范围的概率 P d =P(|X–np|≤d) 。

对于 p=1/2   的情形， 棣莫弗做了一些计算并得到了一些近似结果，但是还不够漂亮，幸运的是棣莫弗和斯特林(James Stirling, 1692-1770)处在同一个时代， 而且二人之间有联系，斯特林公式是在数学分析中必学的一个重要公式

n!≈2πn − − −  √ (n e  ) n . 

 

事实上斯特林公式的雏形是棣莫弗最先得到的，但斯特林改进了这个公式，改进的结果为棣莫弗所用。1733 年，棣莫弗很快利用斯特林公式进行计算并取得了重要的进展。考虑 n   是偶数的情形，二项概率为

b(n,1 2  ,i)=(n i )(1 2  ) n  

以下把b(n,1 2  ,i) 简记为b(i) ,  通过斯特林公式做一些简单的计算容易得到，

b(n 2  )≈2 πn   − − −  √ , 

b(n 2  +d) b(n 2  )  ≈e −2d 2  n   , 

于是有

b(n 2  +d)≈2 2πn − − −  √   e −2d 2  n   . 

使用上式的结果，并在二项概率累加求和的过程中近似的使用定积分代替求和，很容易就能得到

 

 

看，正态分布的密度函数的形式在积分公式中出现了！这也就是我们在数理统计课本上学到的一个重要结论：二项分布的极限分布是正态分布。

以上只是讨论了 p=1/2   的情形， 棣莫弗也对 p≠1/2 做了一些计算，后来拉普拉斯对 p≠1/2   的情况做了更多的分析，并把二项分布的正态近似推广到了任意 p   的情况。 这是第一次正态密度函数被数学家刻画出来，而且是以二项分布的极限分布的形式被推导出来的。 熟悉基础概率统计的同学们都知道这个结果其实叫棣莫弗-拉普拉斯中心极限定理。

[棣莫弗-拉普拉斯中心极限定理]设随机变量 X n (n=1,2,⋯)   服从参数为 n,p   的二项分布，则对任意的 x ,  恒有

lim n→∞ P(X n –np np(1−p) − − − − − − − −  √   ≤x)=∫ x −∞ 1 2π − −  √   e −t 2  2   dt. 

 

我们在大学学习数理统计的时候，学习的过程都是先学习正态分布，然后才学习中心极限定理。而学习到正态分布的时候，直接就描述了其概率密度的数学形式，虽然数学上很漂亮，但是容易困惑数学家们是如何凭空就找到这个分布的。读了陈希孺的《数理统计学简史》之后，我才明白正态分布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中。数学家研究数学问题的进程很少是按照我们数学课本编排的顺序推进的，现代的数学课本都是按照数学内在的逻辑进行组织编排的，虽然逻辑结构上严谨优美，却把数学问题研究的历史痕迹抹得一干二净。DNA 双螺旋结构的发现者之一詹姆斯·沃森(James D. Watson, 1928-) 在他的名著《DNA 双螺旋》序言中说：“ Science seldom proceeds in the straightforward logical manner imagined by outsiders. （科学的发现很少会像门外汉所想象的一样，按照直接了当合乎逻辑的方式进行的。）” 棣莫弗给出他的发现后40年（大约是1770年）， 拉普拉斯建立了中心极限定理较一般的形式，中心极限定理随后又被其他数学家们推广到了其它任意分布的情形，而不限于二项分布。后续的统计学家发现，一系列的重要统计量，在样本量 N   趋于无穷的时候， 其极限分布都有正态的形式， 这构成了数理统计学中大样本理论的基础。

棣莫弗在二项分布的计算中瞥见了正态曲线的模样，不过他并没有能展现这个曲线的美妙之处。棣莫弗的这个工作当时并没有引起人们足够的重视，原因在于棣莫弗 不是个统计学家，从未从统计学的角度去考虑其工作的意义。 正态分布(当时也没有被命名为正态分布) 在当时也只是以极限分布的形式出现，并没有在统计学，尤其是误差分析中发挥作用。这也就是正态分布最终没有被冠名 棣莫弗分布的重要原因。 那高斯做了啥工作导致统计学家把正态分布的这顶桂冠戴在了他的头上呢？这先得从最小二乘法的发展说起。

3. 最小二乘法，数据分析的瑞士军刀

第二个故事的主角是欧拉(Leonhard Euler, 1707-1783)、拉普拉斯、勒让德 (Adrien-Marie Legendre, 1752–1833) 和高斯, 故事发生的时间是18世纪中到19世纪初。17、18 世纪是科学发展的黄金年代，微积分的发展和牛顿万有引力定律的建立，直接的推动了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文学上的问题，几个典型的问题如下：

• 土星和木星是太阳系中的大行星，由于相互吸引对各自的运动轨道产生了影响，许多大数学家，包括欧拉和拉普拉斯都在基于长期积累的天文观测数据计算土星和木星的运行轨道。
• 勒让德承担了一个政府给的重要任务，测量通过巴黎的子午线的长度。
• 海上航行经纬度的定位。主要是通过对恒星和月面上的一些定点的观测来确定经纬度。

这些天文学和测地学的问题，无不涉及到数据的多次测量、分析与计算；17、18世纪的天文观测，也积累了大量的数据需要进行分析和计算。很多年以前，学者们就已经经验性的认为，对于有误差的测量数据，多次测量取算术平均是比较好的处理方法。虽然缺乏理论上的论证，也不断的受到一些人的质疑，取算术平均作为一种异常直观的方式，已经被使用了千百年, 在多年积累的数据的处理经验中也得到相当程度的验证，被认为是一种良好的数据处理方法。

以上涉及的问题，我们直接关心的目标量往往无法直接观测，但是一些相关的量是可以观测到的，而通过建立数学模型，最终可以解出我们关心的量。这些问题都可以用如下数学模型描述：我们想估计的量是 β 0 ,⋯,β p  ,  另有若干个可以测量的量 x 1 ,⋯,x p ,y ,  这些量之间有线性关系

y=β 0 +β 1 x 1 +⋯+β p x p  

如何通过多组观测数据求解出参数β 0 ,⋯,β p  呢？ 欧拉和拉普拉斯采用的的方法都是求解如下线性方程组

 

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ y 1 =β 0 +β 1 x 11 +⋯+β p x p1  y 2 =β 0 +β 1 x 12 +⋯+β p x p2  ⋮ y n =β 0 +β 1 x