统计 | 数理统计简史(一)

我以前说过,对一门知识把握不住它的脉络时,就去看历史。对于数理统计,陈希孺的《数理统计学简史》就是一门足够好的统计学历史书,看完之后你就会明白什么是期望?为什么最小二乘法那么重要?为什么三大分布是那个样子?为什么公式长这个样子?如此才能真正了解要学的东西。

早期概率论

  1. 概率是一个事件发生、一种情况出现的可能性大小的数量指标。
  2. 时间有可重复性一次性,可重复事件的概率是客观的,一次性时间的概率是主观的
  3. 客观概率是频率学派的基础,主观概率是贝叶斯学派的基础。
  4. 客观概率有两种形式。第一种统计概率依据该事件在试验大量重复中的概率。第二种古典概率依据试验可能结果是有限个,每种结果可能性相同。

分赌本问题

A、B二人读博,各出赌金a元,每局个人获胜概率相同,规定谁先胜S局就赢得全部赌注,现在进行到A胜$S_1$局,B胜$S_2$局,问赌金怎么发放才算公平。

  • 巴斯噶与费尔马在讨论读博问题时用到了的概念,指的是赌注乘以获胜概率。之后惠更斯把值改为期望
  • 巴斯噶认为赌注的公正分配只和 为了赢得赌局,还需要取得胜利的局数相关,记为$r_1$,$r_2$ ,则有边界条件,$e(0,r_2) = 1 ; e(r_1,0) = 0; e(a,a) = 0.5$,且成立递推公式$e(r_1,r_2) = [e(r_1-1,r_2) + e(r_1,r_2-1)]/2$,由上述条件综合出一般解的形式。
  • 费尔马解法,设定$r_1<r_2$,若A取胜,所需局数可能为$r_1,r_1+1,\dots,r_1+r_2-1$,期间B取胜的局数对应为$i=0,1,\dots,r_2-1$。即若B胜i局,则A到最终取胜前再赌了$r_1+i$局,其中前$r_1+i-1$局A胜$r_1-1$局,而第$r_1+i$局为A胜。由此两种想法得到的解结果是一样的。
  • 惠更斯制定了3条定理加上11个问题,成为惠更斯十四命题
  • 伯努利于1713年著作《推测术》,把概率论从对赌博机遇的讨论转换为新的天地。这本书前三部分,是古典概率的系统化和深化。第一部分明确提出了独立情况下概率乘法定理的表述形式,并在此基础上严格证明了二项概率公式,第二部分首次引入了排列的概念。
  • 推测术中把客观概率区分为两类,可以先验的概率,称之为古典概率。可以后验的概率,称之为统计概率。这里的含义和贝叶斯概率的不同。
  • 伯努利大数定律:给定任意两个数,$\epsilon>0$和$\eta>0$,总可以取足够大的抽取次数N,使得事件${|\frac{X}{N} - p| > \epsilon}$概率不超过$\eta$伯努利的工作证明了数学家不仅可以后验地认识世界,也可以用数学估量他们认识世界的限度。

狄莫弗的二项概率逼近

这部分内容和前文的《统计学习|高斯分布》有很多内容重合。
狄莫弗有著名的狄莫弗公式$(cos\theta+isin\theta)^n=cosn\theta+isinn\theta$,他也在研究一个赌博问题时要求解二项概率 $\binom{N}{i}p^i(1-p)^{n-i}$, 狄莫弗在$Np$为整数的条件下得到

问题的关键转化为N较大时求$b(N,p,i)$的问题。在求解过程中有提到在用频率估计概率的时候,观察值的精度与N的平方根$\sqrt{N}$成比例

狄莫弗工作最大的意义是中心极限定理。但依然的是由于他没有从统计学去观察这个工作。

贝叶斯方法

贝叶斯方法也是以二项分布为主角的工作。英国学者贝叶斯在18世纪中叶提出这个方法来解决二项分布问题,但方法的思想适用范围很广,目前其已成为数理统计学中两个主要学派之一,贝叶斯学派。已知时间概率为p,由之计算某种观察结果出现概率,这是原因推结果,称之为概率论。反过来已知观察结果,对概率p做出推断,这是结果推原因,是数理统计。

贝叶斯原始问题的表现形式是:设X服从二项分布$B(N,\theta)$,$N$已知但$\theta$未知,给定常数$a,b,0 \leq a < b < 1$,在观察到观察值X后,求条件概率$P(a \leq \theta <b | X)$,关于这个概率的求解有两派观点。一派因为$\theta$是一个确定值,对该问题而言,答案要么是0,要么是1。但另一派认为,即使$\theta$是确定值,但目前还不确定,X的观测值提供了关于X分布的一些信息,但不能确定$\theta$,这里就有机遇成分。就像你去找人,人‘在家’或‘不在家’两种可能性,但你还是会根据今天天气去推测对方在不在家,这就是这样的过程。此时$\theta$就是个随机变量

贝叶斯为了解决问题,提出以下两个命题:设$E_1,E_2$为按先后时间顺序发生的两件事,则

这在现在看来是对条件改了吧的定义,但两个命题意义不同,一个是由过去测未来,一个是由未来反侧过去。

贝叶斯采取台球模型来模拟自己提出的概率问题。

贝叶斯操作的本质是先验分布+样本信息 = 后验分布,这和人类的直觉相符,但确定先验分布是极其困难的。

0%