102歲統(tǒng)計(jì)學(xué)傳奇C.R.Rao去世:他的一生經(jīng)歷了“統(tǒng)計(jì)學(xué)的一個(gè)世紀(jì)”
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
統(tǒng)計(jì)學(xué)傳奇大師C. R. Rao去世了,享年102歲。
學(xué)過統(tǒng)計(jì)學(xué)的人都對他的名字不陌生——
Cramér–Rao不等式正是以他和Harald Cramér的名字命名。
而他在《統(tǒng)計(jì)與真理》扉頁上寫下的一句話,也在中文世界廣為流傳:
在終極的分析中,一切知識都是歷史;
在抽象的意義下,一切科學(xué)都是數(shù)學(xué);
在理性的世界里,所有判斷都是統(tǒng)計(jì)學(xué)。
從1920年到2023年,Rao教授的一生幾乎與整個(gè)現(xiàn)代統(tǒng)計(jì)學(xué)的發(fā)展歷史同步。
2021年,一篇發(fā)表在《國際統(tǒng)計(jì)評論》上的文章評價(jià)他的一生為“統(tǒng)計(jì)學(xué)的一個(gè)世紀(jì)”:
他的職業(yè)生涯,與從皮爾遜和費(fèi)希爾,到大數(shù)據(jù)和人工智能的現(xiàn)代統(tǒng)計(jì)學(xué)歷史緊密相關(guān)。
傳奇統(tǒng)計(jì)學(xué)家
C. R. Rao 1920年9月出生于印度。
他的統(tǒng)計(jì)學(xué)生涯開始于上世紀(jì)40年代:先是1943年分別拿下了安德拉大學(xué)數(shù)學(xué)碩士學(xué)位和加爾各答大學(xué)統(tǒng)計(jì)學(xué)碩士學(xué)位,后又赴英國劍橋大學(xué)國王學(xué)院攻讀博士,師從現(xiàn)代統(tǒng)計(jì)學(xué)奠基人之一的羅納德·費(fèi)希爾(Ronald Fisher)。
初出茅廬,Rao就已經(jīng)展現(xiàn)出過人的天賦。
1943年,他在加爾各答大學(xué)的統(tǒng)計(jì)學(xué)碩士論文拿下了87%的高分。這一紀(jì)錄在加爾各答大學(xué)至今未被打破。還有評審人評價(jià)這篇論文“達(dá)到了博士水平”。
1945年,時(shí)年25歲的Rao發(fā)表了統(tǒng)計(jì)學(xué)界重磅論文《Information and the Accuracy Attainable in the Estimation of Statistical Parameters》。
就在這篇短短10來頁的論文中,Rao證明了Cramér–Rao不等式和Rao-Blackwell定理。兩者都是現(xiàn)代統(tǒng)計(jì)學(xué)方法論的重要組成部分。
簡單來說,Cramér–Rao不等式給出了無偏的參數(shù)估計(jì)的誤差下界,為估計(jì)量的性能提供了一個(gè)基準(zhǔn),任何估計(jì)量的方差都不能低于該下界。
Rao-Blackwell定理則描述了如何將任意粗糙的估計(jì)量轉(zhuǎn)化為通過均方誤差準(zhǔn)則或任何一種類似準(zhǔn)則優(yōu)化的估計(jì)量。核心思想是用數(shù)據(jù)中的有效信息做估計(jì),會(huì)比直接用全部數(shù)據(jù)更好。
同時(shí),這篇論文也奠定了信息幾何理論的框架——信息幾何在如今的人工智能研究中有廣泛的應(yīng)用,還被用在大型強(qiáng)子對撞機(jī)的希格斯玻色子測量上。
具體而言:
- Rao引入了參數(shù)空間中概率分布之間的距離或散度的概念。
- 將參數(shù)化族視為黎曼流形,并把Fisher信息矩陣作為黎曼度量張量。
- 提出用Fisher-Rao距離來度量兩個(gè)概率分布之間的差異性。
- 這篇論文是最早將微分幾何方法應(yīng)用到概率模型的工作之一。
△Rao和Cramér、Blackwell的合影
1946年,Rao奔赴劍橋,拜入Fisher門下。1948年,在Fisher的指導(dǎo)下,他提出了著名的“得分檢驗(yàn)(Score Test)”。
得分檢驗(yàn)是統(tǒng)計(jì)假設(shè)檢驗(yàn)的三大方法之一,根據(jù)似然函數(shù)的梯度來評估統(tǒng)計(jì)參數(shù)的約束。
相比于Wald檢驗(yàn)和似然比檢驗(yàn),其主要優(yōu)點(diǎn)是計(jì)算方便。
對于今天的統(tǒng)計(jì)學(xué)工作者而言,得分檢驗(yàn)可以說是必備的統(tǒng)計(jì)學(xué)基礎(chǔ)知識。
就在今年,102歲的Rao教授獲得了統(tǒng)計(jì)學(xué)最高成就獎(jiǎng)國際統(tǒng)計(jì)獎(jiǎng)(International Prize in Statistics)。
獲獎(jiǎng)理由是:
他70多年前的工作至今仍對科學(xué)界有著深遠(yuǎn)的影響。
他1945年發(fā)表在《加爾各答數(shù)學(xué)會(huì)公報(bào)》上的論文,展示了三個(gè)基本結(jié)果,為現(xiàn)代統(tǒng)計(jì)學(xué)鋪平了道路,并提供了當(dāng)今科學(xué)界廣泛使用的統(tǒng)計(jì)工具。
Rao教授一生獲獎(jiǎng)無數(shù),擁有印度、英國、美國和意大利等8個(gè)國家科學(xué)院院士頭銜。
值得一提的是,他生前培養(yǎng)了50多名博士,華盛頓大學(xué)醫(yī)學(xué)院生物統(tǒng)計(jì)學(xué)系主任Dabeeru C.Rao、美國統(tǒng)計(jì)協(xié)會(huì)Fellow、印度統(tǒng)計(jì)學(xué)家Debabrata Basu等人都是他的學(xué)生。
并且百歲之際,他也并沒有完全退休,仍然擔(dān)任賓夕法尼亞州立大學(xué)的名譽(yù)教授和布法羅大學(xué)的研究教授。
One More Thing
有關(guān)開頭提到的C. R. Rao的名句,在百歲之時(shí),他本人做出了小小的修改。
印度媒體援引他本人的說法時(shí),最后一句變成了:All methods of acquiring knowledge are essentially statistics。
即,所有獲取知識的方法本質(zhì)上都是統(tǒng)計(jì)學(xué)。