機(jī)器學(xué)習(xí)的未來(lái)就在這里:高斯過(guò)程和神經(jīng)網(wǎng)絡(luò)是等價(jià)的
高斯進(jìn)程已經(jīng)存在了一段時(shí)間,但它只是在過(guò)去5-10年,有一個(gè)大的復(fù)蘇,其興趣。部分原因是求解的計(jì)算復(fù)雜:由于他們的模型需要矩陣反轉(zhuǎn),復(fù)雜性是 O(n3),很難更快地獲得。正因?yàn)槿绱?,它一直難以解決一段時(shí)間,因?yàn)橛?jì)算能力一直如此薄弱,但在過(guò)去的幾年里,有這么多的研究和資金背后的ML,它變得更加可能。
高斯過(guò)程最酷的特征之一是它們非常非常相似的神經(jīng)網(wǎng)絡(luò)。事實(shí)上,眾所周知,高斯進(jìn)程(GP)相當(dāng)于單層完全連接的神經(jīng)網(wǎng)絡(luò),其參數(shù)比其參數(shù)更具有 i.i.d. 。
我想說(shuō)清楚這一點(diǎn):下面的證據(jù)很簡(jiǎn)單,但它具有深遠(yuǎn)的影響。中央極限定理可以統(tǒng)一明顯復(fù)雜的現(xiàn)象,在這種情況下,性能最好的模型可以被視為機(jī)器學(xué)習(xí)模型的子集,該模型的領(lǐng)域尚未完全成熟。
是的,對(duì)GP的研究一直經(jīng)受住考驗(yàn),但只是在過(guò)去幾年中,研究人員才開(kāi)發(fā)出能夠?qū)Ψ蔷€性模式(如跳躍)進(jìn)行特征化的深高斯過(guò)程,而DNN的這種模式是做成的(特別是能夠?qū)OR邏輯進(jìn)行建模)。因此,從這一點(diǎn),我們可以看到,有這么多收獲。
我一直想研究一下這個(gè)證據(jù), 下面很簡(jiǎn)單。以下文章由李等人在谷歌腦的報(bào)紙上取,因此我要感謝他們讓本文如此方便。
有點(diǎn)符號(hào)
注意:您不能對(duì)"媒體"上的所有內(nèi)容進(jìn)行下標(biāo),因此,如果您看到下劃線(M_l),則假設(shè)這意味著 M 與 l 作為下標(biāo)。所以一個(gè)M_i + 米
考慮使用隱藏寬度層(對(duì)于層 L)N_l L 層完全連接的神經(jīng)網(wǎng)絡(luò)。讓 x ∈ Rdɪ輸入到網(wǎng)絡(luò),讓 z l 表示其輸出(在層 L)。l'th 層中激活的 i'th 組件表示為 xli 和 zli。l'th 層的權(quán)重和偏置參數(shù)具有 iid 的零值和偏置參數(shù),并假定它們具有零均值和 σ 2_w/N_l。
> Photo by Maximalfocus on Unsplash
神經(jīng)網(wǎng)絡(luò)
現(xiàn)在我們知道神經(jīng)網(wǎng)絡(luò)輸出 (zli) 的 i'th 組件的計(jì)算方式如下:

我們顯示了對(duì)輸入 x 的依賴性。由于權(quán)重和偏置參數(shù)假定為 iid,因此 xli 和 xli' 的 pos 激活函數(shù)對(duì)于 j=/j' 是獨(dú)立的。
現(xiàn)在,由于 zli(x) 是 iid 項(xiàng)的總和,它遵循中央限制定理,因此在無(wú)限寬度 (N1-> ∞) 的限制中,zli(x) 也因此高斯分布。
高斯進(jìn)程
同樣,從多維CLT,我們可以推斷比任何有限集合的變量z將是聯(lián)合多變量高斯,這恰好是我們高斯過(guò)程的確切定義。
因此,我們可以得出結(jié)論,zli(x)=GP(μ 1,K1)是一個(gè)高斯過(guò)程,均值為μ 1,K1為協(xié)方差,它們本身與 i 無(wú)關(guān)。由于參數(shù)的均值為零,因此μ 1=0,但 K1(x,x') 如下所示:

其中,通過(guò)針對(duì)W0和b0的分布進(jìn)行整合獲得這種協(xié)方差。請(qǐng)注意,由于 i=/=j 的任何兩個(gè) zli 和 zlj 都是共同的高斯,并且零協(xié)方差,因此盡管使用了隱藏層產(chǎn)生的相同功能,它們?nèi)员WC是獨(dú)立的。
> Photo by Birmingham Museums Trust on Unsplash
一些證據(jù)是簡(jiǎn)單和合乎邏輯的,中央極限定理的魔力是,它統(tǒng)一了高斯分布下的一切。高斯分布是偉大的,因?yàn)檫吘壔驼{(diào)節(jié)變量(或維度)導(dǎo)致高斯分布和功能形式是相當(dāng)簡(jiǎn)單的,所以事情可以濃縮成封閉形式的解決方案(所以很少需要優(yōu)化技術(shù))。
讓我知道你是怎么找到我的邏輯, 問(wèn)問(wèn)題, 如果你有任何問(wèn)題, 請(qǐng)讓我知道, 如果我錯(cuò)過(guò)了什么!
隨時(shí)了解我的最新文章!