高斯進(jìn)程已經(jīng)存在了一段時(shí)間，但它只是在過(guò)去5-10年，有一個(gè)大的復(fù)蘇，其興趣。部分原因是求解的計(jì)算復(fù)雜：由于他們的模型需要矩陣反轉(zhuǎn)，復(fù)雜性是 O(n3)，很難更快地獲得。正因?yàn)槿绱?，它一直難以解決一段時(shí)間，因?yàn)橛?jì)算能力一直如此薄弱，但在過(guò)去的幾年里，有這么多的研究和資金背后的ML，它變得更加可能。

高斯過(guò)程最酷的特征之一是它們非常非常相似的神經(jīng)網(wǎng)絡(luò)。事實(shí)上，眾所周知，高斯進(jìn)程(GP)相當(dāng)于單層完全連接的神經(jīng)網(wǎng)絡(luò)，其參數(shù)比其參數(shù)更具有 i.i.d. 。

我想說(shuō)清楚這一點(diǎn)：下面的證據(jù)很簡(jiǎn)單，但它具有深遠(yuǎn)的影響。中央極限定理可以統(tǒng)一明顯復(fù)雜的現(xiàn)象，在這種情況下，性能最好的模型可以被視為機(jī)器學(xué)習(xí)模型的子集，該模型的領(lǐng)域尚未完全成熟。

是的，對(duì)GP的研究一直經(jīng)受住考驗(yàn)，但只是在過(guò)去幾年中，研究人員才開(kāi)發(fā)出能夠?qū)Ψ蔷€性模式(如跳躍)進(jìn)行特征化的深高斯過(guò)程，而DNN的這種模式是做成的(特別是能夠?qū)OR邏輯進(jìn)行建模)。因此，從這一點(diǎn)，我們可以看到，有這么多收獲。

我一直想研究一下這個(gè)證據(jù)， 下面很簡(jiǎn)單。以下文章由李等人在谷歌腦的報(bào)紙上取，因此我要感謝他們讓本文如此方便。

有點(diǎn)符號(hào)

注意：您不能對(duì)"媒體"上的所有內(nèi)容進(jìn)行下標(biāo)，因此，如果您看到下劃線(M_l)，則假設(shè)這意味著 M 與 l 作為下標(biāo)。所以一個(gè)M_i + 米

考慮使用隱藏寬度層(對(duì)于層 L)N_l L 層完全連接的神經(jīng)網(wǎng)絡(luò)。讓 x ∈ Rdɪ輸入到網(wǎng)絡(luò)，讓 z l 表示其輸出(在層 L)。l'th 層中激活的 i'th 組件表示為 xli 和 zli。l'th 層的權(quán)重和偏置參數(shù)具有 iid 的零值和偏置參數(shù)，并假定它們具有零均值和 σ 2_w/N_l。

神經(jīng)網(wǎng)絡(luò)

現(xiàn)在我們知道神經(jīng)網(wǎng)絡(luò)輸出 (zli) 的 i'th 組件的計(jì)算方式如下：

我們顯示了對(duì)輸入 x 的依賴性。由于權(quán)重和偏置參數(shù)假定為 iid，因此 xli 和 xli' 的 pos 激活函數(shù)對(duì)于 j=/j' 是獨(dú)立的。

現(xiàn)在，由于 zli(x) 是 iid 項(xiàng)的總和，它遵循中央限制定理，因此在無(wú)限寬度 (N1-> ∞) 的限制中，zli(x) 也因此高斯分布。

高斯進(jìn)程

同樣，從多維CLT，我們可以推斷比任何有限集合的變量z將是聯(lián)合多變量高斯，這恰好是我們高斯過(guò)程的確切定義。

因此，我們可以得出結(jié)論，zli(x)=GP(μ 1，K1)是一個(gè)高斯過(guò)程，均值為μ 1，K1為協(xié)方差，它們本身與 i 無(wú)關(guān)。由于參數(shù)的均值為零，因此μ 1=0，但 K1(x，x') 如下所示：

其中，通過(guò)針對(duì)W0和b0的分布進(jìn)行整合獲得這種協(xié)方差。請(qǐng)注意，由于 i=/=j 的任何兩個(gè) zli 和 zlj 都是共同的高斯，并且零協(xié)方差，因此盡管使用了隱藏層產(chǎn)生的相同功能，它們?nèi)员ＷC是獨(dú)立的。

一些證據(jù)是簡(jiǎn)單和合乎邏輯的，中央極限定理的魔力是，它統(tǒng)一了高斯分布下的一切。高斯分布是偉大的，因?yàn)檫吘壔驼{(diào)節(jié)變量(或維度)導(dǎo)致高斯分布和功能形式是相當(dāng)簡(jiǎn)單的，所以事情可以濃縮成封閉形式的解決方案(所以很少需要優(yōu)化技術(shù))。

讓我知道你是怎么找到我的邏輯， 問(wèn)問(wèn)題， 如果你有任何問(wèn)題， 請(qǐng)讓我知道， 如果我錯(cuò)過(guò)了什么!

隨時(shí)了解我的最新文章!