當(dāng)神經(jīng)網(wǎng)絡(luò)的研究方向逐漸轉(zhuǎn)為超大規(guī)模預(yù)訓(xùn)練模型，研究人員的目標(biāo)似乎變成了讓網(wǎng)絡(luò)擁有更大的參數(shù)量，更多的訓(xùn)練數(shù)據(jù)，更多樣化的訓(xùn)練任務(wù)。

當(dāng)然，這個(gè)措施確實(shí)很有效，隨著神經(jīng)網(wǎng)絡(luò)越來(lái)越大，模型了解和掌握的數(shù)據(jù)也更多，在部分特定任務(wù)上已經(jīng)超越人類(lèi)。

但在數(shù)學(xué)上，現(xiàn)代神經(jīng)網(wǎng)絡(luò)的規(guī)模實(shí)際上有些過(guò)于臃腫了，參數(shù)量通常遠(yuǎn)遠(yuǎn)超過(guò)了預(yù)測(cè)任務(wù)的需求，這種情況也被稱(chēng)為過(guò)度參數(shù)化（overparameterization）。

NeurIPS上的一篇論文中最近就這一現(xiàn)象提出了一種全新的解釋。他們認(rèn)為這種比預(yù)期規(guī)模更大的神經(jīng)網(wǎng)絡(luò)是完全有必要的，只有這樣才能避免某些基本問(wèn)題，這篇論文中的發(fā)現(xiàn)也為這一問(wèn)題提供一種更通用的見(jiàn)解。

論文地址：https://arxiv.org/abs/2105.12806

文章的第一作者Sébastien Bubeck在MSR Redmond管理機(jī)器學(xué)習(xí)基礎(chǔ)研究組，主要在機(jī)器學(xué)習(xí)和理論計(jì)算機(jī)科學(xué)中跨越各種主題進(jìn)行交叉研究。

神經(jīng)網(wǎng)絡(luò)就該這么大

神經(jīng)網(wǎng)絡(luò)的一項(xiàng)常見(jiàn)任務(wù)是識(shí)別圖像中的目標(biāo)對(duì)象。

為了創(chuàng)建一個(gè)能夠完成該任務(wù)的網(wǎng)絡(luò)，研究人員首先為其提供許多圖像和對(duì)應(yīng)目標(biāo)標(biāo)簽，對(duì)其進(jìn)行訓(xùn)練以學(xué)習(xí)它們之間的相關(guān)性。之后，網(wǎng)絡(luò)將正確識(shí)別它已經(jīng)看到的圖像中的目標(biāo)。

換句話說(shuō)，訓(xùn)練過(guò)程使得神經(jīng)網(wǎng)絡(luò)記住了這些數(shù)據(jù)。

并且，一旦網(wǎng)絡(luò)記住了足夠多的訓(xùn)練數(shù)據(jù)，它還能夠以不同程度的準(zhǔn)確度預(yù)測(cè)它從未見(jiàn)過(guò)的物體的標(biāo)簽，這個(gè)過(guò)程稱(chēng)為泛化。

網(wǎng)絡(luò)的大小決定了它能記憶多少東西。

可以用圖形化的空間來(lái)理解。假設(shè)有兩個(gè)數(shù)據(jù)點(diǎn)，把它們放在一個(gè)XY平面上，可以用一條由兩個(gè)參數(shù)描述的線來(lái)連接這些點(diǎn)：線的斜率和它與縱軸相交時(shí)的高度。如果其他人也知道這條直線的參數(shù)，以及其中一個(gè)原始數(shù)據(jù)點(diǎn)的X坐標(biāo)，他們可以通過(guò)觀察這條直線（或使用參數(shù)）來(lái)計(jì)算出相應(yīng)的Y坐標(biāo)。

也就是說(shuō)，這條線已經(jīng)記住了這兩個(gè)數(shù)據(jù)點(diǎn)，神經(jīng)網(wǎng)絡(luò)做的就是差不多類(lèi)似的事情。

例如，圖像是由成百上千的數(shù)值描述的，每個(gè)像素都有一個(gè)對(duì)應(yīng)的值?？梢园堰@個(gè)由許多自由值組成的集合在數(shù)學(xué)上相當(dāng)于高維空間中一個(gè)點(diǎn)的坐標(biāo)，坐標(biāo)的數(shù)量也稱(chēng)為維度。

傳統(tǒng)的數(shù)學(xué)結(jié)論認(rèn)為，要用一條曲線擬合n個(gè)數(shù)據(jù)點(diǎn)，你需要一個(gè)有n個(gè)參數(shù)的函數(shù)。例如，在直線的例子中，兩個(gè)點(diǎn)是由一條有兩個(gè)參數(shù)的曲線描述的。

當(dāng)神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代首次作為一種新模型出現(xiàn)時(shí)，研究人員也這么認(rèn)為，應(yīng)該只需要n個(gè)參數(shù)來(lái)適應(yīng)n個(gè)數(shù)據(jù)點(diǎn)，而跟數(shù)據(jù)的維度無(wú)關(guān)。

德克薩斯大學(xué)奧斯汀分校的Alex Dimakis表示，現(xiàn)在實(shí)際情況已經(jīng)不是這樣了，神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了訓(xùn)練樣本的數(shù)量，這說(shuō)明了教科書(shū)上的內(nèi)容必須得重寫(xiě)進(jìn)行修正。

研究人員正在研究神經(jīng)網(wǎng)絡(luò)的魯棒性（robustness），即網(wǎng)絡(luò)處理小變化的能力。例如，一個(gè)不魯棒的網(wǎng)絡(luò)可能已經(jīng)學(xué)會(huì)了識(shí)別長(zhǎng)頸鹿，但它會(huì)把一個(gè)幾乎沒(méi)有修改的版本誤標(biāo)為沙鼠。

2019年，Bubeck和同事們正在尋求證明關(guān)于這個(gè)問(wèn)題的定理，當(dāng)時(shí)他們就意識(shí)到這個(gè)問(wèn)題與網(wǎng)絡(luò)的規(guī)模有關(guān)。

在他們的新證明中，研究人員表明，過(guò)度參數(shù)化對(duì)于網(wǎng)絡(luò)的魯棒性是必要的。他們提出平滑性（smoothness），來(lái)指出需要多少個(gè)參數(shù)才能用一條具有等同于魯棒性的數(shù)學(xué)特性的曲線來(lái)擬合數(shù)據(jù)點(diǎn)。

要想理解這一點(diǎn)，可以再次想象平面上的一條曲線，其中x坐標(biāo)代表一個(gè)像素的顏色，y坐標(biāo)代表一個(gè)圖像標(biāo)簽。

由于曲線是平滑的，如果你稍微修改一下像素的顏色，沿著曲線移動(dòng)一小段距離，相應(yīng)的預(yù)測(cè)值只會(huì)有少量的變化。另一方面，對(duì)于一條鋸齒狀的曲線，X坐標(biāo)（顏色）的微小變化會(huì)導(dǎo)致Y坐標(biāo)（圖像標(biāo)簽）的巨大變化，長(zhǎng)頸鹿可以變成沙鼠。

Bubeck和Sellke在論文中證明，平滑擬合高維數(shù)據(jù)點(diǎn)不僅需要n個(gè)參數(shù)，而且需要n×d個(gè)參數(shù)，其中d是輸入的維度（例如，784個(gè)像素的圖像輸入維度為784）。

換句話說(shuō)，如果你想讓一個(gè)網(wǎng)絡(luò)穩(wěn)健地記住它的訓(xùn)練數(shù)據(jù)，過(guò)度參數(shù)化不僅是有幫助的，而且是必須的。該證明依賴(lài)于一個(gè)關(guān)于高維幾何的事實(shí)，即隨機(jī)分布在球體表面的點(diǎn)幾乎都是彼此相距一個(gè)直徑的距離，點(diǎn)與點(diǎn)之間的巨大間隔意味著用一條光滑的曲線來(lái)擬合它們需要許多額外的參數(shù)。

耶魯大學(xué)的Amin Karbasi稱(chēng)贊論文中的證明是非常簡(jiǎn)潔的，沒(méi)有大量的數(shù)學(xué)公式，而且它說(shuō)的是非常通用的內(nèi)容。

這一證明結(jié)果也為理解為什么擴(kuò)大神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單策略如此有效提供了一個(gè)新的途徑。

其他研究揭示了過(guò)量參數(shù)化有幫助的其他原因。例如，它可以提高訓(xùn)練過(guò)程的效率，也可以提高網(wǎng)絡(luò)的泛化能力。

雖然我們現(xiàn)在知道過(guò)量參數(shù)化對(duì)魯棒性是必要的，但還不清楚魯棒性對(duì)其他事情有多大必要。但通過(guò)將其與過(guò)度參數(shù)化聯(lián)系起來(lái)，新的證明暗示魯棒性可能比人們想象的更重要，這也可能為其他解釋大模型的益處研究做鋪墊。

魯棒性確實(shí)是泛化的一個(gè)先決條件，如果你建立了一個(gè)系統(tǒng)，只是輕微地?cái)_動(dòng)它，然后它就失控了，那是什么樣的系統(tǒng)？顯然是不合理的。

所以，Bubeck認(rèn)為這是一個(gè)非?；A(chǔ)和基本的要求。