RUDN 大學(xué)的數(shù)學(xué)家團(tuán)隊(duì)找到一種新方法，該方法能夠讓神經(jīng)網(wǎng)絡(luò)的大小減小到六分之一，且無需花費(fèi)更多的資源重新訓(xùn)練。

神經(jīng)網(wǎng)絡(luò)壓縮是指在對神經(jīng)網(wǎng)絡(luò)性能影響不大的情況下，通過有關(guān)方法來減少網(wǎng)絡(luò)的參數(shù)和存儲(chǔ)空間，大體上可以分為近似，量化和剪枝三類方法。

近日，來自俄羅斯人民友誼大學(xué)（RUDN）的數(shù)學(xué)家團(tuán)隊(duì)找到一種方法，可以將訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的大小減小六倍，而無需花費(fèi)更多的資源來對其進(jìn)行重新訓(xùn)練。該方法基于找到初始系統(tǒng)及其簡化版本中神經(jīng)連接權(quán)重之間的相關(guān)性。這項(xiàng)研究的結(jié)果發(fā)表在《Optical Memory and Neural Networks》期刊上。

生命體中人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)元的結(jié)構(gòu)是基于相同的原理。網(wǎng)絡(luò)中的節(jié)點(diǎn)是相互連接的；其中一些接收信號，一些通過激活或抑制鏈中的下一個(gè)元素來發(fā)送信號。任何信號（例如圖像或聲音）的處理都需要很多網(wǎng)絡(luò)元素及其之間的連接。但是，計(jì)算機(jī)模型只有有限的模型容量和存儲(chǔ)空間。為了處理大量數(shù)據(jù)，這一領(lǐng)域的研究者必須發(fā)明各種方法來降低對模型能力的需求，包括所謂的量化。這有助于減少資源消耗，但需要對系統(tǒng)進(jìn)行重新訓(xùn)練。RUDN 大學(xué)的一些數(shù)學(xué)家發(fā)現(xiàn)后者可以避免。

RUDN 大學(xué) Nikolskii 數(shù)學(xué)研究所助理教授 Iakov Karandashev 博士說：「幾年前，我們在 Hopfield 網(wǎng)絡(luò)中進(jìn)行了有效且經(jīng)濟(jì)高效的權(quán)重量化。這是一個(gè)關(guān)聯(lián)存儲(chǔ)網(wǎng)絡(luò)，并帶有遵循 Hebb 規(guī)則形成的元素之間的對稱連接。在其運(yùn)行過程中，網(wǎng)絡(luò)的活動(dòng)被降低到某個(gè)平衡狀態(tài)，并且在該狀態(tài)達(dá)到時(shí)任務(wù)就被認(rèn)為是已經(jīng)解決了，該研究中獲得的見解后來被應(yīng)用于當(dāng)今在圖像識別中非常流行的前饋深度學(xué)習(xí)網(wǎng)絡(luò)。通常這些網(wǎng)絡(luò)需要在量化后進(jìn)行重新訓(xùn)練，而我們找到了避免重新訓(xùn)練的方法?！?/p>

簡化人工神經(jīng)網(wǎng)絡(luò)背后的主要思想是所謂的權(quán)重量化，即減少每個(gè)權(quán)重的位數(shù)。量化提供信號的均值化：例如，如果將其應(yīng)用于圖像，則代表相同顏色不同陰影的所有像素將變得相同。從數(shù)學(xué)上講，這意味著借助某些參數(shù)的相似神經(jīng)連接應(yīng)該具有相同的權(quán)重（或重要性），即表示成同一個(gè)數(shù)字。

RUDN 大學(xué)的一個(gè)數(shù)學(xué)家團(tuán)隊(duì)進(jìn)行了計(jì)算并創(chuàng)建了公式，該公式可以有效地在量化前后，在神經(jīng)網(wǎng)絡(luò)的權(quán)重之間建立相關(guān)性?；诖耍茖W(xué)家們開發(fā)了一種算法，利用該算法，經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以對圖像進(jìn)行分類。在該研究的實(shí)驗(yàn)中，數(shù)學(xué)家使用了包含 5 萬張照片的數(shù)據(jù)集，這些照片包可以被分為 1000 組。訓(xùn)練之后，該網(wǎng)絡(luò)會(huì)使用新方法進(jìn)行量化，并且不進(jìn)行重新訓(xùn)練。然后，該研究將實(shí)驗(yàn)結(jié)果與其他量化算法進(jìn)行了比較。

RUDN 大學(xué)的 Iakov Karandashev 補(bǔ)充說道：「量化之后，分類準(zhǔn)確率僅降低了 1％，但是所需的存儲(chǔ)容量減少了 6 倍。實(shí)驗(yàn)表明，由于初始權(quán)重與量化后權(quán)重之間的相關(guān)性很強(qiáng)，該網(wǎng)絡(luò)不需要重新訓(xùn)練。這種方法有助于在完成時(shí)間敏感任務(wù)或在移動(dòng)設(shè)備上運(yùn)行任務(wù)時(shí)節(jié)省資源?！?/p>