谷歌提出視覺記憶方法，讓大模型訓(xùn)練數(shù)據(jù)更靈活
目前，多數(shù)大模型一旦經(jīng)過預(yù)訓(xùn)練，其內(nèi)部結(jié)構(gòu)便難以改變，就像把知識刻在石頭一樣。如果你想對模型的數(shù)據(jù)進行更新，就需要對整個模型重新訓(xùn)練，消耗大量時間和AI算力。
為了解決這一難題，谷歌DeepMind的研究人員提出了創(chuàng)新視覺記憶技術(shù)，其核心是將深度學(xué)習(xí)模型的表示能力與數(shù)據(jù)庫的靈活性相結(jié)合，可以靈活地添加或刪除數(shù)據(jù)。簡單來說，和人類的視覺記憶差不多，既能不斷學(xué)習(xí)新的知識，又能對已有的知識進行更新和調(diào)整。
構(gòu)建視覺記憶的過程主要有兩個步驟：首先建立視覺記憶，然后利用快速最近鄰檢索進行分類。視覺記憶本質(zhì)上是一個存儲了圖像及其對應(yīng)標簽的數(shù)據(jù)庫，其中每張圖片都被映射到一個高維嵌入空間。
當(dāng)接收到一個新的查詢圖像時，系統(tǒng)會計算其與內(nèi)存中所有圖像之間的距離，并返回最接近的幾個鄰居作為候選答案。接下來，通過對這些候選答案進行加權(quán)投票來確定最終分類結(jié)果。
在構(gòu)建視覺記憶的第一步中，從一個圖像數(shù)據(jù)集中提?。▓D像，標簽）對，并使用一個固定的預(yù)訓(xùn)練圖像編碼器來提取特征映射。這些特征映射和對應(yīng)的標簽對被存儲在一個數(shù)據(jù)庫中，形成了用于分類的視覺記憶。這種方法的一個關(guān)鍵優(yōu)勢在于，它不需要在添加信息到視覺記憶時進行額外的訓(xùn)練，可以快速地將新的知識整合到模型中，而不需要重新訓(xùn)練整個神經(jīng)網(wǎng)絡(luò)。
特征提取是構(gòu)建視覺記憶的關(guān)鍵環(huán)節(jié)之一。在這個過程中，使用DinoV2、CLIP預(yù)訓(xùn)練的圖像編碼器將圖像映射到一個特征空間中，其中相似的圖像在特征空間中的距離也相近。通過這種方式，可以為每個圖像生成一個特征向量，這個向量捕捉了圖像的關(guān)鍵信息，并為后續(xù)的相似性搜索提供了基礎(chǔ)。
一旦有了這些特征向量，我們就可以構(gòu)建一個數(shù)據(jù)庫，其中包含了圖像的特征向量和對應(yīng)的標簽。這個數(shù)據(jù)庫就是我們的視覺記憶，它存儲了模型所“知道”的所有信息。當(dāng)需要對一個新的查詢圖像進行分類時，系統(tǒng)會提取該圖像的特征向量，并在視覺記憶中尋找與之最相似的圖像。
在視覺記憶建立之后，下一步就是利用這個記憶進行快速的最近鄰搜索，以輔助圖像分類。給定一個查詢圖像，系統(tǒng)首先提取其特征向量，然后在視覺記憶中搜索與之最相似的特征向量。這些相似的特征向量被稱為“鄰居”，按照與查詢圖像的距離進行排序。最近的鄰居被認為是與查詢圖像最相似的圖像，因此在分類決策中具有最高的權(quán)重。
例如，如果我們想讓模型識別新的物體類別數(shù)據(jù)，可以簡單地將這些新類別的圖像特征向量和標簽添加到視覺記憶中，模型就能夠在不重新訓(xùn)練的情況下，立即使用這些新信息進行分類決策。
除了能靈活添加數(shù)據(jù)之外，還能快速刪除特定數(shù)據(jù)，主要通過機器反學(xué)習(xí)來實現(xiàn)。機器反學(xué)習(xí)可以通過簡單地從數(shù)據(jù)庫中刪除對應(yīng)的（圖像，標簽）對來實現(xiàn)。這樣，當(dāng)模型再次進行分類決策時，這些被刪除的數(shù)據(jù)就不會被考慮在內(nèi)。
例如，如果我們發(fā)現(xiàn)某個數(shù)據(jù)樣本包含有偏見或不準確的信息，我們可以將其從視覺記憶中刪除，以確保模型的決策不受這些數(shù)據(jù)的影響。
為了進一步優(yōu)化視覺記憶，研究人員還引入了“記憶剪枝”方法，通過識別并移除或降低低質(zhì)量樣本的影響來實現(xiàn)優(yōu)化。
記憶剪枝的過程涉及到對視覺記憶中的每個樣本進行評估，以確定它們對分類決策的貢獻。這可以通過分析樣本在訓(xùn)練集上的表現(xiàn)來實現(xiàn)，例如，通過計算樣本在分類決策中導(dǎo)致錯誤的次數(shù)。那些導(dǎo)致錯誤次數(shù)較多的樣本可能被認為是低質(zhì)量的，因此可以被移除或降低權(quán)重。
論文地址：https://arxiv.org/pdf/2408.08172
本文轉(zhuǎn)自 AIGC開放社區(qū)，作者： AIGC開放社區(qū)
