本研究解決了領(lǐng)域-類別增量學(xué)習(xí)問題，這是一個現(xiàn)實但富有挑戰(zhàn)性的持續(xù)學(xué)習(xí)場景，其中領(lǐng)域分布和目標(biāo)類別在不同任務(wù)中變化。為應(yīng)對這些多樣化的任務(wù)，引入了預(yù)訓(xùn)練的視覺-語言模型（VLMs），因為它們具有很強(qiáng)的泛化能力。然而，這也引發(fā)了一個新問題：在適應(yīng)新任務(wù)時，預(yù)訓(xùn)練VLMs中編碼的知識可能會受到干擾，從而損害它們固有的零樣本能力?，F(xiàn)有方法通過在額外數(shù)據(jù)集上對VLMs進(jìn)行知識蒸餾來解決此問題，但這需要較大的計算開銷。為了高效地解決此問題，論文提出了分布感知無干擾知識集成（DIKI）框架，從避免信息干擾的角度保留VLMs的預(yù)訓(xùn)練知識。具體而言，設(shè)計了一個完全殘差機(jī)制，將新學(xué)習(xí)的知識注入到一個凍結(jié)的主干網(wǎng)絡(luò)中，同時對預(yù)訓(xùn)練知識產(chǎn)生最小的不利影響。此外，這種殘差特性使分布感知集成校準(zhǔn)方案成為可能，明確控制來自未知分布的測試數(shù)據(jù)的信息植入過程。實驗表明，DIKI超過了當(dāng)前最先進(jìn)的方法，僅使用0.86%的訓(xùn)練參數(shù)，并且所需的訓(xùn)練時間大幅減少。

論文: Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models

• 論文地址：https://arxiv.org/abs/2407.05342
• 論文代碼：https://github.com/lloongx/DIKI

Introduction

監(jiān)督學(xué)習(xí)技術(shù)在對所有數(shù)據(jù)完全訪問的情況下訓(xùn)練網(wǎng)絡(luò)，這可能導(dǎo)致在擴(kuò)展網(wǎng)絡(luò)以獲取新任務(wù)知識時缺乏靈活性。持續(xù)學(xué)習(xí)（CL）作為一種解決方案應(yīng)運而生，使得模型能夠在陸續(xù)到達(dá)的數(shù)據(jù)上進(jìn)行持續(xù)訓(xùn)練，同時保留所學(xué)的信息。傳統(tǒng)的CL設(shè)置一般考慮的只新引入的類別或領(lǐng)域分布的變化，這稱為類別增量學(xué)習(xí)和領(lǐng)域增量學(xué)習(xí)。然而，只考慮一種增量的現(xiàn)有工作限制了它們在復(fù)雜現(xiàn)實場景中的適用性。

考慮一個更具挑戰(zhàn)性的領(lǐng)域-類別增量學(xué)習(xí)（DCIL）設(shè)置，在該設(shè)置中，領(lǐng)域數(shù)據(jù)分布和待分類的類別在所有任務(wù)中可能不斷變化，如圖1(a)所示。在這種情況下，基于傳統(tǒng)圖像編碼器的技術(shù)由于其不可擴(kuò)展的分類頭設(shè)計而無法實現(xiàn)。最近，對比訓(xùn)練的視覺-語言模型（VLMs）如CLIP的出現(xiàn)，使得解決這一要求高但實際的問題成為可能。VLMs是在大規(guī)模的圖像-文本對上訓(xùn)練的，具有強(qiáng)大的零樣本泛化能力，可以識別幾乎無限的類別，應(yīng)對這種嚴(yán)重的任務(wù)變化場景。

然而，使用視覺-語言模型引入了增量訓(xùn)練的新挑戰(zhàn)。傳統(tǒng)的持續(xù)學(xué)習(xí)方案旨在防止模型遺忘先前學(xué)習(xí)的知識，這被稱為向后遺忘（忘記微調(diào)的知識）?，F(xiàn)有的研究探討了正則化機(jī)制、復(fù)習(xí)緩沖區(qū)和架構(gòu)設(shè)計在減輕向后遺忘方面的潛力，并取得了令人鼓舞的成果。然而，當(dāng)這些方法應(yīng)用于視覺-語言模型時，出現(xiàn)了一種不同形式的災(zāi)難性遺忘：模型往往會遺忘在預(yù)訓(xùn)練階段所學(xué)的知識，從而妨礙其強(qiáng)大的零樣本泛化能力。這個問題被稱為向前遺忘（忘記預(yù)訓(xùn)練的知識），因為它發(fā)生在VLMs對未知分布數(shù)據(jù)進(jìn)行“向前”預(yù)測時。圖1(a)展示了這兩種遺忘類型。

最近的工作ZSCL嘗試解決CLIP上的向前遺忘問題，引入了一個大規(guī)模的參考數(shù)據(jù)集來進(jìn)行知識蒸餾，并結(jié)合了權(quán)重集成方案。然而，這種方法需要大量的計算和外部數(shù)據(jù)，在實際場景中可能不可行。同時，現(xiàn)有的基于VLM的參數(shù)高效持續(xù)學(xué)習(xí)方法主要利用提示調(diào)整機(jī)制，未能保留預(yù)訓(xùn)練知識，并導(dǎo)致零樣本能力下降，如圖1(b)所示。論文將這個問題歸因于信息干擾：新引入的任務(wù)特定參數(shù)可能會干擾預(yù)訓(xùn)練知識。這些方法的示意圖如圖1(c)所示。

為了以計算和參數(shù)高效的方式緩解VLMs的向前遺忘問題，論文引入了分布感知無干擾知識融合（DIKI）框架。具體而言，將任務(wù)特定信息注入到凍結(jié)的VLM中，以便為每個任務(wù)高效地存儲已學(xué)習(xí)的知識。

論文的貢獻(xiàn)總結(jié)為三點：

1. 引入了參數(shù)高效的DIKI，以在DCIL設(shè)置下保留VLM中的預(yù)訓(xùn)練知識。它解決了信息干擾問題，降低了對大量計算和外部數(shù)據(jù)的需求。
2. 為了緩解向前遺忘，DIKI以完全殘差的方式植入新知識，保持預(yù)訓(xùn)練知識不受干擾。憑借這種殘差特性，進(jìn)一步集成了分布感知融合校準(zhǔn)，以提高在未見任務(wù)上的性能。
3. 綜合實驗表明，與以前的方法相比，DIKI以僅0.86%的訓(xùn)練參數(shù)和顯著更少的訓(xùn)練時間實現(xiàn)了最先進(jìn)的性能。

Preliminaries

• Continual learning protocol

• Vision-language models

• Task-specific prompt learning

一系列研究開始探索在持續(xù)學(xué)習(xí)中參數(shù)高效微調(diào)的潛力，常見的做法是為每個任務(wù)學(xué)習(xí)和存儲一組輕量級提示，在持續(xù)學(xué)習(xí)階段形成一個“提示池”，表示為：

其中N是任務(wù)編號，l和d分別是提示的長度和特征嵌入的維度。

通過最相關(guān)的鍵，選擇相應(yīng)的提示并將其附加到凍結(jié)模型上，執(zhí)行推理過程。

Methodology

Interference-free Knowledge Integration

• Is prepending the best choice?

盡管將提示預(yù)先添加到輸入tokens的方法因其實現(xiàn)簡單而被廣泛使用，但論文發(fā)現(xiàn)它們面臨兩個方面的問題。

1. 將提示與輸入tokens進(jìn)行連接會導(dǎo)致它們在注意力過程中相互作用，從而影響預(yù)訓(xùn)練知識的提取。當(dāng)測試樣本來自模型學(xué)習(xí)提示時的分布時，適應(yīng)后的模型可以保持相對令人滿意的結(jié)果。然而，一旦遇到分布發(fā)生改變的樣本，這種干擾可能導(dǎo)致模型性能下降，并損失其重要的零樣本泛化能力，造成前向遺忘問題。
2. 簡單地預(yù)先添加提示不可避免地增加了所有Transformer塊的token長度，這在許多有token長度限制的場景中并不理想。另外，它的可擴(kuò)展性有限：較長的提示上下文可能會使文本編碼器忽視重要的類別名稱，從而導(dǎo)致文本嵌入表示不佳。

上述問題的存在表明，基于提示調(diào)優(yōu)的方法并不滿足“殘差屬性”：期望學(xué)習(xí)到的參數(shù)應(yīng)該是與凍結(jié)主干并行的殘差路徑，補(bǔ)充新的知識而不影響關(guān)鍵的預(yù)訓(xùn)練知識。因此，論文提出了一種無干擾知識整合（Interference-free Knowledge Integration，IKI）方案，以最小化噪聲的方式將新學(xué)習(xí)的知識注入到預(yù)訓(xùn)練的VLM中。

• IKI mechanism

為了解決這個問題，論文分別計算輸入tokens內(nèi)的自注意力和提示與輸入tokens之間的交叉注意力，如圖2(b)所示。換句話說，只訓(xùn)練一個殘差注意力分支，保持現(xiàn)有的注意力分?jǐn)?shù)不變。通過新引入的鍵和值，殘差注意力分支的輸出可以表示為：

理想情況下，一個理想的殘差塊在未在下游數(shù)據(jù)集上進(jìn)行訓(xùn)練之前，應(yīng)該不會影響原始分支，比如在初始化時。廣泛使用的方式用均勻或正態(tài)分布初始化提示，這會在沒有學(xué)習(xí)到任何知識的情況下向預(yù)訓(xùn)練的VLMs中注入隨機(jī)噪聲。具體而言，通過將參數(shù)初始化為零，強(qiáng)制殘差注意力加法成為一個恒等函數(shù)：

注意，論文僅在開始時將值限制為零，同時保持隨機(jī)初始化。這是因為將和都初始化為零矩陣會阻止通過梯度更新，從而使陷入到具有相同值的向量中。

由于零初始化更像是一種選擇而非技術(shù)，一些研究在各種任務(wù)中采用了它。然而，這些工作利用零初始化來確保穩(wěn)定和漸進(jìn)的訓(xùn)練機(jī)制，而在DCIL場景中并不存在這一顧慮。論文認(rèn)為，零初始化對于殘差注意力設(shè)計是至關(guān)重要的，它可以以最小的噪聲將新知識注入到預(yù)訓(xùn)練的VLMs中。

Distribution-aware Integration Calibration

• Observations 在推理時，會執(zhí)行公式3中描述的查詢-鍵匹配機(jī)制，以檢索適合當(dāng)前測試樣本的學(xué)習(xí)提示。這種方法是針對傳統(tǒng)的持續(xù)學(xué)習(xí)設(shè)置而設(shè)計的，僅考慮了向后遺忘。然而，當(dāng)面對來自未見領(lǐng)域的數(shù)據(jù)時，這種簡單的匹配設(shè)計被強(qiáng)制執(zhí)行，從而為測試樣本分配一個相對相似的任務(wù)，盡管它們之間存在顯著的分布差距。

得益于IKI的殘差設(shè)計，與之前的方法相比，現(xiàn)在可以在這種不匹配的場景中引入更少的噪聲。然而，當(dāng)訓(xùn)練和測試分布之間的差異增加時，模型在某種程度上的性能下降是不可避免的，這會損害VLMs在預(yù)訓(xùn)練階段所學(xué)到的零樣本能力。

ZSCL通過蒸餾來解決這個問題。他們構(gòu)建了一個包含來自ImageNet的100,000張圖像的參考數(shù)據(jù)集，以在每個訓(xùn)練步驟中將原始CLIP的預(yù)訓(xùn)練知識蒸餾到當(dāng)前模型中，明確進(jìn)行復(fù)習(xí)以避免遺忘。這種方法可能有效，但它依賴于大規(guī)模存儲和高計算資源，從而在實際環(huán)境中顯得不切實際。

一個直觀的解決方案是控制知識植入模型的程度。然而，之前基于前置的提示調(diào)整技術(shù)只有兩個選擇：要么追加學(xué)習(xí)到的提示，要么不對原始CLIP模型進(jìn)行任何修改。得益于IKI的優(yōu)雅殘差特性，現(xiàn)在可以控制這一并行分支的能力。

• DIKI: calibrate the integration with distribution

Experiments