偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

清華提出DIKI:基于殘差的可控持續(xù)學(xué)習(xí)方案,完美保持預(yù)訓(xùn)練知識

人工智能 新聞
為了高效地解決此問題,論文提出了分布感知無干擾知識集成(DIKI)框架,從避免信息干擾的角度保留VLMs的預(yù)訓(xùn)練知識。

本研究解決了領(lǐng)域-類別增量學(xué)習(xí)問題,這是一個現(xiàn)實但富有挑戰(zhàn)性的持續(xù)學(xué)習(xí)場景,其中領(lǐng)域分布和目標(biāo)類別在不同任務(wù)中變化。為應(yīng)對這些多樣化的任務(wù),引入了預(yù)訓(xùn)練的視覺-語言模型(VLMs),因為它們具有很強(qiáng)的泛化能力。然而,這也引發(fā)了一個新問題:在適應(yīng)新任務(wù)時,預(yù)訓(xùn)練VLMs中編碼的知識可能會受到干擾,從而損害它們固有的零樣本能力?,F(xiàn)有方法通過在額外數(shù)據(jù)集上對VLMs進(jìn)行知識蒸餾來解決此問題,但這需要較大的計算開銷。為了高效地解決此問題,論文提出了分布感知無干擾知識集成(DIKI)框架,從避免信息干擾的角度保留VLMs的預(yù)訓(xùn)練知識。具體而言,設(shè)計了一個完全殘差機(jī)制,將新學(xué)習(xí)的知識注入到一個凍結(jié)的主干網(wǎng)絡(luò)中,同時對預(yù)訓(xùn)練知識產(chǎn)生最小的不利影響。此外,這種殘差特性使分布感知集成校準(zhǔn)方案成為可能,明確控制來自未知分布的測試數(shù)據(jù)的信息植入過程。實驗表明,DIKI超過了當(dāng)前最先進(jìn)的方法,僅使用0.86%的訓(xùn)練參數(shù),并且所需的訓(xùn)練時間大幅減少。

論文: Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models

圖片

  • 論文地址:https://arxiv.org/abs/2407.05342
  • 論文代碼:https://github.com/lloongx/DIKI

Introduction

監(jiān)督學(xué)習(xí)技術(shù)在對所有數(shù)據(jù)完全訪問的情況下訓(xùn)練網(wǎng)絡(luò),這可能導(dǎo)致在擴(kuò)展網(wǎng)絡(luò)以獲取新任務(wù)知識時缺乏靈活性。持續(xù)學(xué)習(xí)(CL)作為一種解決方案應(yīng)運而生,使得模型能夠在陸續(xù)到達(dá)的數(shù)據(jù)上進(jìn)行持續(xù)訓(xùn)練,同時保留所學(xué)的信息。傳統(tǒng)的CL設(shè)置一般考慮的只新引入的類別或領(lǐng)域分布的變化,這稱為類別增量學(xué)習(xí)和領(lǐng)域增量學(xué)習(xí)。然而,只考慮一種增量的現(xiàn)有工作限制了它們在復(fù)雜現(xiàn)實場景中的適用性。

圖片

考慮一個更具挑戰(zhàn)性的領(lǐng)域-類別增量學(xué)習(xí)(DCIL)設(shè)置,在該設(shè)置中,領(lǐng)域數(shù)據(jù)分布和待分類的類別在所有任務(wù)中可能不斷變化,如圖1(a)所示。在這種情況下,基于傳統(tǒng)圖像編碼器的技術(shù)由于其不可擴(kuò)展的分類頭設(shè)計而無法實現(xiàn)。最近,對比訓(xùn)練的視覺-語言模型(VLMs)如CLIP的出現(xiàn),使得解決這一要求高但實際的問題成為可能。VLMs是在大規(guī)模的圖像-文本對上訓(xùn)練的,具有強(qiáng)大的零樣本泛化能力,可以識別幾乎無限的類別,應(yīng)對這種嚴(yán)重的任務(wù)變化場景。

然而,使用視覺-語言模型引入了增量訓(xùn)練的新挑戰(zhàn)。傳統(tǒng)的持續(xù)學(xué)習(xí)方案旨在防止模型遺忘先前學(xué)習(xí)的知識,這被稱為向后遺忘(忘記微調(diào)的知識)?,F(xiàn)有的研究探討了正則化機(jī)制、復(fù)習(xí)緩沖區(qū)和架構(gòu)設(shè)計在減輕向后遺忘方面的潛力,并取得了令人鼓舞的成果。然而,當(dāng)這些方法應(yīng)用于視覺-語言模型時,出現(xiàn)了一種不同形式的災(zāi)難性遺忘:模型往往會遺忘在預(yù)訓(xùn)練階段所學(xué)的知識,從而妨礙其強(qiáng)大的零樣本泛化能力。這個問題被稱為向前遺忘(忘記預(yù)訓(xùn)練的知識),因為它發(fā)生在VLMs對未知分布數(shù)據(jù)進(jìn)行“向前”預(yù)測時。圖1(a)展示了這兩種遺忘類型。

最近的工作ZSCL嘗試解決CLIP上的向前遺忘問題,引入了一個大規(guī)模的參考數(shù)據(jù)集來進(jìn)行知識蒸餾,并結(jié)合了權(quán)重集成方案。然而,這種方法需要大量的計算和外部數(shù)據(jù),在實際場景中可能不可行。同時,現(xiàn)有的基于VLM的參數(shù)高效持續(xù)學(xué)習(xí)方法主要利用提示調(diào)整機(jī)制,未能保留預(yù)訓(xùn)練知識,并導(dǎo)致零樣本能力下降,如圖1(b)所示。論文將這個問題歸因于信息干擾:新引入的任務(wù)特定參數(shù)可能會干擾預(yù)訓(xùn)練知識。這些方法的示意圖如圖1(c)所示。

為了以計算和參數(shù)高效的方式緩解VLMs的向前遺忘問題,論文引入了分布感知無干擾知識融合(DIKI)框架。具體而言,將任務(wù)特定信息注入到凍結(jié)的VLM中,以便為每個任務(wù)高效地存儲已學(xué)習(xí)的知識。

論文的貢獻(xiàn)總結(jié)為三點:

  1. 引入了參數(shù)高效的DIKI,以在DCIL設(shè)置下保留VLM中的預(yù)訓(xùn)練知識。它解決了信息干擾問題,降低了對大量計算和外部數(shù)據(jù)的需求。
  2. 為了緩解向前遺忘,DIKI以完全殘差的方式植入新知識,保持預(yù)訓(xùn)練知識不受干擾。憑借這種殘差特性,進(jìn)一步集成了分布感知融合校準(zhǔn),以提高在未見任務(wù)上的性能。
  3. 綜合實驗表明,與以前的方法相比,DIKI以僅0.86%的訓(xùn)練參數(shù)和顯著更少的訓(xùn)練時間實現(xiàn)了最先進(jìn)的性能。

Preliminaries

  • Continual learning protocol

圖片圖片

  • Vision-language models

圖片

  • Task-specific prompt learning

一系列研究開始探索在持續(xù)學(xué)習(xí)中參數(shù)高效微調(diào)的潛力,常見的做法是為每個任務(wù)學(xué)習(xí)和存儲一組輕量級提示,在持續(xù)學(xué)習(xí)階段形成一個“提示池”,表示為:

圖片

其中N是任務(wù)編號,l和d分別是提示的長度和特征嵌入的維度。

圖片圖片圖片圖片圖片

通過最相關(guān)的鍵,選擇相應(yīng)的提示并將其附加到凍結(jié)模型上,執(zhí)行推理過程。

Methodology

Interference-free Knowledge Integration

  • Is prepending the best choice?

盡管將提示預(yù)先添加到輸入tokens的方法因其實現(xiàn)簡單而被廣泛使用,但論文發(fā)現(xiàn)它們面臨兩個方面的問題。

  1. 將提示與輸入tokens進(jìn)行連接會導(dǎo)致它們在注意力過程中相互作用,從而影響預(yù)訓(xùn)練知識的提取。當(dāng)測試樣本來自模型學(xué)習(xí)提示時的分布時,適應(yīng)后的模型可以保持相對令人滿意的結(jié)果。然而,一旦遇到分布發(fā)生改變的樣本,這種干擾可能導(dǎo)致模型性能下降,并損失其重要的零樣本泛化能力,造成前向遺忘問題。
  2. 簡單地預(yù)先添加提示不可避免地增加了所有Transformer塊的token長度,這在許多有token長度限制的場景中并不理想。另外,它的可擴(kuò)展性有限:較長的提示上下文可能會使文本編碼器忽視重要的類別名稱,從而導(dǎo)致文本嵌入表示不佳。

上述問題的存在表明,基于提示調(diào)優(yōu)的方法并不滿足“殘差屬性”:期望學(xué)習(xí)到的參數(shù)應(yīng)該是與凍結(jié)主干并行的殘差路徑,補(bǔ)充新的知識而不影響關(guān)鍵的預(yù)訓(xùn)練知識。因此,論文提出了一種無干擾知識整合(Interference-free Knowledge IntegrationIKI)方案,以最小化噪聲的方式將新學(xué)習(xí)的知識注入到預(yù)訓(xùn)練的VLM中。

  • IKI mechanism

圖片圖片圖片圖片圖片圖片圖片

為了解決這個問題,論文分別計算輸入tokens內(nèi)的自注意力和提示與輸入tokens之間的交叉注意力,如圖2(b)所示。換句話說,只訓(xùn)練一個殘差注意力分支,保持現(xiàn)有的注意力分?jǐn)?shù)不變。通過新引入的鍵和值,殘差注意力分支的輸出可以表示為:

圖片

理想情況下,一個理想的殘差塊在未在下游數(shù)據(jù)集上進(jìn)行訓(xùn)練之前,應(yīng)該不會影響原始分支,比如在初始化時。廣泛使用的方式用均勻或正態(tài)分布初始化提示,這會在沒有學(xué)習(xí)到任何知識的情況下向預(yù)訓(xùn)練的VLMs中注入隨機(jī)噪聲。具體而言,通過將參數(shù)初始化為零,強(qiáng)制殘差注意力加法成為一個恒等函數(shù):

圖片

注意,論文僅在開始時將值限制為零,同時保持隨機(jī)初始化。這是因為將和都初始化為零矩陣會阻止通過梯度更新,從而使陷入到具有相同值的向量中。

由于零初始化更像是一種選擇而非技術(shù),一些研究在各種任務(wù)中采用了它。然而,這些工作利用零初始化來確保穩(wěn)定和漸進(jìn)的訓(xùn)練機(jī)制,而在DCIL場景中并不存在這一顧慮。論文認(rèn)為,零初始化對于殘差注意力設(shè)計是至關(guān)重要的,它可以以最小的噪聲將新知識注入到預(yù)訓(xùn)練的VLMs中。

Distribution-aware Integration Calibration

  • Observations 在推理時,會執(zhí)行公式3中描述的查詢-鍵匹配機(jī)制,以檢索適合當(dāng)前測試樣本的學(xué)習(xí)提示。這種方法是針對傳統(tǒng)的持續(xù)學(xué)習(xí)設(shè)置而設(shè)計的,僅考慮了向后遺忘。然而,當(dāng)面對來自未見領(lǐng)域的數(shù)據(jù)時,這種簡單的匹配設(shè)計被強(qiáng)制執(zhí)行,從而為測試樣本分配一個相對相似的任務(wù),盡管它們之間存在顯著的分布差距。

得益于IKI的殘差設(shè)計,與之前的方法相比,現(xiàn)在可以在這種不匹配的場景中引入更少的噪聲。然而,當(dāng)訓(xùn)練和測試分布之間的差異增加時,模型在某種程度上的性能下降是不可避免的,這會損害VLMs在預(yù)訓(xùn)練階段所學(xué)到的零樣本能力。

ZSCL通過蒸餾來解決這個問題。他們構(gòu)建了一個包含來自ImageNet的100,000張圖像的參考數(shù)據(jù)集,以在每個訓(xùn)練步驟中將原始CLIP的預(yù)訓(xùn)練知識蒸餾到當(dāng)前模型中,明確進(jìn)行復(fù)習(xí)以避免遺忘。這種方法可能有效,但它依賴于大規(guī)模存儲和高計算資源,從而在實際環(huán)境中顯得不切實際。

一個直觀的解決方案是控制知識植入模型的程度。然而,之前基于前置的提示調(diào)整技術(shù)只有兩個選擇:要么追加學(xué)習(xí)到的提示,要么不對原始CLIP模型進(jìn)行任何修改。得益于IKI的優(yōu)雅殘差特性,現(xiàn)在可以控制這一并行分支的能力。

  • DIKI: calibrate the integration with distribution

圖片圖片圖片圖片圖片圖片

Experiments

圖片

責(zé)任編輯:張燕妮 來源: 自動駕駛之心
相關(guān)推薦

2021-11-15 10:00:22

模型人工智能NLP

2017-07-19 11:39:25

深度學(xué)習(xí)人工智能boosting

2025-04-11 09:35:34

2021-11-26 10:18:37

AI 數(shù)據(jù)機(jī)器學(xué)習(xí)

2024-11-07 15:10:00

2023-05-19 07:25:34

2022-11-02 14:02:02

強(qiáng)化學(xué)習(xí)訓(xùn)練

2025-02-17 09:30:00

AI訓(xùn)練模型

2025-02-10 08:40:00

訓(xùn)練數(shù)據(jù)模型

2017-12-26 13:53:31

深度學(xué)習(xí)遷移學(xué)習(xí)

2023-06-12 07:50:45

2023-03-14 14:10:00

圖像檢測

2025-06-12 08:46:00

2017-06-23 14:11:56

2023-02-01 09:46:29

2023-02-07 13:24:42

應(yīng)用學(xué)習(xí)

2024-05-20 09:07:03

2021-12-06 09:53:09

自然語言神經(jīng)網(wǎng)絡(luò)人工智能

2020-11-18 10:29:07

模型人工智能開源

2023-06-15 15:45:42

自然語言語言模型
點贊
收藏

51CTO技術(shù)棧公眾號