諸如Qwen，GPT，DeepSeek R1等基礎(chǔ)大模型已成為現(xiàn)代深度學(xué)習(xí)的基石。

然而，在應(yīng)用于具體下游任務(wù)時，它們龐大的參數(shù)規(guī)模使得額外微調(diào)成本較高。

為了解決這一問題，近期的研究聚焦于低秩適應(yīng) (LoRA) 方法，通過保持基座模型參數(shù)凍結(jié)，僅對新增的小型輕量級適配器進行微調(diào)，從而降低微調(diào)成本。

盡管LoRA具有較高的效率，然而其微調(diào)性能往往不及全量微調(diào)。

面對這一挑戰(zhàn)，華中科技大學(xué)和香港中文大學(xué)團隊提出了一項全新的LoRA微調(diào)框架——GOAT，該工作已成功被ICML 2025正式接收。

這項研究提出了一套自適應(yīng)奇異值初始化與混合專家梯度對齊策略，成功緩解低秩適應(yīng)（LoRA）性能不足的難題，在25個多領(lǐng)域任務(wù)中實現(xiàn)接近甚至超越全參數(shù)微調(diào)（Full FT）的效果，同時僅需調(diào)整極小比例參數(shù)。

低秩適應(yīng)效果不如預(yù)期

傳統(tǒng)LoRA通過在預(yù)訓(xùn)練權(quán)重矩陣中添加低秩適配器（如BA矩陣），大幅減少可訓(xùn)練參數(shù)（通常僅需調(diào)整0.1%-5%參數(shù)），但其性能往往顯著落后于全參數(shù)微調(diào)。

現(xiàn)有方法通常通過隨機初始化或者靜態(tài)奇異值分解（Singular Value Decomposition, SVD）子空間進行初始化，以優(yōu)化LoRA性能，但這類方式未能充分挖掘預(yù)訓(xùn)練模型中已有的知識。

另一條提升LoRA表現(xiàn)的路徑是引入混合專家架構(gòu)（Mixture-of-Experts, MoE）。然而，復(fù)雜的梯度動態(tài)使得在LoRA MoE架構(gòu)中應(yīng)用SVD初始化方法面臨較大挑戰(zhàn)。

取最大/小分量不一定好？重新審視SVD初始化

先前基于SVD初始化的方法通常會對最大或最小奇異值對應(yīng)的子空間進行微調(diào)：PiSSA僅對具有最大范數(shù)的部分進行微調(diào)，而MiLoRA和KaSA則凍結(jié)較大的分量，對較小的部分進行低秩適應(yīng)。如圖所示：

實際使用中，由于忽略了其他的SVD片段，PISSA和MiLoRA的方法并不能保證其有較好的效果，尤其是在秩較低的情況下。

作者針對不同數(shù)據(jù)集，使用不同的SVD片段來初始化進行分析發(fā)現(xiàn)，不同任務(wù)對應(yīng)的最佳SVD片段不同，同時其很可能在中間片段表現(xiàn)最好。

利用MoE的動態(tài)選擇特性，研究人員提出了一種自適應(yīng)SVD初始化，設(shè)計一個LoRA MoE的結(jié)構(gòu)實現(xiàn)收斂速度和最終收斂性能的權(quán)衡。

首先對預(yù)訓(xùn)練大模型權(quán)重做奇異值分解，將其分解為多段，由MoE路由動態(tài)選擇最相關(guān)的奇異值組合，靈活適配不同任務(wù)需求。其中每個和的expert由均勻切片的SVD片段構(gòu)成，，使其能捕獲 的更全面的先驗信息。

縮放因子過??？LoRA的低秩梯度偏差

先前的LoRA方法中，常見的做法是使用縮放形式，且通常設(shè)為2。

基于SVD的方法則通過將和同時除以，從而在權(quán)重大小不依賴于。

通過實驗分析，僅通過調(diào)整 能對LoRA的收斂速度和最終性能產(chǎn)生較大影響，尤其是極度低秩的場景下（在LoRA MoE中非常常見）。

為詳細研究這一點，研究人員引入理論對齊假設(shè)：

使用全量微調(diào)的Upcycled MoE（也即直接使用預(yù)訓(xùn)練權(quán)重初始化）作為性能上界。

如果在微調(diào)LoRA MoE的過程中，對每個專家，在初始化時保證LoRA專家的等效權(quán)重與全量微調(diào)MoE的專家權(quán)重一致，并在每次更新中使LoRA專家等效梯度與MoE全秩微調(diào)梯度對齊，LoRA MoE就可以與全秩微調(diào)的 Upcycled MoE 在每一步優(yōu)化都實現(xiàn)對齊，理論上能達成相同的性能。

利用該假設(shè)，對于等效權(quán)重對齊，研究人員推導(dǎo)出SVD初始化中使接近，需要減去額外減去矩陣最優(yōu)期望為：

對于等效梯度對齊，研究人員通過代數(shù)分析，聯(lián)立每個專家的LoRA等效梯度與全量微調(diào)（Full Fine-Tuning, FFT）的梯度，近似推導(dǎo)出一個閉式解。

其中，表示模型維度，表示FFT與LoRA學(xué)習(xí)率的比值，表示LoRA的秩，通常該秩遠小于模型維度，使得推導(dǎo)出的明顯大于經(jīng)驗取值2。

這一結(jié)果從理論上證明了當(dāng)前廣泛采用的經(jīng)驗縮放因子過小的問題，同時也提供了一種與模型架構(gòu)無關(guān)的偏差調(diào)整機制——即通過合理設(shè)置縮放因子來彌補LoRA在低秩子空間中梯度偏移所帶來的性能差距，從而更貼近全量微調(diào)的行為表現(xiàn)。

這種方法為提升LoRA的微調(diào)效果提供了一個理論驅(qū)動的改進方向。

實驗結(jié)果：25項任務(wù)全面領(lǐng)先

團隊在自然語言生成（GSM8K, HumanEval, Mt-Bench）、自然語言理解（GLUE）、常識推理（CommonsenseQA）、圖像分類（ImageNet子集）等4個領(lǐng)域25個數(shù)據(jù)集上驗證GOAT的優(yōu)越性：

自然語言生成：比主流的LoRA MoE變體，在Mt-Bench中超越4.2%，GSM8K中超越6.3%，HumanEval中超越3.1%，逼近全量微調(diào)水平；

圖像分類：在CLIP-ViT微調(diào)中，僅用2.24%參數(shù)即達到全參數(shù)微調(diào)99%性能，超越主流LoRA變體6%，主流LoRA MoE變體2.4%；

常識推理：平均準確率82.73%，超越ChatGPT7.42%，展現(xiàn)強大知識遷移能力；

自然語言理解：領(lǐng)先于全量微調(diào)，和FT MOE的差距縮小至0.1%；

GOAT無需修改模型架構(gòu)或訓(xùn)練算法，僅通過初始化策略與梯度縮放即可實現(xiàn)性能飛躍，具備極強實用性：

內(nèi)存占用降低8倍：訓(xùn)練LLaMA7B時，相比全參數(shù)微調(diào)MoE，GOAT內(nèi)存需求從640GB壓縮至35GB，單卡即可訓(xùn)練；

收斂速度快效果好：比起其他的LoRA MoE，收斂有著更快的收斂速度和更好的效果；

靈活擴展：支持動態(tài)調(diào)整專家數(shù)量與激活比例，平衡性能與效率。

未來，GOAT優(yōu)化方法有望在后訓(xùn)練階段提供有效指導(dǎo)，同時為預(yù)訓(xùn)練場景開辟新的思路，從而進一步挖掘和釋放人工智能性能的潛能。

論文地址: https://arxiv.org/pdf/2502.16894v3Github地址: https://github.com/Facico/GOAT-PEFT