隨著預(yù)訓(xùn)練的大型文本到圖像擴散模型的發(fā)展，越來越多的企業(yè)和個人開發(fā)者開始探索如何通過少量樣本對這些模型進行定制化，以生成特定的對象或風(fēng)格。

但這種定制化過程面臨著一個嚴峻的挑戰(zhàn)：當訓(xùn)練樣本數(shù)量有限時，模型往往會過度擬合訓(xùn)練數(shù)據(jù)的背景和位置信息，導(dǎo)致生成的圖像缺乏多樣性和靈活性。

為了解決這一難題，來自 AIRI 和 HSE 大學(xué)的研究團隊提出了一種名為 T-LoRA 的新框架，旨在通過單張圖像對擴散模型進行定制化，同時避免過度擬合的問題。

T-LoRA框架的核心在于動態(tài)調(diào)整模型在不同時間步的訓(xùn)練能力，以及通過一種特殊的方式初始化模型的參數(shù)，從而確保模型在訓(xùn)練過程中能夠更好地學(xué)習(xí)和生成新的圖像。

在擴散模型中，生成圖像的過程可以想象成是從一片噪聲中逐步恢復(fù)出目標圖像的過程。這個過程被分成多個時間步，每個時間步都對應(yīng)著不同程度的噪聲。在早期時間步高噪聲階段，模型主要負責(zé)生成圖像的大致輪廓和形狀；而在后期時間步低噪聲階段，模型則專注于細節(jié)的完善。

T-LoRA的一個關(guān)鍵創(chuàng)新是動態(tài)調(diào)整模型在不同時間步的訓(xùn)練能力。在高噪聲階段，T-LoRA 會減少模型對訓(xùn)練數(shù)據(jù)的依賴；而在低噪聲階段后期時間步，則會增加模型對訓(xùn)練數(shù)據(jù)的依賴。這樣做的目的是在高噪聲階段避免模型過度記憶訓(xùn)練圖像的背景和位置信息，從而提高生成圖像的多樣性和靈活性；而在低噪聲階段，模型可以更好地學(xué)習(xí)和復(fù)現(xiàn)目標圖像的細節(jié)。

為了實現(xiàn)這一點，T-LoRA 引入了一種掩碼機制，可以根據(jù)當前的時間步動態(tài)調(diào)整模型的參數(shù)更新。在高噪聲階段，模型的參數(shù)更新會受到限制，而在低噪聲階段，模型的參數(shù)更新則會更加自由。這種動態(tài)調(diào)整的方式就像是給模型的訓(xùn)練過程安裝了一個“調(diào)節(jié)閥”，使其在不同的時間步有不同的學(xué)習(xí)強度。

除了動態(tài)調(diào)整訓(xùn)練能力，T-LoRA 還引入了一種特殊的參數(shù)初始化方法，稱為正交初始化。參數(shù)初始化是模型訓(xùn)練的一個重要環(huán)節(jié)，它決定了模型的參數(shù)在訓(xùn)練開始時的初始值。如果初始化不當，可能會導(dǎo)致模型訓(xùn)練緩慢，甚至無法收斂。

在 T-LoRA 中，正交初始化技術(shù)的作用是確保模型在不同時間步的學(xué)習(xí)過程中，各個參數(shù)之間的信息流是相互獨立的。這樣可以避免參數(shù)之間的冗余和相互干擾，提高模型的學(xué)習(xí)效率和泛化能力。

正交初始化是通過一種特殊的數(shù)學(xué)方法來實現(xiàn)的。這種方法可以將模型的參數(shù)分解成幾個相互獨立的部分，然后對這些部分進行初始化。這樣做的好處是，模型在訓(xùn)練過程中可以更有效地利用這些參數(shù)，避免因為參數(shù)之間的冗余而導(dǎo)致的訓(xùn)練問題。

為了驗證 T-LoRA 的有效性，研究人員進行了廣泛的實驗。實驗結(jié)果顯示，T-LoRA 在圖像相似度和文本相似度兩個指標上均表現(xiàn)出色。與傳統(tǒng)的 LoRA 方法相比，T-LoRA 在高秩情況下例如，秩為 64的文本相似度提高了 0.024，而圖像相似度僅下降了 0.001。這表明 T-LoRA 在保持圖像概念準確性的同時，顯著提高了生成圖像與文本提示的一致性。

除了單圖像實驗外，研究人員還評估了 T-LoRA 在多圖像定制化任務(wù)中的表現(xiàn)。實驗結(jié)果表明，T-LoRA 在多圖像情況下同樣優(yōu)于 LoRA 和 OFT 等方法。特別是在使用兩張圖像進行訓(xùn)練時，T-LoRA 的文本相似度比 LoRA 高出 0.031，而圖像相似度僅下降了 0.001。

為了全面評估 T-LoRA 的性能，研究人員還進行了用戶研究。結(jié)果顯示，用戶更傾向于選擇T-LoRA 生成的圖像，認為這些圖像在保持概念準確性的同時，更好地符合文本提示的要求。具體來說，在概念準確性方面，T-LoRA 的用戶偏好率達到 59.3%；在文本一致性方面，用戶偏好率達到 60.3%；在整體偏好方面，用戶偏好率達到 60.3%。