生成式視角可以對監(jiān)督學(xué)習(xí)重新思考乃至重新定義！

想象你在教一個學(xué)生解數(shù)學(xué)題——你會直接讓他交卷對答案，還是會讓他參考完整答案來理解解題思路？

如今，一種全新的監(jiān)督學(xué)習(xí)范式正受到關(guān)注：標(biāo)簽不應(yīng)只是用于對照回答的標(biāo)準答案，更可能成為學(xué)習(xí)過程中的輔助參考。

受生成式一致性模型的啟發(fā)，來自上海交大、SII、MIT、港中文深圳等機構(gòu)的研究團隊在ICML 2025最新提出預(yù)測一致性學(xué)習(xí)（PCL，Predictive Consistency Learning）。

PCL通過擴散模型的擴散過程消減標(biāo)簽的信息，將噪聲標(biāo)簽（Noised Labels）引入模型的輸入，使得模型在數(shù)據(jù)輸入和噪聲標(biāo)簽的共同參照下預(yù)測完整標(biāo)簽，實現(xiàn)標(biāo)簽信息的復(fù)用和價值挖掘。

訓(xùn)練過程概覽

傳統(tǒng)監(jiān)督學(xué)習(xí)中，輸入通過神經(jīng)網(wǎng)絡(luò)預(yù)測，通過對比和標(biāo)準答案之間的關(guān)系，來計算損失和反向傳播更新模型，對應(yīng)損失函數(shù)

其中為具體損失函數(shù)，為神經(jīng)網(wǎng)絡(luò)函數(shù)。受生成一致性模型中一致性映射思想的啟發(fā)，PCL對應(yīng)一種全新的監(jiān)督學(xué)習(xí)范式，旨在通過漸進式分解標(biāo)簽信息來更好地捕捉復(fù)雜標(biāo)簽的完整表征，使得模型在部分標(biāo)簽信息的提示下實現(xiàn)完整標(biāo)簽信息的預(yù)測。

與傳統(tǒng)方法不同，PCL學(xué)習(xí)框架將完整標(biāo)簽的學(xué)習(xí)過程分解為逐步逼近的漸進式任務(wù)：模型會接收一個含有部分標(biāo)簽信息的額外輸入作為提示，首先學(xué)習(xí)捕捉互補的部分標(biāo)簽信息，隨后逐步逼近完整標(biāo)簽。

為了系統(tǒng)化地規(guī)劃標(biāo)簽學(xué)習(xí)過程，研究人員借鑒了擴散模型和一致性模型中的加噪過程，通過生成帶噪標(biāo)簽作為額外的輸入提示，使模型能夠在學(xué)習(xí)帶噪部分的同時補充完整信息。

具體而言，PCL在訓(xùn)練時：以輸入數(shù)據(jù)為條件，將不同噪聲水平的帶噪標(biāo)簽映射回真實標(biāo)簽，噪聲程度由時間步控制；約束不同噪聲時間步的預(yù)測結(jié)果均一致地逼近目標(biāo)標(biāo)簽。

模型每次采樣兩個不同的時間步，要求模型在不同時間步的提示下盡可能精準還原標(biāo)簽，同時預(yù)測的結(jié)果盡可能保持一致。

通過這種跨噪聲水平的一致性約束，模型能夠?qū)W習(xí)從完全噪聲到精確標(biāo)簽的不同層級的標(biāo)簽信息，從而構(gòu)建更具表達力的映射關(guān)系。

預(yù)測一致性機制的作用在于，將低噪聲條件下的預(yù)測精度傳遞至高噪聲條件，同時約束模型在不同噪聲水平下表征的不變性，從而減小對于標(biāo)簽提示的過度依賴，服務(wù)于測試過程。最終損失函數(shù)形式為：

其中模型接收輸入，兩個不同時間步的噪聲標(biāo)簽和相應(yīng)的時間步，模型在兩個不同噪聲標(biāo)簽的提示下完成預(yù)測，在預(yù)測結(jié)果逼近噪聲標(biāo)簽的同時，額外約束兩個預(yù)測結(jié)果的一致性。分別控制預(yù)測精度loss和預(yù)測一致性loss的權(quán)重。

標(biāo)簽噪聲過程

離散標(biāo)簽的噪聲過程：對于多維分類標(biāo)簽，其中表示類別數(shù)，表示維度，研究人員遵循離散擴散模型將噪聲過程建模為在每個時間步引入類別噪聲到標(biāo)簽中。

他們將標(biāo)簽表示為，它是個獨熱編碼向量的拼接。噪聲可以理解為在每個維度的不同類別之間進行轉(zhuǎn)換。從初始點開始，噪聲過程定義為：

其中是在個獨熱向量上的分類分布，概率由給出， 是轉(zhuǎn)移矩陣，決定了在時間步引入的噪聲，對應(yīng)的標(biāo)簽類別以概率轉(zhuǎn)移到任何其他類別。

隨著時間的推移，當(dāng)接近最終時間步時，標(biāo)簽會收斂到個類別的均勻分布。由于噪聲矩陣可以事先計算，因此跨步噪聲計算代價很低。

連續(xù)標(biāo)簽的噪聲過程：對于多維連續(xù)標(biāo)簽，其中表示維度，研究人員遵循高斯擴散模型將擴散過程建模為在每個時間步向標(biāo)簽引入高斯噪聲。在每個時間步，高斯噪聲被應(yīng)用于標(biāo)簽，逐步將其推向一個噪聲分布。噪聲過程定義為：

其中是均值為，協(xié)方差為的高斯分布，控制在時間步上添加噪聲的方差。隨著時間的推移，當(dāng)接近最終時間步時，標(biāo)簽會收斂到一個以零為中心的高斯分布。同樣噪聲函數(shù)可以事先計算，因此跨步噪聲計算代價很低。

嵌入空間的噪聲過程：在標(biāo)簽過于復(fù)雜，無法直接表示為分類或連續(xù)值，或者類別數(shù)過大時，PCL直接向標(biāo)簽的潛在嵌入空間引入高斯噪聲，這種方式與連續(xù)標(biāo)簽的噪聲過程一致。

測試過程概覽

在訓(xùn)練完成后的推理階段，可以通過從隨機噪聲分布采樣標(biāo)簽作為提示信息，并進行單次前向傳播來進行高效預(yù)測。

由于不包含任何信息量，這個推理過程實際上和傳統(tǒng)監(jiān)督學(xué)習(xí)的直接預(yù)測是一致的。然而在訓(xùn)練階段的改進使得PCL模型具有更好的預(yù)測能力，即使不依賴任何標(biāo)簽提示已經(jīng)能夠超越傳統(tǒng)監(jiān)督學(xué)習(xí)的精度。

在訓(xùn)練過程中，當(dāng)較小時，直接預(yù)測精度往往較高，因為標(biāo)簽提示包含更多的信息。目標(biāo)是通過訓(xùn)練將這種高精度逐步轉(zhuǎn)移到較大的值，從而提升整體模型性能。

在理想情況下，當(dāng)一致性損失趨于零時，可以通過一步推理獲得最優(yōu)結(jié)果，但實際上，通過逐步將從降至0可以規(guī)劃不同層級標(biāo)簽信息的預(yù)測，帶來精度的提升。

為了實現(xiàn)這種提升，可以采用多步推理策略，通過對上一步標(biāo)簽重新引入噪聲作為下一步預(yù)測的標(biāo)簽提示并且交替執(zhí)行預(yù)測，使得模型能夠在多個推理步驟中逐步細化其輸出，并利用早期預(yù)測中嵌入的越來越豐富的提示信息。

給定一系列時間點，在每一步，上一步預(yù)測會通過噪聲函數(shù)被擾動到狀態(tài)作為下一步預(yù)測的噪聲提示信息，從而修正預(yù)測。

噪聲水平隨著每一步的進行而降低，即。然后，模型通過應(yīng)用對標(biāo)簽進行更精確的預(yù)測。這個過程會在接下來的步驟中重復(fù)進行，每一步新的標(biāo)簽提示信息都包含了從前一步獲取的更精確的信息。

這使得模型能夠逐步恢復(fù)的全部信息，通過將可能的近似預(yù)測作為標(biāo)簽提示，并利用逐步增益的信息來進行最終預(yù)測。

信息論視角

從理論角度出發(fā)，在標(biāo)準監(jiān)督學(xué)習(xí)場景下，模型的主要目標(biāo)是捕捉輸入和標(biāo)簽之間的互信息。

通常，由于輸入的信息量常常遠遠大于標(biāo)簽，模型希望通過學(xué)習(xí)一個壓縮的特征表示來最大化并最小化，其中是從提取的特征表示。默認情況下，從到之間的映射是直接且容易捕捉的。

然而，隨著任務(wù)的復(fù)雜性增加，標(biāo)簽的信息也變得越來越復(fù)雜，例如高維度、復(fù)雜的內(nèi)部結(jié)構(gòu)等。這使得從到之間的映射變得更加復(fù)雜，模型需要應(yīng)對更加困難的學(xué)習(xí)問題。

為了更有效地建模，相較于一次性學(xué)習(xí)所有的信息，PCL的設(shè)計實則提出了一種結(jié)構(gòu)化的學(xué)習(xí)過程，逐步捕捉這些信息。

為了將標(biāo)簽信息分解為一個更為漸進的學(xué)習(xí)過程，PCL引入了一個附加的噪聲標(biāo)簽，用于在每次迭代中調(diào)節(jié)學(xué)習(xí)的標(biāo)簽信息量。通過引入，原始的互信息可以分解為如下形式：

由于是由推導(dǎo)而來的，當(dāng)已知時，對并沒有額外的信息，因此冗余項，公式簡化為：

這一分解揭示了兩個關(guān)鍵成分，其中第一個項捕捉了在給定的條件下可以學(xué)習(xí)的的增量信息。該項作為的下界，且它們之間的差距可以通過的信息量進行控制。

通過最大化，模型逐步學(xué)習(xí)捕捉的完整信息內(nèi)容。具體而言，當(dāng)時，提供的信息極少，迫使模型完全捕捉；而當(dāng)時，逼近，允許模型專注于優(yōu)化標(biāo)簽的細節(jié)。

在訓(xùn)練過程中，通過隨機采樣一批值，模型能夠同時學(xué)習(xí)標(biāo)簽的不同方面。最初，模型期望能夠輕松捕捉標(biāo)簽的部分細節(jié)，通過迭代訓(xùn)練，模型逐步積累的完整信息內(nèi)容。

在實現(xiàn)方面，模型暴露于帶噪聲的。模型的輸入包括和，其中作為條件輸入。盡管引入作為輔助輸入有助于學(xué)習(xí)，但最終目標(biāo)是使模型盡可能少地依賴來進行預(yù)測。

形式上，目標(biāo)是最小化噪聲條件依賴，該項衡量模型預(yù)測在多大程度上依賴于噪聲標(biāo)簽。理想情況下，這一項應(yīng)該為零，表明在給定和模型參數(shù)的條件下，模型的預(yù)測與無關(guān)。數(shù)學(xué)上，它可以通過以下公式進行度量：

該項對應(yīng)預(yù)測一致性的約束，確保對于所有的和，都有。這種正則化確保了模型的預(yù)測在不同噪聲水平下保持一致，從而減少了對的依賴，鼓勵盡可能編碼所有必要的信息，以實現(xiàn)準確的預(yù)測。

實驗結(jié)果

由于PCL作為一種新穎的訓(xùn)練范式被提出，因此主要的基準對比是傳統(tǒng)的監(jiān)督學(xué)習(xí)。研究者在不同模態(tài)的經(jīng)典代表性模型骨干網(wǎng)絡(luò)上進行比較，以展示PCL的通用適用性。這些任務(wù)包括視覺模態(tài)的語義分割、圖模態(tài)的N體問題仿真和語言模態(tài)的next-token prediction監(jiān)督微調(diào)。

在圖像語義分割任務(wù)中，上圖展示了PCL的預(yù)測過程。模型首先在完全隨機噪聲的提示下進行預(yù)測，然后將上一步的標(biāo)簽預(yù)測加噪到更小的噪聲程度，作為下一步的標(biāo)簽提示。

通過這種遞進式的噪聲處理和多步推理，最終得到更加精確的預(yù)測結(jié)果。與傳統(tǒng)監(jiān)督學(xué)習(xí)（SL）進行對比，PCL在單步預(yù)測時就已經(jīng)超過了SL，而隨著預(yù)測步驟的增多，預(yù)測質(zhì)量持續(xù)提升。

上圖展示了在給定標(biāo)簽提示的情況下，不同時間步設(shè)置對模型預(yù)測錯誤范圍的影響。可以發(fā)現(xiàn)，設(shè)置較大的時間步傾向于鼓勵模型改進更廣泛的結(jié)構(gòu)關(guān)系，而設(shè)置較小的時間步則鼓勵模型專注于更精細的細節(jié)，例如物體的邊界。

這一現(xiàn)象表明，模型通過引入時間步的設(shè)計，能夠在標(biāo)簽預(yù)測過程中分層次地學(xué)習(xí)不同粒度的信息，從全局結(jié)構(gòu)到局部細節(jié)。

上表展示了在語義分割任務(wù)上，PCL與SL的定量表現(xiàn)對比，進一步驗證了PCL在提升預(yù)測精度方面的優(yōu)勢。

在圖模態(tài)的預(yù)測任務(wù)中，上圖展示了不同學(xué)習(xí)階段下模型在預(yù)測階段的推理步數(shù)對預(yù)測質(zhì)量的影響。在訓(xùn)練尚不完全時，推理步數(shù)越多，預(yù)測精度越高。

然而，隨著訓(xùn)練逐漸完成，觀察到隨著推理步數(shù)的增加，預(yù)測誤差會持續(xù)下降，但在達到某個臨界點后，誤差可能會反彈上升。

這種現(xiàn)象源于訓(xùn)練與推理階段的差異：在訓(xùn)練階段，模型始終以真實標(biāo)簽的噪聲擾動版本作為輸入，而在推理階段，模型依賴于自身的中間預(yù)測結(jié)果，這些預(yù)測可能包含誤差，并在多步迭代中逐漸累積。

由此產(chǎn)生了一個權(quán)衡問題：更多的推理步數(shù)有助于捕捉更精細的預(yù)測細節(jié)，但也增加了誤差累積的風(fēng)險。為了優(yōu)化這一平衡，研究人員通過驗證集確定最佳的推理步數(shù)，并在測試階段引入早停機制，在誤差開始上升之前終止推理流程。

值得注意的是，單步預(yù)測的精度相比于傳統(tǒng)監(jiān)督學(xué)習(xí)已經(jīng)有了顯著提升。

上表展示了PCL相較于SL在預(yù)測精度上的顯著提升，進一步驗證了PCL在處理復(fù)雜預(yù)測任務(wù)中的優(yōu)勢。

在語言模態(tài)的next-token prediction監(jiān)督微調(diào)任務(wù)中，研究人員對比了使用SL和PCL微調(diào)LLaMa2-7B模型的效果，結(jié)果表明，PCL相較于SL在性能上具有優(yōu)勢。

由于噪聲過程尚未進行定制化，并且next token作為標(biāo)簽信息的提示量相對單薄，當(dāng)前的框架仍然有較大的提升空間。

未來的研究可以進一步優(yōu)化噪聲過程并增強標(biāo)簽信息的豐富度，從而進一步提升PCL在語言任務(wù)中的表現(xiàn)。

論文鏈接：https://openreview.net/pdf?id=FO2fu3daSL

代碼鏈接：https://github.com/Thinklab-SJTU/predictive-consistency-learning