當(dāng)前大語(yǔ)言模型在教育領(lǐng)域展現(xiàn)出了巨大潛力，尤其是在個(gè)性化學(xué)習(xí)和智能輔導(dǎo)方面取得了顯著成功。

從知識(shí)追蹤到認(rèn)知診斷，從自適應(yīng)測(cè)試到對(duì)話式教學(xué)，數(shù)據(jù)驅(qū)動(dòng)的個(gè)性化學(xué)習(xí)方法正逐步成為主流范式。

個(gè)性化學(xué)習(xí)方法通過(guò)分析學(xué)生的學(xué)習(xí)行為和認(rèn)知特征，能夠生成個(gè)性化的診斷報(bào)告，幫助教師更好定位學(xué)生進(jìn)度并識(shí)別學(xué)習(xí)瓶頸。

然而，這些方法普遍基于一個(gè)隱含假設(shè)：訓(xùn)練數(shù)據(jù)是高質(zhì)量且類別平衡的。

現(xiàn)實(shí)卻往往相反，真實(shí)場(chǎng)景的教育數(shù)據(jù)天然呈現(xiàn)嚴(yán)重的不均衡分布——就像班級(jí)里總有不同學(xué)業(yè)水平學(xué)生一樣，部分認(rèn)知技能或?qū)W習(xí)行為的樣本極其豐富，而另一些則非常稀缺，這種分布失衡使得模型在處理少數(shù)類別時(shí)表現(xiàn)欠佳，如同一位「偏科」的老師，無(wú)法給每個(gè)學(xué)生提供同等質(zhì)量的個(gè)性化支持。

針對(duì)這一關(guān)鍵挑戰(zhàn)，來(lái)自華東師范大學(xué)和浙江大學(xué)的聯(lián)合團(tuán)隊(duì)在ICML2025上發(fā)表最新研究成果，首次將神經(jīng)坍縮（Neural Collapse）理論引入個(gè)性化學(xué)習(xí)領(lǐng)域，提出了NCAL（Neural-Collapse-Advanced personalized Learning）方法，為解決教育數(shù)據(jù)長(zhǎng)尾分布問(wèn)題提供了全新的理論視角和實(shí)用的技術(shù)路徑。

論文地址：https://openreview.net/forum?id=W7phL2sNif

代碼地址：https://github.com/llm4edu/NCAL_ICML2025.git

NCAL不僅在各種大模型（包括中文和英文模型）上表現(xiàn)出一致的卓越性，更在保持計(jì)算效率的同時(shí)實(shí)現(xiàn)了最先進(jìn)的性能，為長(zhǎng)尾數(shù)據(jù)的處理注入全新動(dòng)力。

論文作者來(lái)自華東師范大學(xué)AI4Learning實(shí)驗(yàn)室，由江波教授和張敏副研究員帶領(lǐng)，專注于大語(yǔ)言模型（LLM）、生成式 AI（AIGC）、多模態(tài)模型（MLLM）、強(qiáng)化學(xué)習(xí)（RL）等核心技術(shù)及其在教育中的前沿應(yīng)用。

長(zhǎng)尾分布：個(gè)性化學(xué)習(xí)的隱形殺手

研究團(tuán)隊(duì)通過(guò)深入分析發(fā)現(xiàn)，數(shù)據(jù)不平衡對(duì)模型性能的影響遠(yuǎn)比預(yù)期嚴(yán)重，表現(xiàn)出現(xiàn)實(shí)情境下的模型對(duì)長(zhǎng)尾數(shù)據(jù)學(xué)習(xí)的困難性。

實(shí)驗(yàn)顯示，當(dāng)數(shù)據(jù)平衡度τ從0.25降至0.03時(shí)（τ定義為最少類別與最多類別樣本數(shù)的比值），Qwen2.5模型的準(zhǔn)確率從71.71%降至61.14%，性能下降超過(guò)10個(gè)百分點(diǎn)。

更重要的是，類別中心的分布也從相對(duì)分散變?yōu)閲?yán)重聚集，這一幾何結(jié)構(gòu)的惡化直接反映了模型表示學(xué)習(xí)能力的退化。

這一發(fā)現(xiàn)促使研究團(tuán)隊(duì)思考一個(gè)根本性問(wèn)題：如何從幾何結(jié)構(gòu)的角度理解和解決數(shù)據(jù)不平衡對(duì)個(gè)性化學(xué)習(xí)模型的影響？

神經(jīng)坍縮：從視覺到文本的理論遷移

神經(jīng)坍縮現(xiàn)象最初在計(jì)算機(jī)視覺領(lǐng)域被發(fā)現(xiàn)，描述了當(dāng)模型在充分大且平衡的數(shù)據(jù)集上達(dá)到零訓(xùn)練誤差時(shí)，最后一層特征呈現(xiàn)的特殊幾何結(jié)構(gòu)：

同類特征向類別中心坍縮，不同類別中心形成簡(jiǎn)單等角緊框架（ETF）結(jié)構(gòu)。

這種結(jié)構(gòu)具有向量等范數(shù)和一致的成對(duì)角度等優(yōu)美性質(zhì)，被認(rèn)為是分類任務(wù)的最優(yōu)幾何配置。

NCAL整體架構(gòu)

研究團(tuán)隊(duì)的關(guān)鍵洞察在于：將這一理論從視覺模態(tài)擴(kuò)展到文本模態(tài)，并應(yīng)用于個(gè)性化學(xué)習(xí)場(chǎng)景。

他們定義了文本模態(tài)坍縮度（TCD）來(lái)量化文本表示的幾何結(jié)構(gòu)質(zhì)量：

其中，較低的ΔTCD值表示文本表示更接近理想的ETF結(jié)構(gòu)。

通過(guò)這一度量，團(tuán)隊(duì)建立了數(shù)據(jù)不平衡、幾何結(jié)構(gòu)質(zhì)量與模型性能之間的定量關(guān)系：

NCAL方法架構(gòu)

基于上述理論分析，研究團(tuán)隊(duì)設(shè)計(jì)了文本模態(tài)坍縮（TC）正則化機(jī)制：

這一損失函數(shù)通過(guò)顯式約束不同類別樣本間的角度關(guān)系，強(qiáng)制模型學(xué)習(xí)更均勻的表示空間。同時(shí)，該方法與LoRA微調(diào)框架深度集成，最終的聯(lián)合損失為：

梯度機(jī)制分析是該工作的另一技術(shù)亮點(diǎn)。研究團(tuán)隊(duì)通過(guò)系統(tǒng)的梯度分析揭示了TC損失的作用機(jī)制：

對(duì)于少數(shù)類樣本，TC損失補(bǔ)償了任務(wù)損失中類間排斥項(xiàng)的主導(dǎo)地位；

對(duì)于多數(shù)類樣本，TC損失防止其表示在嵌入空間中的過(guò)度支配；

整體上實(shí)現(xiàn)了跨類別的均衡梯度更新。

這種理論驅(qū)動(dòng)的設(shè)計(jì)確保了方法在不同數(shù)據(jù)分布下的魯棒性。

實(shí)驗(yàn)驗(yàn)證：多維度性能突破

研究團(tuán)隊(duì)構(gòu)建了兩個(gè)具有代表性的長(zhǎng)尾教育數(shù)據(jù)集進(jìn)行驗(yàn)證：

TMWPL：基于TIMSS框架的數(shù)學(xué)認(rèn)知能力評(píng)估數(shù)據(jù)集，涵蓋回憶、構(gòu)建、識(shí)別等7個(gè)認(rèn)知維度；

PMTD：師生對(duì)話行為分類數(shù)據(jù)集，基于IRF框架設(shè)計(jì)，包含8種對(duì)話行為類型。

主要性能結(jié)果

在兩個(gè)個(gè)性化學(xué)習(xí)的長(zhǎng)尾數(shù)據(jù)集上，NCAL方法的實(shí)驗(yàn)結(jié)果如下：

1. 跨模型一致性提升：NCAL在各種模型上均取得顯著提升
2. 參數(shù)效率優(yōu)勢(shì)：7B參數(shù)的NCAL模型在兩個(gè)數(shù)據(jù)集上都超越了14B-16B規(guī)模的基線模型
3. 性能提升幅度：在TMWPL上提升13.72個(gè)百分點(diǎn)，在PMTD上提升4.37個(gè)百分點(diǎn)

未來(lái)工作方向

基于NCAL方法的成功驗(yàn)證，研究團(tuán)隊(duì)的工作為個(gè)性化學(xué)習(xí)領(lǐng)域開辟了幾個(gè)值得深入探索的方向：

理論層面的拓展

神經(jīng)坍縮理論在文本模態(tài)個(gè)性化學(xué)習(xí)中的成功應(yīng)用，為進(jìn)一步的理論研究奠定了基礎(chǔ)。未來(lái)可以探索更復(fù)雜的幾何結(jié)構(gòu)約束，以及在不同任務(wù)類型中的適用性。

TCD度量作為評(píng)估文本表示幾何質(zhì)量的新指標(biāo)，其在其他NLP任務(wù)中的有效性也值得驗(yàn)證。

方法優(yōu)化與擴(kuò)展

當(dāng)前的TC正則化機(jī)制在LoRA框架下表現(xiàn)優(yōu)異，但與其他參數(shù)高效微調(diào)方法（如Adapter、Prefix-tuning等）的結(jié)合效果尚待探索。

此外，λ超參數(shù)的自適應(yīng)調(diào)整策略，以及針對(duì)不同數(shù)據(jù)分布特征的動(dòng)態(tài)優(yōu)化機(jī)制，都是重要的研究方向。

跨領(lǐng)域泛化驗(yàn)證

雖然NCAL在數(shù)學(xué)認(rèn)知評(píng)估和師生對(duì)話分類任務(wù)上取得了成功，但其在語(yǔ)言學(xué)習(xí)、科學(xué)教育、職業(yè)技能培訓(xùn)等其他教育子領(lǐng)域的適用性仍需進(jìn)一步驗(yàn)證。

特別是在不同語(yǔ)言、文化背景下的個(gè)性化學(xué)習(xí)場(chǎng)景中的表現(xiàn)。

總結(jié)

團(tuán)隊(duì)提出了一種融合神經(jīng)坍縮檢測(cè)與調(diào)控的個(gè)性化學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)處理方法，該方法在個(gè)性化學(xué)習(xí)領(lǐng)域取得了三個(gè)層面的重要突破：

理論創(chuàng)新方面，首次將神經(jīng)坍縮現(xiàn)象從計(jì)算機(jī)視覺領(lǐng)域成功遷移到文本模態(tài)的個(gè)性化學(xué)習(xí)任務(wù)，建立了文本表示幾何結(jié)構(gòu)與模型性能之間的定量關(guān)系。

方法貢獻(xiàn)方面，NCAL通過(guò)TC正則化機(jī)制巧妙地將幾何結(jié)構(gòu)優(yōu)化集成到LoRA微調(diào)框架中，實(shí)現(xiàn)了理論指導(dǎo)與工程實(shí)踐的完美結(jié)合。該方法具備模型無(wú)關(guān)性，可作為即插即用的組件提升現(xiàn)有個(gè)性化學(xué)習(xí)系統(tǒng)的性能。

實(shí)驗(yàn)驗(yàn)證方面，在兩個(gè)具有代表性的長(zhǎng)尾教育數(shù)據(jù)集上，NCAL展現(xiàn)出了顯著且一致的性能提升。7B參數(shù)的NCAL模型超越了14B規(guī)模的基線模型，證明了方法的參數(shù)效率優(yōu)勢(shì)。

從更廣闊的視角看，本研究為數(shù)據(jù)驅(qū)動(dòng)的個(gè)性化學(xué)習(xí)向理論指導(dǎo)的智能教育轉(zhuǎn)變提供了重要推動(dòng)力。

隨著神經(jīng)坍縮等理論在教育AI中的進(jìn)一步應(yīng)用，有理由期待更加精準(zhǔn)、高效、公平的個(gè)性化學(xué)習(xí)系統(tǒng)的出現(xiàn)，讓每一個(gè)學(xué)習(xí)者都能獲得真正適合自己的教育體驗(yàn)。

這項(xiàng)工作不僅在理論上具有重要價(jià)值，更為解決AI教育中的實(shí)際問(wèn)題提供了切實(shí)可行的解決方案。通過(guò)神經(jīng)坍縮的引入，NCAL方法有望讓AI教育系統(tǒng)變得更加公平和高效，真正實(shí)現(xiàn)「因材施教」的教育理想。