本文的第一作者為北京大學博士二年級學生徐昆侖，通訊作者為北京大學王選計算機研究所研究員、助理教授周嘉歡。

近日，北京大學王選計算機研究所周嘉歡團隊在人工智能重要國際期刊 IEEE TPAMI 發(fā)布了一項最新的研究成果：LSTKC++ 。

該框架引入了長短期知識解耦與動態(tài)糾正及融合機制，有效保障了模型在終身學習過程中對新知識的學習和對歷史知識的記憶。目前該研究已被 IEEE TPAMI 接收，相關(guān)代碼已開源。

• 論文標題：Long Short-Term Knowledge Decomposition and Consolidation for Lifelong Person Re-Identification
• 論文鏈接：https://ieeexplore.ieee.org/abstract/document/11010188/
• 代碼鏈接：https://github.com/zhoujiahuan1991/LSTKC-Plus-Plus
• 接收期刊：T-PAMI（CCF A 類/中科院一區(qū) Top）
• 單位：北京大學王選計算機研究所，華中科技大學人工智能與自動化學院

行人重識別（Person Re-Identification, ReID）技術(shù)的目標是在跨攝像頭、跨場景等條件下，根據(jù)外觀信息準確識別行人身份，并在多攝像頭監(jiān)控、智能交通、公共安全與大規(guī)模視頻檢索等應(yīng)用中具有重要作用。

在實際應(yīng)用中，行人數(shù)據(jù)分布常因地點、設(shè)備和時間等因素的變化而發(fā)生改變，使得新數(shù)據(jù)和訓(xùn)練數(shù)據(jù)呈現(xiàn)域差異，導(dǎo)致傳統(tǒng)的「單次訓(xùn)練、靜態(tài)推理」ReID 范式難以適應(yīng)測試數(shù)據(jù)的長期動態(tài)變化。

這催生了一個更具挑戰(zhàn)性的新任務(wù)——終身行人重識別（Lifelong Person Re-ID, LReID）。該任務(wù)要求模型能夠利用新增域的數(shù)據(jù)進行訓(xùn)練，在學習新域數(shù)據(jù)知識的同時，保持舊域數(shù)據(jù)的識別能力。

圖 1 研究動機

LReID 的核心挑戰(zhàn)是災(zāi)難性遺忘問題，即模型在學習新域知識后，對舊域數(shù)據(jù)的處理性能發(fā)生退化。為克服該問題，多數(shù)方法采用知識蒸餾策略將舊模型的知識遷移到新模型。然而，這些方法存在兩個關(guān)鍵隱患：

• 錯誤知識遷移：由于數(shù)據(jù)偏差等因素，舊模型中不可避免地包含一些錯誤知識。在知識蒸餾過程中，不僅會引發(fā)錯誤知識的累積，還會對新知識的學習產(chǎn)生干擾，造成模型的學習能力受限；
• 知識損失：新舊域之間的分布差異導(dǎo)致部分舊知識無法被新數(shù)據(jù)激活，使得這些知識無法通過知識蒸餾有效地遷移到新模型中。

為破解上述難題，北京大學王選計算機研究所團隊在 T-PAMI 2025 上提出了 LSTKC++ 框架。該框架引入了長短期知識解耦與動態(tài)糾正及融合機制，在有效保障新知識學習的同時，增強了舊知識的保留能力。

一、基礎(chǔ)框架：LSTKC 長短期知識糾正與鞏固

LSTKC 是作者團隊在 AAAI 2024 上提出的終身行人重識別框架。LSTKC 引入了「短期-長期模型協(xié)同融合」的思想，將終身學習所涉及的模型劃分為短期模型和長期模型。前者指利用特定域數(shù)據(jù)訓(xùn)練得到的模型，后者指積累了所有歷史域知識的模型。

在新域數(shù)據(jù)訓(xùn)練時，LSTKC 引入一個基于知識糾正的短期知識遷移模塊（Rectification-based Short-Term Knowledge Transfer, R-STKT）。R-STKT 從長期模型中提取判別性特征，并基于新數(shù)據(jù)的標注信息識別并糾正其中的錯誤特征，進而利用知識蒸餾策略將校正后的正確知識遷移到新模型中。

在新域數(shù)據(jù)訓(xùn)練結(jié)束后，LSTKC 引入了基于知識評估的長期知識鞏固模塊（Estimation-based Long-Term Knowledge Consolidation, E-LTKC），根據(jù)長期模型和短期模型生成的特征，估計長期知識與短期知識之間的差異，進而實現(xiàn)長短期知識的自適應(yīng)融合，實現(xiàn)了新舊知識的權(quán)衡。

圖 2 LSTKC 模型

二、升級框架：LSTKC++ 長短期知識解耦與鞏固

盡管 LSTKC 中基于知識差異的長短期知識融合策略在一定程度上促進了新舊知識權(quán)衡，但是由于模型間的知識差異無法直接反映融合模型的實際性能，導(dǎo)致 LSTKC 的模型融合策略難以實現(xiàn)新舊知識的最優(yōu)權(quán)衡。

圖 3 LSTKC++ 框架

為解決上述問題，作者在 T-PAMI 版本提出了 LSTKC++，從三個方面進行了方法升級：

• 模型解耦。 將原有的長期舊模型解耦為兩個部分：一個代表更早期歷史知識（前個域）的長期模型和一個代表最近歷史知識（第域）的短期舊模型。

• 長短期互補知識遷移。 首先，針對長期舊模型和短期舊模型進行互補糾正：根據(jù)樣本親和度矩陣（affinity matrix）分別篩選出長期舊模型和短期舊模型中的正確知識。然后，對于二者均正確的知識進行融合；對于一方正確、另一方錯誤的知識，僅保留正確知識；對于二者錯誤的知識，根據(jù)新數(shù)據(jù)標簽進行糾正。通過上述互補糾正過程，得到融合了長短期模型的互補知識糾正矩陣。隨后，糾正矩陣基于知識蒸餾損失指導(dǎo)新模型學習。
• 基于新數(shù)據(jù)的知識權(quán)衡參數(shù)優(yōu)化。 為了優(yōu)化 LSTKC 中用于融合長期歷史知識和短期歷史知識的權(quán)衡參數(shù)，作者將新增的域訓(xùn)練數(shù)據(jù)作為驗證集，進而搜索得到最優(yōu)的長短期歷史知識權(quán)衡參數(shù)，用以獲得更新的長期舊模型。

相比于使用已學習過的數(shù)據(jù)作為優(yōu)化基準，新增數(shù)據(jù)尚未被長期和短期歷史模型學習過，避免了過擬合問題，因此對知識權(quán)衡性能的評估更為可靠。

• 樣本關(guān)系引導(dǎo)的長期知識鞏固。 為了使模型在學習新域后能夠直接利用長期知識和短期知識進行推理，作者引入了更新后的長期歷史模型與短期模型的融合機制。具體地，利用和提取的樣本間相似性矩陣和計算融合權(quán)重：

其中，為用于測試的模型。

三、實驗分析

數(shù)據(jù)集與實驗設(shè)置

論文的實驗采用兩個典型的訓(xùn)練域順序（Order-1 與 Order-2），包含五個廣泛使用的行人重識別數(shù)據(jù)集（Market1501、DukeMTMC-ReID、CUHK03、MSMT17、CUHK-SYSU）作為訓(xùn)練域。分別評估模型在已學習域（Seen Domains）上的知識鞏固能力和在未知域（Unseen Domains）上的泛化能力。評測指標采用行人 ReID 任務(wù)的標準指標：平均精度均值（mAP）和 Rank-1 準確率（R@1）。

實驗結(jié)果

• 綜合性能分析： 在兩種不同的域順序設(shè)定下，LSTKC++ 的已知域平均性能（Seen-Avg mAP 和 Seen-Avg R@1）相比于 CVPR 2024 方法 DKP 提升 1.5%-3.4%。同時，LSTKC++ 在未知域的整體泛化性能（Unseen-Avg mAP 和 Unseen-Avg R@1）上相比于現(xiàn)有方法提升 1.3%-4%。
• 子域性能分析： 在不同的域順序設(shè)定中，雖然 LSTKC++ 在第一個和最后一個域的性能并非最優(yōu)，但是其在中間三個域的性能均顯著優(yōu)于現(xiàn)有方法。這是因為部分現(xiàn)有方法對模型施加較強的抗遺忘約束，因而有效保持了初始域的性能，但其對新知識的學習能力大幅受限。其次，部分方法則采用較弱的抗遺忘約束，增強了模型對新知識的學習能力，但其對歷史域性能的保持能力受限。與上述方法相比，LSTKC++ 綜合考慮了知識遺忘和學習的自適應(yīng)平衡，因而在中間域呈現(xiàn)明顯的性能優(yōu)勢，并在不同域的整體性能上實現(xiàn)穩(wěn)定提升。
• 計算與存儲開銷分析： 現(xiàn)有方法（如 PatchKD、AKA、DKP）通常通過引入額外的可學習模塊來提升抗遺忘性能，這些模塊往往會增加額外的訓(xùn)練時間、模型參數(shù)量、存儲空間占用和 GPU 顯存消耗。與之相比，LSTKC 和 LSTKC++ 僅在特征提取器和身份分類器中包含可學習參數(shù)，因此在模型參數(shù)量（Params）上具有明顯優(yōu)勢。其次，LSTKC 在訓(xùn)練時間（Batch Time）、模型存儲（Model Memory）和 GPU 顯存消耗（GPU Memory）方面均最為高效。盡管 LSTKC++ 引入了一個額外的舊模型，但由于該舊模型被凍結(jié)且不參與梯度計算，其帶來的額外開銷僅為約 30% 的訓(xùn)練時間和約 818MB（占總顯存的～7.4%）的 GPU 顯存?？傮w而言，與最新的 CVPR 2024 方法 DKP 相比，LSTKC++ 在綜合性能（TABLE I 和 TABLE II）以及計算和存儲效率方面均展現(xiàn)出明顯優(yōu)勢。

四、總結(jié)與展望

技術(shù)創(chuàng)新

本項被 T-PAMI 2025 接收的工作聚焦于終身行人重識別（LReID）任務(wù)，面向新知識學習和歷史知識遺忘的挑戰(zhàn)，提出了以下創(chuàng)新性設(shè)計：

• 解耦式知識記憶體系： 提出將終身學習中的知識解耦為長期知識和短期知識，通過長短期知識的針對性處理保障短期新知識學習和促進長期歷史知識與短期新知識間的平衡；
• 語義級知識糾錯機制： 將知識篩選與糾正機制引入基于知識蒸餾的持續(xù)學習，有效克服錯誤歷史知識對新知識學習的干擾；
• 長短期互補知識提煉： 挖掘并融合長短期模型間的互補知識，提升知識蒸餾過程中知識表達的魯棒性，提升歷史知識在新知識學習中的引導(dǎo)作用。
• 遺忘-學習主動權(quán)衡： 摒棄固定抗遺忘損失的策略，提出主動搜索最優(yōu)的新舊知識權(quán)衡參數(shù)的方法。

應(yīng)用價值

LSTKC++ 所提出的終身學習機制具備良好的實用性和推廣潛力，特別適用于以下典型場景：

• 適應(yīng)動態(tài)開放環(huán)境，構(gòu)建「終身進化」的識別系統(tǒng)。 在實際應(yīng)用中，攝像頭部署環(huán)境常常發(fā)生變化，例如視角變換、光照變化、圖像分辨率波動等，傳統(tǒng)靜態(tài)訓(xùn)練的模型難以持續(xù)適應(yīng)。LSTKC++ 具備長期知識保持與新知識快速整合能力，可持續(xù)應(yīng)對環(huán)境遷移，適用于智慧城市、邊緣計算終端、無人安防等場景，助力構(gòu)建「可持續(xù)演進」的識別系統(tǒng)。
  
• 滿足隱私保護需求，避免歷史樣本訪問。 在公共安全、交通監(jiān)控、醫(yī)療影像等高度敏感的應(yīng)用場景中，受限于數(shù)據(jù)安全與隱私法規(guī)，系統(tǒng)通常禁止長期存儲歷史圖像或身份數(shù)據(jù)。LSTKC++ 在整個持續(xù)學習過程中無需訪問任何歷史樣本或緩存數(shù)據(jù)，具備天然的隱私友好性。
  
• 高效學習，快速部署。 LSTKC++ 無需保存圖像或額外身份原型等，在多輪更新中也不會引入顯存負擔或冗余參數(shù)。同時，相比現(xiàn)有方法（如 DKP），該方法大幅減少了參數(shù)規(guī)模與顯存占用，訓(xùn)練過程高效，可快速完成模型更新，滿足資源受限設(shè)備上的持續(xù)學習需求。

未來展望

LSTKC++ 為無樣本持續(xù)學習提供了結(jié)構(gòu)化解決方案，未來仍具備多維度的研究與拓展空間：

• 向預(yù)訓(xùn)練視覺大模型拓展。 當前終身學習方法多數(shù)基于 CNN 架構(gòu)設(shè)計，然而預(yù)訓(xùn)練視覺大模型在視覺任務(wù)中已展現(xiàn)出強大表達能力。如何將 LSTKC++ 的知識解耦與鞏固機制遷移至大模型框架，并結(jié)合其先驗語義進行持續(xù)學習，是一個具有理論深度與實際價值的重要方向。
• 研究多模態(tài)感知下的持續(xù)學習機制。 現(xiàn)有終身行人重識別研究主要基于可見光圖像，尚未充分考慮紅外、深度圖、文本描述等多模態(tài)信息。在傳感設(shè)備普及的背景下，融合多模態(tài)數(shù)據(jù)以提升持續(xù)學習的穩(wěn)定性、抗干擾能力，將是推動算法實用化的重要路徑。
  
• 推廣至通用類別的域增量識別任務(wù)。 LSTKC++ 當前聚焦于「跨域+跨身份」的行人檢索問題，然而在現(xiàn)實應(yīng)用中，物品、交通工具、動物等通用類別同樣面臨動態(tài)領(lǐng)域變化現(xiàn)象。將本方法推廣至通用類別的域增量學習場景，有望提升大規(guī)模視覺系統(tǒng)在開放環(huán)境下的適應(yīng)性與擴展能力。