近日，北京大學(xué)王選計(jì)算機(jī)研究所周嘉歡助理教授與彭宇新教授合作在人工智能重要國(guó)際期刊 IEEE TPAMI 發(fā)布一項(xiàng)最新的研究成果：DKP++（Distribution-aware Knowledge Aligning and Prototyping for Non-exemplar Lifelong Person Re-Identification）。該工作針對(duì)終身學(xué)習(xí)中的災(zāi)難性遺忘問題，提出分布建模引導(dǎo)的知識(shí)對(duì)齊與原型建?？蚣?，不僅有效增強(qiáng)了對(duì)歷史知識(shí)的記憶能力，也提升了模型的跨域?qū)W習(xí)能力。

本文的第一作者為北京大學(xué)北京大學(xué)王選計(jì)算機(jī)研究所助理教授周嘉歡，通訊作者為北京大學(xué)王選計(jì)算機(jī)研究所教授彭宇新。目前該研究已被 IEEE TPAMI 接收，相關(guān)代碼已開源。

• 論文標(biāo)題：Distribution-aware Knowledge Aligning and Prototyping for Non-exemplar Lifelong Person Re-Identification
• 論文鏈接：https://ieeexplore.ieee.org/abstract/document/11120364
• 代碼鏈接：https://github.com/zhoujiahuan1991/TPAMI-DKP_Plus_Plus

行人重識(shí)別（Person Re-Identification, ReID）旨在針對(duì)跨相機(jī)視角、跨地點(diǎn)、跨時(shí)間等場(chǎng)景中，基于視覺特征實(shí)現(xiàn)對(duì)同一行人圖像的匹配與關(guān)聯(lián)。該技術(shù)在多攝像頭監(jiān)控、智能交通系統(tǒng)、城市安全管理以及大規(guī)模圖像視頻檢索等實(shí)際場(chǎng)景中具有廣泛應(yīng)用價(jià)值。然而，在現(xiàn)實(shí)環(huán)境中，由于采集地點(diǎn)、拍攝設(shè)備和時(shí)間條件的不斷變化，行人圖像的分布會(huì)隨之發(fā)生遷移，導(dǎo)致測(cè)試數(shù)據(jù)與模型訓(xùn)練時(shí)所依賴的源數(shù)據(jù)之間存在顯著的域偏移。這一分布漂移問題使得傳統(tǒng) “靜態(tài)訓(xùn)練 - 固定推理” 的 ReID 范式在長(zhǎng)期動(dòng)態(tài)環(huán)境中的適應(yīng)性不足。

為應(yīng)對(duì)這一挑戰(zhàn)，研究者提出了更具現(xiàn)實(shí)意義的任務(wù)設(shè)定，終身行人重識(shí)別（Lifelong Person Re-ID, LReID）。該任務(wù)要求模型在持續(xù)接收新域數(shù)據(jù)的過程中，能夠高效地增量學(xué)習(xí)新知識(shí)，同時(shí)保持對(duì)先前已學(xué)習(xí)域中身份信息的辨識(shí)能力，從而實(shí)現(xiàn)跨時(shí)間與跨域的長(zhǎng)期學(xué)習(xí)與知識(shí)保留。

研究現(xiàn)狀

終身行人重識(shí)別任務(wù)的核心挑戰(zhàn)是災(zāi)難性遺忘問題，即模型在學(xué)習(xí)新域知識(shí)后，對(duì)舊域中行人數(shù)據(jù)的檢索性能大幅降低。為解決該問題，現(xiàn)有方法主要通過保留歷史樣本或采用知識(shí)蒸餾策略來緩解遺忘。然而，保留歷史樣本的方法存在數(shù)據(jù)隱私風(fēng)險(xiǎn)和存儲(chǔ)開銷持續(xù)增長(zhǎng)的問題；知識(shí)蒸餾方法因強(qiáng)制新舊模型輸出一致性，制約了模型的可塑性，限制了新知識(shí)學(xué)習(xí)能力。盡管原型學(xué)習(xí)技術(shù)在類增量學(xué)習(xí)任務(wù)中取得了較高性能，但現(xiàn)有方法僅為每個(gè)類別保留單一特征中心，忽略了類內(nèi)分布差異，導(dǎo)致行人的細(xì)粒度知識(shí)丟失，難以適用于依賴細(xì)粒度匹配的終身行人重識(shí)別任務(wù)。

研究動(dòng)機(jī)

動(dòng)機(jī) 1：分布原型學(xué)習(xí)。為實(shí)現(xiàn)無歷史樣本存儲(chǔ)條件下有效保留歷史知識(shí)，我們提出通過實(shí)例級(jí)分布建模挖掘數(shù)據(jù)中的細(xì)粒度信息，進(jìn)而構(gòu)建分布原型，提升對(duì)不同域數(shù)據(jù)信息的表征和保存能力。

圖 1 分布原型學(xué)習(xí)動(dòng)機(jī)

動(dòng)機(jī) 2：跨域分布對(duì)齊。雖然分布原型可有效緩解遺忘問題，由于新舊域數(shù)據(jù)存在分布鴻溝，造成歷史原型對(duì)新數(shù)據(jù)學(xué)習(xí)的引導(dǎo)和約束作用較弱，導(dǎo)致模型的新知識(shí)學(xué)習(xí)能力和抗遺忘能力仍然受限。為克服該挑戰(zhàn)，我們提出引入輸入端分布建模并構(gòu)建跨域樣本對(duì)齊機(jī)制，提升歷史分布信息對(duì)新域特征學(xué)習(xí)的引導(dǎo)作用，從而在大幅提升模型對(duì)歷史知識(shí)鞏固能力的同時(shí)，保障了對(duì)新數(shù)據(jù)知識(shí)的學(xué)習(xí)能力。

圖 2 跨域分布對(duì)齊動(dòng)機(jī)

方法設(shè)計(jì)：分布建模引導(dǎo)的知識(shí)對(duì)齊與原型建?？蚣?/span>

圖 3 DKP++ 模型

（1）實(shí)例級(jí)細(xì)粒度建模：提出實(shí)例分布建模網(wǎng)絡(luò)，動(dòng)態(tài)捕捉行人實(shí)例的局部細(xì)節(jié)信息，為細(xì)粒度匹配奠定基礎(chǔ)；

（2）分布感知的原型生成：設(shè)計(jì)分布原型生成算法，將學(xué)習(xí)到的實(shí)例級(jí)分布信息聚合為更魯棒的類別級(jí)分布原型，克服了單一特征中心的局限性，保留類內(nèi)差異知識(shí)。

（3）分布對(duì)齊：引入輸入端分布建模機(jī)制，彌合新舊數(shù)據(jù)特征分布鴻溝，提升模型對(duì)歷史知識(shí)的利用能力。

（4）基于原型的知識(shí)遷移：提出基于原型的知識(shí)遷移模塊，利用生成的分布原型和有標(biāo)注的新數(shù)據(jù)協(xié)同指導(dǎo)模型學(xué)習(xí)，在促進(jìn)新知識(shí)吸收的同時(shí)，實(shí)現(xiàn)了對(duì)舊知識(shí)的記憶。

實(shí)驗(yàn)分析

 1. 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

論文的實(shí)驗(yàn)采用兩個(gè)典型的訓(xùn)練域順序（Order-1 與 Order-2），包含五個(gè)廣泛使用的行人重識(shí)別數(shù)據(jù)集（Market1501、DukeMTMC-ReID、CUHK03、MSMT17、CUHK-SYSU）作為訓(xùn)練域。分別評(píng)估模型在已學(xué)習(xí)域（Seen Domains）上的知識(shí)鞏固能力和在未知域（Unseen Domains）上的泛化能力。評(píng)測(cè)指標(biāo)采用行人 ReID 任務(wù)的標(biāo)準(zhǔn)指標(biāo)：平均精度均值（mAP）和 Rank-1 準(zhǔn)確率（R@1）。

2. 實(shí)驗(yàn)結(jié)果

綜合性能分析：在兩種不同的域順序設(shè)定下，DKP++ 的已知域平均性能（Seen-Avg mAP 和 Seen-Avg R@1）相比于現(xiàn)有方法提升 5.2%-7%。同時(shí)，DKP++ 在未知域的整體泛化性能（UnSeen-Avg mAP 和 UnSeen-Avg R@1）上相比于現(xiàn)有方法提升 4.5%-7.7%。

學(xué)習(xí)趨勢(shì)分析：與現(xiàn)有方法相比，隨著已學(xué)習(xí)域的數(shù)量增加，DKP++ 呈現(xiàn)了更高的歷史知識(shí)鞏固能力。同時(shí)，DKP++ 也呈現(xiàn)了更高的未知域泛化性能增長(zhǎng)速度，驗(yàn)證了其所積累知識(shí)的魯棒性。

基礎(chǔ)模型適配能力分析：在以不同的重識(shí)別基礎(chǔ)模型（VF-Res，VF-ViT）作為預(yù)訓(xùn)練模型時(shí)，DKP++ 均保持了對(duì)現(xiàn)有方法的優(yōu)勢(shì)，說明其對(duì)不同的預(yù)訓(xùn)練模型均具備良好的適配能力。

總結(jié)與展望

1. 技術(shù)創(chuàng)新

本項(xiàng)被 IEEE TPAMI 2025 接收的工作聚焦于終身行人重識(shí)別（LReID）任務(wù)，提出了以下創(chuàng)新性設(shè)計(jì)：

分布原型建模與表征：提出基于實(shí)例級(jí)分布建模構(gòu)建分布原型，增強(qiáng)了模型對(duì)歷史信息的表達(dá)能力；

樣本對(duì)齊引導(dǎo)的原型知識(shí)遷移：通過域分布建模與樣本分布對(duì)齊克服新舊域數(shù)據(jù)的分布鴻溝，增強(qiáng)歷史原型的利用能力。?

2. 未來展望

DKP++ 為無樣本保留的終身學(xué)習(xí)技術(shù)提供了新范式，未來在多個(gè)方面仍有改進(jìn)空間：

• 基于大模型的分布對(duì)齊。本方法的分布對(duì)齊通過簡(jiǎn)單的卷積網(wǎng)絡(luò)實(shí)現(xiàn)，未來可基于 Diffusion 等架構(gòu)促進(jìn)分布對(duì)齊以進(jìn)一步提升模型的抗遺忘能力。
• 知識(shí)主動(dòng)遺忘機(jī)制。由于缺乏顯式的引導(dǎo)，模型中往往包含冗余知識(shí)，在引入抗遺忘機(jī)制時(shí)容易干擾新知識(shí)的學(xué)習(xí)，因此構(gòu)建模型的主動(dòng)遺忘機(jī)制對(duì)進(jìn)一步增強(qiáng)模型的知識(shí)鞏固和學(xué)習(xí)能力具有重要研究?jī)r(jià)值。
• 多模態(tài)終身學(xué)習(xí)機(jī)制。實(shí)際場(chǎng)景中存在紅外、點(diǎn)云、音頻、文本等多模態(tài)信息，增強(qiáng)模型的多模態(tài)數(shù)據(jù)持續(xù)學(xué)習(xí)能力，可促進(jìn)模型充分利用多元化信息以增強(qiáng)復(fù)雜環(huán)境的感知能力。