測(cè)試時(shí)領(lǐng)域適應(yīng)（Test-Time Adaptation）的目的是使源域模型適應(yīng)推理階段的測(cè)試數(shù)據(jù)，在適應(yīng)未知的圖像損壞領(lǐng)域取得了出色的效果。然而，當(dāng)前許多方法都缺乏對(duì)真實(shí)世界場(chǎng)景中測(cè)試數(shù)據(jù)流的考慮，例如：

• 測(cè)試數(shù)據(jù)流應(yīng)當(dāng)是時(shí)變分布（而非傳統(tǒng)領(lǐng)域適應(yīng)中的固定分布）
• 測(cè)試數(shù)據(jù)流可能存在局部類(lèi)別相關(guān)性（而非完全獨(dú)立同分布采樣）
• 測(cè)試數(shù)據(jù)流在較長(zhǎng)時(shí)間里仍表現(xiàn)全局類(lèi)別不平衡

近日，華南理工、A*STAR 和港中大（深圳）團(tuán)隊(duì)通過(guò)大量實(shí)驗(yàn)證明，這些真實(shí)場(chǎng)景下的測(cè)試數(shù)據(jù)流會(huì)對(duì)現(xiàn)有方法帶來(lái)巨大挑戰(zhàn)。該團(tuán)隊(duì)認(rèn)為，最先進(jìn)方法的失敗首先是由于不加區(qū)分地根據(jù)不平衡測(cè)試數(shù)據(jù)調(diào)整歸一化層造成的。

為此，研究團(tuán)隊(duì)提出了一種創(chuàng)新的平衡批歸一化層 (Balanced BatchNorm Layer)，以取代推理階段的常規(guī)批歸一化層。同時(shí)，他們發(fā)現(xiàn)僅靠自我訓(xùn)練（ST）在未知的測(cè)試數(shù)據(jù)流中進(jìn)行學(xué)習(xí)，容易造成過(guò)度適應(yīng)（偽標(biāo)簽類(lèi)別不平衡、目標(biāo)域并非固定領(lǐng)域）而導(dǎo)致在領(lǐng)域不斷變化的情況下性能不佳。

因此，該團(tuán)隊(duì)建議通過(guò)錨定損失 (Anchored Loss) 對(duì)模型更新進(jìn)行正則化處理，從而改進(jìn)持續(xù)領(lǐng)域轉(zhuǎn)移下的自我訓(xùn)練，有助于顯著提升模型的魯棒性。最終，模型 TRIBE 在四個(gè)數(shù)據(jù)集、多種真實(shí)世界測(cè)試數(shù)據(jù)流設(shè)定下穩(wěn)定達(dá)到 state-of-the-art 的表現(xiàn)，并大幅度超越已有的先進(jìn)方法。研究論文已被 AAAI 2024 接收。

論文鏈接：https://arxiv.org/abs/2309.14949

代碼鏈接：https://github.com/Gorilla-Lab-SCUT/TRIBE

引言

深度神經(jīng)網(wǎng)絡(luò)的成功依賴(lài)于將訓(xùn)練好的模型推廣到 i.i.d. 測(cè)試域的假設(shè)。然而，在實(shí)際應(yīng)用中，分布外測(cè)試數(shù)據(jù)的魯棒性，如不同的照明條件或惡劣天氣造成的視覺(jué)損壞，是一個(gè)需要關(guān)注的問(wèn)題。最近的研究顯示，這種數(shù)據(jù)損失可能會(huì)嚴(yán)重影響預(yù)先訓(xùn)練好的模型的性能。重要的是，在部署前，測(cè)試數(shù)據(jù)的損壞（分布）通常是未知的，有時(shí)也不可預(yù)測(cè)。

因此，調(diào)整預(yù)訓(xùn)練模型以適應(yīng)推理階段的測(cè)試數(shù)據(jù)分布是一個(gè)值得價(jià)值的新課題，即測(cè)試時(shí)領(lǐng)域適 (TTA)。此前，TTA 主要通過(guò)分布對(duì)齊 (TTAC++, TTT++)，自監(jiān)督訓(xùn)練 (AdaContrast) 和自訓(xùn)練 (Conjugate PL) 來(lái)實(shí)現(xiàn)，這些方法在多種視覺(jué)損壞測(cè)試數(shù)據(jù)中都帶來(lái)了顯著的穩(wěn)健提升。

現(xiàn)有的測(cè)試時(shí)領(lǐng)域適應(yīng)（TTA）方法通?；谝恍﹪?yán)格的測(cè)試數(shù)據(jù)假設(shè)，如穩(wěn)定的類(lèi)別分布、樣本服從獨(dú)立同分布采樣以及固定的領(lǐng)域偏移。這些假設(shè)啟發(fā)了許多研究者去探究真實(shí)世界中的測(cè)試數(shù)據(jù)流，如 CoTTA、NOTE、SAR 和 RoTTA 等。

最近，對(duì)真實(shí)世界的 TTA 研究，如 SAR（ICLR 2023）和 RoTTA（CVPR 2023）主要關(guān)注局部類(lèi)別不平衡和連續(xù)的領(lǐng)域偏移對(duì) TTA 帶來(lái)的挑戰(zhàn)。局部類(lèi)別不平衡通常是由于測(cè)試數(shù)據(jù)并非獨(dú)立同分布采樣而產(chǎn)生的。直接不加區(qū)分的領(lǐng)域適應(yīng)將導(dǎo)致有偏置的分布估計(jì)。

最近有研究提出了指數(shù)式更新批歸一化統(tǒng)計(jì)量（RoTTA）或?qū)嵗?jí)判別更新批歸一化統(tǒng)計(jì)量（NOTE）來(lái)解決這個(gè)挑戰(zhàn)。其研究目標(biāo)是超越局部類(lèi)不平衡的挑戰(zhàn)，考慮到測(cè)試數(shù)據(jù)的總體分布可能?chē)?yán)重失衡，類(lèi)的分布也可能隨著時(shí)間的推移而變化。在下圖 1 中可以看到更具挑戰(zhàn)性的場(chǎng)景示意圖。

由于在推理階段之前，測(cè)試數(shù)據(jù)中的類(lèi)別流行率未知，而且模型可能會(huì)通過(guò)盲目的測(cè)試時(shí)間調(diào)整偏向于多數(shù)類(lèi)別，這使得現(xiàn)有的 TTA 方法變得無(wú)效。根據(jù)經(jīng)驗(yàn)觀察，對(duì)于依靠當(dāng)前批數(shù)據(jù)來(lái)估計(jì)全局統(tǒng)計(jì)量來(lái)更新歸一化層的方法來(lái)說(shuō)，這個(gè)問(wèn)題變得尤為突出（BN, PL, TENT, CoTTA 等）。

這主要是由于：

1.當(dāng)前批數(shù)據(jù)會(huì)受到局部類(lèi)別不平衡的影響帶來(lái)有偏置的整體分布估計(jì)；

2.從全局類(lèi)別不平衡的整個(gè)測(cè)試數(shù)據(jù)中估計(jì)出單一的全局分布，全局分布很容易偏向多數(shù)類(lèi)，導(dǎo)致內(nèi)部協(xié)變量偏移。

為了避免有偏差的批歸一化（BN），該團(tuán)隊(duì)提出了一種平衡的批歸一化層（Balanced Batch Normalization Layer），即對(duì)每個(gè)單獨(dú)類(lèi)別的分布進(jìn)行建模，并從類(lèi)別分布中提取全局分布。平衡的批歸一化層允許在局部和全局類(lèi)別不平衡的測(cè)試數(shù)據(jù)流下得到分布的類(lèi)平衡估計(jì)。

隨著時(shí)間的推移，領(lǐng)域轉(zhuǎn)移在現(xiàn)實(shí)世界的測(cè)試數(shù)據(jù)中經(jīng)常發(fā)生，例如照明 / 天氣條件的逐漸變化。這給現(xiàn)有的 TTA 方法帶來(lái)了另一個(gè)挑戰(zhàn)，TTA 模型可能由于過(guò)度適應(yīng)到領(lǐng)域 A 而當(dāng)從領(lǐng)域 A 切換到領(lǐng)域 B 時(shí)出現(xiàn)矛盾。

為了緩解過(guò)度適應(yīng)到某個(gè)短時(shí)領(lǐng)域，CoTTA 隨機(jī)還原參數(shù)，EATA 用 fisher information 對(duì)參數(shù)進(jìn)行正則化約束。盡管如此，這些方法仍然沒(méi)有明確解決測(cè)試數(shù)據(jù)領(lǐng)域中層出不窮的挑戰(zhàn)。

本文在兩分支自訓(xùn)練架構(gòu)的基礎(chǔ)上引入了一個(gè)錨定網(wǎng)絡(luò)（Anchor Network）組成三網(wǎng)絡(luò)自訓(xùn)練模型（Tri-Net Self-Training）。錨定網(wǎng)絡(luò)是一個(gè)凍結(jié)的源模型，但允許通過(guò)測(cè)試樣本調(diào)整批歸一化層中的統(tǒng)計(jì)量而非參數(shù)。并提出了一個(gè)錨定損失利用錨定網(wǎng)絡(luò)的輸出來(lái)正則化教師模型的輸出以避免網(wǎng)絡(luò)過(guò)度適應(yīng)到局部分布中。

最終模型結(jié)合了三網(wǎng)絡(luò)自訓(xùn)練模型和平衡的批歸一化層（TRI-net self-training with BalancEd normalization, TRIBE）在較為寬泛的的可調(diào)節(jié)學(xué)習(xí)率的范圍里表現(xiàn)出一致的優(yōu)越性能。在四個(gè)數(shù)據(jù)集和多種真實(shí)世界數(shù)據(jù)流下顯示了大幅性能提升，展示了獨(dú)一檔的穩(wěn)定性和魯棒性。

方法介紹

論文方法分為三部分：

• 介紹真實(shí)世界下的 TTA 協(xié)議；
• 平衡的批歸一化；
• 三網(wǎng)絡(luò)自訓(xùn)練模型。

真實(shí)世界下的 TTA 協(xié)議

作者采用了數(shù)學(xué)概率模型對(duì)真實(shí)世界下具有局部類(lèi)別不平衡和全局類(lèi)別不平衡的測(cè)試數(shù)據(jù)流，以及隨著時(shí)間變化的領(lǐng)域分布進(jìn)行了建模。如下圖 2 所示。

平衡的批歸一化

為了糾正不平衡測(cè)試數(shù)據(jù)對(duì) BN 統(tǒng)計(jì)量產(chǎn)生的估計(jì)偏置，作者提出了一個(gè)平衡批歸一化層，該層為每個(gè)語(yǔ)義類(lèi)分別維護(hù)了一對(duì)統(tǒng)計(jì)量，表示為：

為了更新類(lèi)別統(tǒng)計(jì)量，作者在偽標(biāo)簽預(yù)測(cè)的幫助下應(yīng)用了高效的迭代更新方法，如下所示：

通過(guò)偽標(biāo)簽對(duì)各個(gè)類(lèi)別數(shù)據(jù)的采樣點(diǎn)進(jìn)行單獨(dú)統(tǒng)計(jì)，并通過(guò)下式重新得到類(lèi)別平衡下的整體分布統(tǒng)計(jì)量，以此來(lái)對(duì)齊用類(lèi)別平衡的源數(shù)據(jù)學(xué)習(xí)好的特征空間。

在某些特殊情況下，作者發(fā)現(xiàn)當(dāng)類(lèi)別數(shù)量較多或偽標(biāo)簽準(zhǔn)確率較低 (accuracy<0.5) 的情況下，以上的類(lèi)別獨(dú)立的更新策略效果沒(méi)那么明顯。因此，他們進(jìn)一步用超參數(shù) γ 來(lái)融合類(lèi)別無(wú)關(guān)更新策略和類(lèi)別獨(dú)立更新策略，如下式：

通過(guò)進(jìn)一步分析和觀察，作者發(fā)現(xiàn)當(dāng) γ=1 時(shí)，整個(gè)更新策略就退化成了 RoTTA 中的 RobustBN 的更新策略，當(dāng) γ=0 時(shí)是純粹的類(lèi)別獨(dú)立的更新策略，因此，當(dāng) γ 取值 0～1 時(shí)可以適應(yīng)到各種情況下。

網(wǎng)絡(luò)自訓(xùn)練模型

作者在現(xiàn)有的學(xué)生 - 教師模型的基礎(chǔ)上，添加了一個(gè)錨定網(wǎng)絡(luò)分支，并引入了錨定損失來(lái)約束教師網(wǎng)絡(luò)的預(yù)測(cè)分布。這種設(shè)計(jì)受到了 TTAC++ 的啟發(fā)。TTAC++ 指出在測(cè)試數(shù)據(jù)流上僅靠自我訓(xùn)練會(huì)容易導(dǎo)致確認(rèn)偏置的積累，這個(gè)問(wèn)題在本文中的真實(shí)世界中的測(cè)試數(shù)據(jù)流上更加嚴(yán)重。TTAC++ 采用了從源域收集到的統(tǒng)計(jì)信息實(shí)現(xiàn)領(lǐng)域?qū)R正則化，但對(duì)于 Fully TTA 設(shè)定來(lái)說(shuō)，這個(gè)源域信息不可收集。

同時(shí)，作者也收獲了另一個(gè)啟示，無(wú)監(jiān)督領(lǐng)域?qū)R的成功是基于兩個(gè)領(lǐng)域分布相對(duì)高重疊率的假設(shè)。因此，作者僅調(diào)整了 BN 統(tǒng)計(jì)量的凍結(jié)源域模型來(lái)對(duì)教師模型進(jìn)行正則化，避免教師模型的預(yù)測(cè)分布偏離源模型的預(yù)測(cè)分布太遠(yuǎn)（這破壞了之前的兩者分布高重合率的經(jīng)驗(yàn)觀測(cè)）。大量實(shí)驗(yàn)證明，本文中的發(fā)現(xiàn)與創(chuàng)新是正確的且魯棒的。以下是錨定損失的表達(dá)式：

下圖展示了 TRIBE 網(wǎng)絡(luò)的框架圖：

實(shí)驗(yàn)部分

論文作者在 4 個(gè)數(shù)據(jù)集上，以?xún)煞N真實(shí)世界 TTA 協(xié)議為基準(zhǔn)，對(duì) TRIBE 進(jìn)行了驗(yàn)證。兩種真實(shí)世界 TTA 協(xié)議分別是全局類(lèi)分布固定的 GLI-TTA-F 和全局類(lèi)分布不固定的 GLI-TTA-V。

上表展示了 CIFAR10-C 數(shù)據(jù)集兩種協(xié)議不同不平衡系數(shù)下的表現(xiàn)，可以得到以下結(jié)論：

1.只有 LAME, TTAC, NOTE, RoTTA 和論文提出的 TRIBE 超過(guò)了 TEST 的基準(zhǔn)線(xiàn)，表明了真實(shí)測(cè)試流下更加魯棒的 TTA 方法的必要性。

2.全局類(lèi)別不平衡對(duì)現(xiàn)有的 TTA 方法帶來(lái)了巨大挑戰(zhàn)，如先前的 SOTA 方法 RoTTA 在 I.F.=1 時(shí)表現(xiàn)為錯(cuò)誤率 25.20% 但在 I.F.=200 時(shí)錯(cuò)誤率升到了 32.45%，相比之下，TRIBE 能穩(wěn)定地展示相對(duì)較好的性能。

3. TRIBE 的一致性具有絕對(duì)優(yōu)勢(shì)，超越了先前的所有方法，并在全局類(lèi)別平衡的設(shè)定下 (I.F.=1) 超越先前 SOTA (TTAC) 約 7%，在更加困難的全局類(lèi)別不平衡 (I.F.=200) 的設(shè)定下獲得了約 13% 的性能提升。

4.從 I.F.=10 到 I.F.=200，其他 TTA 方法隨著不平衡度增加，呈現(xiàn)性能下跌的趨勢(shì)。而 TRIBE 能維持較為穩(wěn)定的性能表現(xiàn)。這歸因于引入了平衡批歸一化層，更好地考慮了嚴(yán)重的類(lèi)別不平衡和錨定損失，這避免了跨不同領(lǐng)域的過(guò)度適應(yīng)。

更多數(shù)據(jù)集的結(jié)果可查閱論文原文。

此外，表 4 展示了詳細(xì)的模塊化消融，有以下幾個(gè)觀測(cè)性結(jié)論：

1.僅將 BN 替換成平衡批歸一化層 (Balanced BN)，不更新任何模型參數(shù)，只通過(guò) forward 更新 BN 統(tǒng)計(jì)量，就能帶來(lái) 10.24% (44.62 -> 34.28) 的性能提升，并超越了 Robust BN 的錯(cuò)誤率 41.97%。

2.Anchored Loss 結(jié)合 Self-Training，無(wú)論是在之前 BN 結(jié)構(gòu)下還是最新的 Balanced BN 結(jié)構(gòu)下，都得到了性能的提升，并超越了 EMA Model 的正則化效果。

本文的其余部分和長(zhǎng)達(dá) 9 頁(yè)的附錄最終呈現(xiàn)了 17 個(gè)詳細(xì)表格結(jié)果，從多個(gè)維度展示了 TRIBE 的穩(wěn)定性、魯棒性和優(yōu)越性。附錄中也含有對(duì)平衡批歸一化層的更加詳細(xì)的理論推導(dǎo)和解釋。

總結(jié)和展望

為應(yīng)對(duì)真實(shí)世界中 non-i.i.d. 測(cè)試數(shù)據(jù)流、全局類(lèi)不平衡和持續(xù)的領(lǐng)域轉(zhuǎn)移等諸多挑戰(zhàn)，研究團(tuán)隊(duì)深入探索了如何改進(jìn)測(cè)試時(shí)領(lǐng)域適應(yīng)算法的魯棒性。為了適應(yīng)不平衡的測(cè)試數(shù)據(jù)，作者提出了一個(gè)平衡批歸一化層（Balanced Batchnorm Layer），以實(shí)現(xiàn)對(duì)統(tǒng)計(jì)量的無(wú)偏估計(jì)，進(jìn)而提出了一種包含學(xué)生網(wǎng)絡(luò)、教師網(wǎng)絡(luò)和錨定網(wǎng)絡(luò)的三層網(wǎng)絡(luò)結(jié)構(gòu)，以規(guī)范基于自我訓(xùn)練的 TTA。

但本文仍然存在不足和改進(jìn)的空間，由于大量的實(shí)驗(yàn)和出發(fā)點(diǎn)都基于分類(lèi)任務(wù)和 BN 模塊，因此對(duì)于其他任務(wù)和基于 Transformer 模型的適配程度仍然未知。這些問(wèn)題值得后續(xù)工作進(jìn)一步研究和探索。