一、前言

Non keypoint-based的目標(biāo)檢測模型由分類和回歸分支組成，由于不同的任務(wù)驅(qū)動因素，這兩個分支對來自相同尺度級別和相同空間位置的特征具有不同的敏感性。point-based的預(yù)測方法，在基于高分類置信點具有高回歸質(zhì)量的假設(shè)上，導(dǎo)致錯位問題。我們的分析表明，該問題進(jìn)一步具體由尺度錯位和空間錯位組成。

研究者的目標(biāo)是以最小的成本解決這一現(xiàn)象——對head network進(jìn)行微調(diào)，并用一種新的標(biāo)簽分配方法代替。實驗表明，與基線FCOS（一種單階段和無錨目標(biāo)象檢測模型）相比，新提出的模型在不同的主干上始終獲得大約3 個AP的改進(jìn)，證明了新方法的簡單性和效率。

二、背景

目標(biāo)檢測是深度學(xué)習(xí)時代比較發(fā)達(dá)的研究領(lǐng)域。通?？紤]兩種不同的任務(wù)，分類旨在研究跨多類的不同特征，回歸旨在繪制準(zhǔn)確的邊界框。然而，由于這兩個任務(wù)之間的巨大特征信息敏感性，TSD【Revisiting the sibling head in object detector】顯示存在空間特征錯位問題，并損害了基于NMS的模型預(yù)測高置信度分類和高質(zhì)量回歸結(jié)果的能力。

對于空間錯位部分，研究者在同一實例中渲染了分類損失和回歸損失的空間分布。如上圖所示，兩個分布高度錯位。具有微小分類損失或回歸損失的點具有更好的特征可供這兩個分支分別利用。因此，兩個任務(wù)損失的高度錯位分布表明這兩個任務(wù)不喜歡相同空間位置的特征。

在這些分析下，為了解決尺度特征錯位問題，研究者為每個任務(wù)設(shè)計了一個任務(wù)驅(qū)動的動態(tài)感受野適配器，一個簡單但有效的形變卷積模塊。為了減輕空間特征錯位帶來的負(fù)面影響，設(shè)計了一種標(biāo)簽分配方法，挖掘空間最對齊的樣本，以增強模型預(yù)測具有高分類分?jǐn)?shù)的可靠回歸點的能力。

三、新框架

•  dynamic receptive filed adaptor

在現(xiàn)代one-stage檢測器的head，為了在兩個分支上獲得相同大小的特征圖，來自兩個分支的四個卷積操作的每一步共享完全相同的內(nèi)核大小、striding和padding。每個分支的最終感受野由下式計算：

Rl是每個FPN級別饋送的初始特征圖的輸入圖像上的感受野，f(?)是關(guān)于跨四個連續(xù)卷積層的感受野的靜態(tài)計算方法。

值得注意的是，RFA模塊僅應(yīng)用于檢測器head的第一步，具有兩個單獨的形變卷積，以增強每個分支對尺度信息的適應(yīng)能力，并進(jìn)一步減輕尺度錯位的差異。 它不同于直接將形變卷積應(yīng)用于主干或neck，而不考慮兩個分支的不同感受野。 它也不同于VFNet和RepPoints，它們通過形變卷積合并兩個分支的信息。 在我們的例子中，每個分支都放寬了規(guī)模不匹配，因為我們根據(jù)詳細(xì)的特征信息使每個分支中的每個特征點具有不同的個體感受野。

形變卷積（Deformable Convolution）原理

形變卷積的實現(xiàn)方法如下圖所示：

offset field通過在原圖上進(jìn)行標(biāo)準(zhǔn)卷積操作得到，通道數(shù)為2N表示N個2維的偏置量（△x，△y），N表示卷積核的個數(shù)即輸出特征層的通道數(shù)。

形變卷積過程可以描述為：首先在輸入feature map上進(jìn)行標(biāo)準(zhǔn)卷積得到N個2維的偏置量（△x，△y），然后分別對輸入feature map上各個點的值進(jìn)行修正：

設(shè)feature map為P，即P （ x ， y ） = P （ x + △ x ， y + △ y ），當(dāng)x+△x為分?jǐn)?shù)時，使用雙線性插值計算P（x+△x，y+△y）

形成N個feature map，然后使用N個卷積核一一對應(yīng)進(jìn)行卷積得到輸出。標(biāo)準(zhǔn)卷積與形變卷積的計算效果如下圖所示：

•  Aligned Spatial Points Assignment Procedur

給定每個實例Ii的尺度分配結(jié)果l?和l?中的候選點Cl?，新框架的任務(wù)是進(jìn)一步挖掘Cl?中空間最對齊的點。每個候選點有兩個指標(biāo)需要考慮：（1）考慮到兩個任務(wù)的整體適應(yīng)度Sf；(2) 由空間上的未對準(zhǔn)損失分布引起的未對準(zhǔn)度Sm。

使用softmax函數(shù)將Lcls和Lreg分別重新分配到相同的可測標(biāo)準(zhǔn)中，這是由softmax函數(shù)單調(diào)且其輸出之和為一的優(yōu)點給出的。對于未對齊的程度Sm，由于我們發(fā)現(xiàn)sigmoid函數(shù)可以高效地將變體輸入轉(zhuǎn)換為相當(dāng)統(tǒng)一的輸出，因此將其定義如下：

四、實驗

COCO數(shù)據(jù)集上的比較

空間標(biāo)簽分配的可視化。第一行分別顯示了兩個任務(wù)的輸入和損失分布。第二行的綠色十字是正分配點。