本文經(jīng)計(jì)算機(jī)視覺(jué)研究院公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

PART/1 概述    

目前航拍圖像中檢測(cè)物體有著一下幾項(xiàng)重大挑戰(zhàn)：

1）航拍圖像通常具有非常大的尺寸，通常有數(shù)百萬(wàn)甚至數(shù)億像素，而計(jì)算資源有限。

2） 物體尺寸小會(huì)導(dǎo)致有效檢測(cè)的信息不足。

3） 不均勻的對(duì)象分布會(huì)導(dǎo)致計(jì)算資源的浪費(fèi)。

為了解決這些問(wèn)題，研究者提出了YOLC（You Only Look Clusters），這是一個(gè)基于無(wú)錨目標(biāo)檢測(cè)器CenterNet的高效框架。為了克服大規(guī)模圖像和非均勻?qū)ο蠓植紟?lái)的挑戰(zhàn)，引入了一種局部尺度模塊（LSM），該模塊自適應(yīng)地搜索聚類區(qū)域以放大以進(jìn)行精確檢測(cè)。此外，研究者還使用Gaussian Wasserstein distance（GWD）修改回歸損失，以獲得高質(zhì)量的邊界框。檢測(cè)頭采用可變形卷積和細(xì)化方法來(lái)增強(qiáng)對(duì)小物體的檢測(cè)。對(duì)包括Vi sdrone2019和UAVDT在內(nèi)的兩個(gè)航空?qǐng)D像數(shù)據(jù)集進(jìn)行了廣泛的實(shí)驗(yàn)，以證明新提出的方法的有效性和優(yōu)越性。

PART/2 背景    

早期的研究提出了新的多尺度訓(xùn)練策略，如圖像金字塔的尺度歸一化（SNIP）及其改進(jìn)版本。這些方法可以有效地提高小對(duì)象的檢測(cè)性能，而多尺度訓(xùn)練對(duì)計(jì)算資源和內(nèi)存容量都有很大的要求。另一種方法是提高圖像分辨率或特征分辨率。例如，生成對(duì)抗網(wǎng)絡(luò)（GAN）可用于補(bǔ)償小對(duì)象的信息丟失。因此，可以縮小小對(duì)象和大對(duì)象的特征表示之間的差距；但是計(jì)算成本將是昂貴的。最近，一些基于標(biāo)簽分配的方法旨在改進(jìn)罕見(jiàn)小對(duì)象樣本的樣本分配策略。它們提高了小物體的檢測(cè)性能，但在準(zhǔn)確性或效率方面仍有改進(jìn)的潛力。

高分辨率航空?qǐng)D像中小物體的不均勻分布對(duì)探測(cè)器提出了重大挑戰(zhàn)，導(dǎo)致大規(guī)模航空?qǐng)D像的效率或精度降低。為了解決這些問(wèn)題，一種簡(jiǎn)單的方法是將圖像分成幾個(gè)部分并放大，如均勻裁剪所示。然而，這種方法無(wú)法解釋物體的非均勻分布，檢測(cè)所有作物仍然需要大量時(shí)間。

為了應(yīng)對(duì)上述挑戰(zhàn)，已經(jīng)提出了主流解決方案，包括設(shè)計(jì)專用方案來(lái)定位集群區(qū)域，這些方案可以隨后用于檢測(cè)。ClusSet采用集群檢測(cè)網(wǎng)絡(luò)來(lái)檢測(cè)目標(biāo)集群。DMNet對(duì)目標(biāo)分布進(jìn)行建模，并通過(guò)密度圖生成聚類區(qū)域。這些策略顯示出有希望的結(jié)果，因?yàn)榫垲悈^(qū)域被保留，背景被盡可能地抑制。然而，對(duì)每種作物的獨(dú)立檢測(cè)降低了推理速度。此外，雖然上述方法生成了集群區(qū)域，但某些集群中的對(duì)象分布很稀疏，對(duì)最終性能的貢獻(xiàn)很小。因此，在精度和效率之間實(shí)現(xiàn)最佳折衷是航空?qǐng)D像中目標(biāo)檢測(cè)的關(guān)鍵問(wèn)題。

PART/3 新算法框架    

• 準(zhǔn)備工作

CenterNet是一個(gè)強(qiáng)大而高效的無(wú)錨目標(biāo)象檢測(cè)框架。與使用錨點(diǎn)預(yù)測(cè)邊界框的傳統(tǒng)方法不同，CenterNet從對(duì)象的中心點(diǎn)回歸對(duì)象的大小、方向、姿勢(shì)和關(guān)鍵點(diǎn)。這是通過(guò)一個(gè)全卷積網(wǎng)絡(luò)實(shí)現(xiàn)的，該網(wǎng)絡(luò)生成對(duì)象中心的熱圖（密度圖），然后通過(guò)在熱圖中找到局部最大值來(lái)定位中心。使用這些峰值位置的特征，可以推斷出物體的大小。由于其簡(jiǎn)單性，CenterNet在不依賴復(fù)雜特征工程的情況下實(shí)現(xiàn)了非凡的性能。它是一種快速有效的對(duì)象檢測(cè)方法，已被研究界廣泛采用。CenterNet作為一種代表性的無(wú)錨探測(cè)器，采用高分辨率特征圖進(jìn)行預(yù)測(cè)，使其對(duì)小物體特別友好和高效。密度貼圖是提供圖像中對(duì)象分布信息的強(qiáng)大工具。在CenterNet中，密度圖用于定位對(duì)象。為了提高檢測(cè)器檢測(cè)小物體的性能，我們使用轉(zhuǎn)置卷積層對(duì)特征圖進(jìn)行上采樣，以匹配輸入圖像的大小。此外，我們提出了一種局部尺度模塊，該模塊利用熱圖自適應(yīng)地搜索聚類區(qū)域并調(diào)整其大小以適應(yīng)檢測(cè)器，這可以進(jìn)一步提高檢測(cè)精度。

• You Only Look Clusters

提出的YOLC遵循與Center-Net類似的管道，但它與CenterNet的區(qū)別在于使用了不同的主干、檢測(cè)頭、回歸方式和損失函數(shù)。特別是，HRNet被用作生成高分辨率熱圖的骨干，這些熱圖更擅長(zhǎng)檢測(cè)小物體。此外，由于航空?qǐng)D像中物體的分布不平衡，設(shè)計(jì)了一種局部尺度模塊（LSM）來(lái)自適應(yīng)地搜索聚類區(qū)域。在檢測(cè)到原始圖像和裁剪后，在密集區(qū)域中，精確的結(jié)果直接替換為原始圖像的結(jié)果。

• 高分辨率熱圖

為了提高在充滿小物體的密集區(qū)域進(jìn)行物體檢測(cè)的準(zhǔn)確性，YOLC使用了更高分辨率的熱圖。在CenterNet中，每個(gè)對(duì)象都被建模為其邊界框中心的一個(gè)點(diǎn)，由熱圖中的高斯斑點(diǎn)表示。然而，相對(duì)于輸入圖像，熱圖被降采樣了4倍。這種下采樣可能會(huì)導(dǎo)致小物體在熱圖中只折疊成幾個(gè)甚至一個(gè)點(diǎn)，從而難以準(zhǔn)確定位它們的中心。為了解決這個(gè)問(wèn)題，YOLC采用了一種經(jīng)過(guò)修改的管道，該管道使用了更高分辨率的熱圖。具體來(lái)說(shuō)，我們添加了一個(gè)卷積層和兩個(gè)轉(zhuǎn)置卷積層，以將熱圖放大到與輸入圖像相同的大小。這使我們能夠捕獲有關(guān)小物體的更詳細(xì)信息，從而在密集區(qū)域中實(shí)現(xiàn)更準(zhǔn)確的物體檢測(cè)。在解碼之前應(yīng)用高斯濾波器有助于減少CenterNet中的假陽(yáng)性預(yù)測(cè)。過(guò)濾器平滑熱圖并抑制對(duì)象周圍的多個(gè)峰值。這種方法有助于提高對(duì)象的定位精度，并減少誤分類的機(jī)會(huì)。

• Local Scale Module

興趣區(qū)域建議方法是基于裁剪的目標(biāo)檢測(cè)模型的關(guān)鍵組成部分。然而，在航拍圖像中，車輛和行人等物體往往聚集在幾個(gè)聚集的區(qū)域。圖像中的大多數(shù)區(qū)域都是背景，不需要檢測(cè)。此外，密集區(qū)域的有限分辨率可能會(huì)導(dǎo)致檢測(cè)性能顯著下降?，F(xiàn)有的基于裁剪的方法，如DMNet，會(huì)產(chǎn)生許多作物或使用像ClusSet這樣的額外網(wǎng)絡(luò)，導(dǎo)致檢測(cè)速度低和模型參數(shù)增加。為了解決這些問(wèn)題，研究者提出了一種局部尺度模塊（LSM），可以自適應(yīng)地定位聚類區(qū)域。LSM受到AutoScale的啟發(fā)，但研究者進(jìn)行了一些修改，使其適用于航空?qǐng)D像。首先，LSM不是只搜索單個(gè)最大聚類區(qū)域，而是通過(guò)對(duì)每個(gè)網(wǎng)格中的密度進(jìn)行排序來(lái)定位前K個(gè)密集區(qū)域。這很重要，因?yàn)楹娇請(qǐng)D像通常有多個(gè)聚類區(qū)域。其次，AutoScale是為人群計(jì)數(shù)和定位而設(shè)計(jì)的，它只適用于具有單類目標(biāo)的場(chǎng)景。然而，在航空?qǐng)D像中，有多個(gè)目標(biāo)類別。研究者還注意到，UCGNet使用DBSCAN和K-Means等聚類方法從密集區(qū)域生成圖像裁剪。然而，UCGNet產(chǎn)生的作物仍然很大，沒(méi)有考慮不同作物之間的密度差異。

• Improved Detection Head

為了提高對(duì)航空?qǐng)D像中小目標(biāo)的檢測(cè)，回歸分支通過(guò)可變形卷積進(jìn)行了增強(qiáng)，因?yàn)樗梢宰赃m應(yīng)地調(diào)整卷積操作中的采樣位置，以更好地捕捉小細(xì)節(jié)。此外，為了更好地捕捉不同類別目標(biāo)的精細(xì)細(xì)節(jié)，熱圖分支被解耦為多個(gè)子分支，每個(gè)子分支負(fù)責(zé)預(yù)測(cè)特定對(duì)象類別的熱圖。這不僅減輕了同時(shí)預(yù)測(cè)所有熱圖的計(jì)算負(fù)擔(dān)，而且使網(wǎng)絡(luò)能夠?qū)Ｗ⒂趯W(xué)習(xí)每個(gè)類別的不同特征，從而提高了探測(cè)器的整體性能。下圖展示了經(jīng)過(guò)這些改進(jìn)的檢測(cè)頭的結(jié)構(gòu)。

PART/4 實(shí)驗(yàn)及可視化    

性能比較。“O”、“C”、“CA”和“AUG”分別代表原始驗(yàn)證集、均勻圖像分割（EIP）裁剪圖像、集群裁剪圖像和增強(qiáng)圖像?！?”表示多尺度推理?！?”表示通過(guò)超參數(shù)調(diào)整進(jìn)行優(yōu)化。

在VisDrone（第一行）和UAVDT（第二行）上可視化YOLC檢測(cè)結(jié)果：

在VisDrone上可視化YOLC（右）和CenterNet（左）檢測(cè)結(jié)果：