01 前景概要

今天分享中，我們提出了Drone-YOLO，這是一系列基于YOLOv8模型的多尺度無(wú)人機(jī)圖像目標(biāo)檢測(cè)算法，旨在克服與無(wú)人機(jī)圖像目標(biāo)檢測(cè)相關(guān)的特定挑戰(zhàn)。為了解決大場(chǎng)景大小和小檢測(cè)對(duì)象的問(wèn)題，我們對(duì)YOLOv8模型的頸部組件進(jìn)行了改進(jìn)。具體而言，我們采用了三層PAFPN結(jié)構(gòu)，并結(jié)合了一個(gè)使用大規(guī)模特征圖為小型目標(biāo)量身定制的檢測(cè)頭，顯著增強(qiáng)了算法檢測(cè)小型目標(biāo)的能力。此外，我們將夾層融合模塊集成到頸部上下分支的每一層中。這種融合機(jī)制將網(wǎng)絡(luò)特征與低級(jí)特征相結(jié)合，提供了關(guān)于不同層檢測(cè)頭處物體的豐富空間信息。我們使用深度可分離進(jìn)化來(lái)實(shí)現(xiàn)這種融合，它平衡了參數(shù)成本和大的感受野。在網(wǎng)絡(luò)主干中，我們使用RepVGG模塊作為下采樣層，增強(qiáng)了網(wǎng)絡(luò)學(xué)習(xí)多尺度特征的能力，并優(yōu)于傳統(tǒng)的卷積層。

所提出的Drone-YOLO方法已在消融實(shí)驗(yàn)中進(jìn)行了評(píng)估，并在VisDrone2019數(shù)據(jù)集上與其他最先進(jìn)的方法進(jìn)行了比較。結(jié)果表明，我們的Drone-YOLO（L）在目標(biāo)檢測(cè)的準(zhǔn)確性方面優(yōu)于其他基線方法。與YOLOv8相比，我們的方法在mAP0.5指標(biāo)上實(shí)現(xiàn)了顯著改進(jìn)，VisDrone2019測(cè)試增加了13.4%，VisDrone 2019-val.增加了17.40%。此外，只有5.25M參數(shù)的參數(shù)高效Drone-YOLO（tiny）在數(shù)據(jù)集上的性能與9.66M參數(shù)的基線方法相當(dāng)或更好。這些實(shí)驗(yàn)驗(yàn)證了Drone-YOLO方法在無(wú)人機(jī)圖像中目標(biāo)檢測(cè)任務(wù)中的有效性。

02 背景

在過(guò)去的15年里，隨著無(wú)人機(jī)控制技術(shù)的逐漸成熟，無(wú)人機(jī)遙感圖像以其成本效益和易獲取性成為低空遙感研究領(lǐng)域的重要數(shù)據(jù)源。在此期間，深度神經(jīng)網(wǎng)絡(luò)方法得到了廣泛的研究，并逐漸成為圖像分類、目標(biāo)檢測(cè)和圖像分割等任務(wù)的最佳方法。然而，目前應(yīng)用的大多數(shù)深度神經(jīng)網(wǎng)絡(luò)模型，如VGG、RESNET、U-NET、PSPNET，主要是使用手動(dòng)收集的圖像數(shù)據(jù)集開(kāi)發(fā)和驗(yàn)證的，如VOC2007、VOC2012、MS-COCO，如下圖所示。

與人工拍攝的真是圖像相比，從無(wú)人機(jī)獲得的圖像顯示出顯著差異。這些無(wú)人機(jī)拍攝的圖像如下：

除了這些圖像數(shù)據(jù)特征外，無(wú)人機(jī)遙感目標(biāo)檢測(cè)方法還有兩種常見(jiàn)的應(yīng)用場(chǎng)景。第一個(gè)涉及使用大型臺(tái)式計(jì)算機(jī)進(jìn)行飛行后數(shù)據(jù)處理。無(wú)人機(jī)飛行后，捕獲的數(shù)據(jù)在臺(tái)式計(jì)算機(jī)上進(jìn)行處理。第二個(gè)涉及飛行過(guò)程中的實(shí)時(shí)處理，無(wú)人機(jī)上的嵌入式計(jì)算機(jī)實(shí)時(shí)同步處理航空?qǐng)D像數(shù)據(jù)。該應(yīng)用程序通常用于無(wú)人機(jī)飛行期間的避障和自動(dòng)任務(wù)規(guī)劃。因此，應(yīng)用神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法需要滿足每個(gè)場(chǎng)景的不同要求。對(duì)于適用于臺(tái)式計(jì)算機(jī)環(huán)境的方法，需要高檢測(cè)精度。對(duì)于適用于嵌入式環(huán)境的方法，模型參數(shù)需要在一定范圍內(nèi)才能滿足嵌入式硬件的操作要求。在滿足操作條件后，該方法的檢測(cè)精度也需要盡可能高。

因此，無(wú)人機(jī)遙感圖像中目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)方法需要能夠適應(yīng)這些數(shù)據(jù)的特定特征。它們的設(shè)計(jì)應(yīng)滿足飛行后數(shù)據(jù)處理的要求，可以提供高精度和召回率的結(jié)果，或者它們應(yīng)設(shè)計(jì)為具有較小規(guī)模參數(shù)的模型，可以部署在嵌入式硬件環(huán)境中，用于無(wú)人機(jī)上的實(shí)時(shí)處理。

03 新框架設(shè)計(jì)介紹

下圖顯示了我們提出的Drone-YOLO（L）網(wǎng)絡(luò)模型的架構(gòu)。該網(wǎng)絡(luò)結(jié)構(gòu)是對(duì)YOLOv8-l模型的改進(jìn)。在網(wǎng)絡(luò)的主干部分，我們使用RepVGG結(jié)構(gòu)的重新參數(shù)化卷積模塊作為下采樣層。在訓(xùn)練過(guò)程中，這種卷積結(jié)構(gòu)同時(shí)訓(xùn)練3×3和1×1卷積。在推理過(guò)程中，兩個(gè)卷積核被合并為一個(gè)3×3卷積層。這種機(jī)制使網(wǎng)絡(luò)能夠在不影響推理速度或擴(kuò)大模型大小的情況下學(xué)習(xí)更穩(wěn)健的特征。在頸部，我們將PAFPN結(jié)構(gòu)擴(kuò)展到三層，并附加了一個(gè)小尺寸的物體檢測(cè)頭。通過(guò)結(jié)合所提出的三明治融合模塊，從網(wǎng)絡(luò)主干的三個(gè)不同層特征圖中提取空間和信道特征。這種優(yōu)化增強(qiáng)了多尺度檢測(cè)頭收集待檢測(cè)對(duì)象的空間定位信息的能力。

如下圖所示，我們提出了sandwich-fusion（SF），這是一種三尺寸特征圖的新融合模塊，它優(yōu)化了目標(biāo)的空間和語(yǔ)義信息，用于檢測(cè)頭。該模塊應(yīng)用于頸部自上而下的層。該模塊的靈感來(lái)自YOLOv6 3.0【YOLOv6 v3.0: A Full-Scale Reloading】中提出的BiC模型。SF的輸入如圖所示，包括主干較低階段、相應(yīng)階段和較高階段的特征圖。目標(biāo)是平衡低級(jí)特征的空間信息和高級(jí)特征的語(yǔ)義信息，以優(yōu)化網(wǎng)絡(luò)頭部對(duì)目標(biāo)位置的識(shí)別和分類。

04 項(xiàng)目落地效果

項(xiàng)目中，我們使用Ubuntu 20.04作為操作系統(tǒng)，Python 3.8、PyTorch 1.16.0和Cuda 11.6作為軟件環(huán)境。實(shí)驗(yàn)采用NVIDIA 3080ti圖形卡作為硬件。神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)代碼是在Ultralytics 8.0.105版本的基礎(chǔ)上修改的。在項(xiàng)目中的訓(xùn)練、測(cè)試和驗(yàn)證過(guò)程中使用的超參數(shù)保持一致。訓(xùn)練epoch被設(shè)置為300，并且輸入到網(wǎng)絡(luò)中的圖像被重新縮放到640×640。在下面列出的一些結(jié)果中，所有YOLOv8和我們提出的Drone-YOLO網(wǎng)絡(luò)都具有來(lái)自我們檢測(cè)結(jié)果。在這些落地中，這些網(wǎng)絡(luò)都沒(méi)有使用預(yù)訓(xùn)練參數(shù)。

在嵌入式應(yīng)用實(shí)驗(yàn)中，我們使用NVIDIA Tegra TX2作為實(shí)驗(yàn)環(huán)境，該環(huán)境具有256核NVIDIA Pascal架構(gòu)GPU，提供1.33 TFLOPS的峰值計(jì)算性能和8GB的內(nèi)存。軟件環(huán)境為Ubuntu 18.04 LTS操作系統(tǒng)、NVIDIA JetPack 4.4.1、CUDA 10.2和cuDNN 8.0.0。

在VisDrone2019-test測(cè)試效果

基于NVIDIA Tegra TX2的結(jié)果

Drone-YOLO實(shí)際效果

左邊是Yolov8的結(jié)果，可以看出紅色框中大部分目標(biāo)沒(méi)有檢測(cè)出來(lái)

論文地址：www.mdpi.com/2504-446X/7/8/526