FisheyeDetNet:首個(gè)基于魚眼相機(jī)的目標(biāo)檢測(cè)算法
本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
目標(biāo)檢測(cè)在自動(dòng)駕駛系統(tǒng)當(dāng)中是一個(gè)比較成熟的問(wèn)題,其中行人檢測(cè)是最早得以部署算法之一。在多數(shù)論文當(dāng)中已經(jīng)進(jìn)行了非常全面的研究。然而,利用魚眼相機(jī)進(jìn)行環(huán)視的近距離的感知相對(duì)來(lái)說(shuō)研究較少。由于徑向畸變較大,標(biāo)準(zhǔn)的邊界框表示在魚眼相機(jī)當(dāng)中很難實(shí)施。為了緩解上述提到的相關(guān)問(wèn)題,我們探索了擴(kuò)展邊界框的標(biāo)準(zhǔn)對(duì)象檢測(cè)輸出表示。我們將旋轉(zhuǎn)的邊界框、橢圓、通用多邊形設(shè)計(jì)為極坐標(biāo)弧/角度表示,并定義一個(gè)實(shí)例分割mIOU度量來(lái)分析這些表示。所提出的具有多邊形的模型FisheyeDetNet優(yōu)于其他模型,同時(shí)在用于自動(dòng)駕駛的Valeo魚眼相機(jī)數(shù)據(jù)集上實(shí)現(xiàn)了49.5%的mAP指標(biāo)。目前,這是第一個(gè)關(guān)于自動(dòng)駕駛場(chǎng)景中基于魚眼相機(jī)的目標(biāo)檢測(cè)算法研究。
文章鏈接:https://arxiv.org/pdf/2404.13443.pdf
網(wǎng)絡(luò)結(jié)構(gòu)
我們的網(wǎng)絡(luò)結(jié)構(gòu)建立在YOLOv3網(wǎng)絡(luò)模型的基礎(chǔ)上,并且對(duì)邊界框,旋轉(zhuǎn)邊界框、橢圓以及多邊形等進(jìn)行多種表示。為了使網(wǎng)絡(luò)能夠移植到低功率汽車硬件上,我們使用ResNet18作為編碼器。與標(biāo)準(zhǔn)Darknet53編碼器相比,參數(shù)減少了近60%。提出了網(wǎng)絡(luò)架構(gòu)如下圖所示。
邊界框檢測(cè)
我們的邊界框模型與 YOLOv3 相同,只是 Darknet53 編碼器被替換為 ResNet18 編碼器。與YOLOv3類似,目標(biāo)檢測(cè)是在多個(gè)尺度上執(zhí)行的。對(duì)于每個(gè)尺度中的每個(gè)網(wǎng)格,預(yù)測(cè)對(duì)象寬度()、高度()、對(duì)象中心坐標(biāo)(,)和對(duì)象類。最后,使用非最大抑制來(lái)過(guò)濾冗余檢測(cè)。
旋轉(zhuǎn)邊界框檢測(cè)
在該模型中,與常規(guī)框信息(,,,)一起回歸框的方向。方向地面實(shí)況范圍 (-180 到 +180°) 在 -1 到 +1 之間進(jìn)行歸一化。
橢圓檢測(cè)
橢圓回歸與定向框回歸相同。唯一的區(qū)別是輸出表示。因此損失函數(shù)也與定向框損失相同。
多邊形檢測(cè)
我們提出的基于多邊形的實(shí)例分割方法與PolarMask和PolyYOLO方法非常相似。而不是使用稀疏多邊形點(diǎn)和像PolyYOLO這樣的單尺度預(yù)測(cè)。我們使用密集多邊形注釋和多尺度預(yù)測(cè)。
實(shí)驗(yàn)對(duì)比
我們?cè)赩aleo魚眼數(shù)據(jù)集上評(píng)估,該數(shù)據(jù)集有 60K 圖像,這些圖像是從歐洲、北美和亞洲的 4 個(gè)環(huán)繞視圖相機(jī)捕獲的。
所有模型都使用 IoU 閾值為 50% 的平均精度度量 (mAP) 進(jìn)行比較。結(jié)果如下表所示。每個(gè)算法都基于兩個(gè)標(biāo)準(zhǔn)進(jìn)行評(píng)估—相同表示和實(shí)例分割的性能。