本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

目標(biāo)檢測(cè)在自動(dòng)駕駛系統(tǒng)當(dāng)中是一個(gè)比較成熟的問(wèn)題，其中行人檢測(cè)是最早得以部署算法之一。在多數(shù)論文當(dāng)中已經(jīng)進(jìn)行了非常全面的研究。然而，利用魚眼相機(jī)進(jìn)行環(huán)視的近距離的感知相對(duì)來(lái)說(shuō)研究較少。由于徑向畸變較大，標(biāo)準(zhǔn)的邊界框表示在魚眼相機(jī)當(dāng)中很難實(shí)施。為了緩解上述提到的相關(guān)問(wèn)題，我們探索了擴(kuò)展邊界框的標(biāo)準(zhǔn)對(duì)象檢測(cè)輸出表示。我們將旋轉(zhuǎn)的邊界框、橢圓、通用多邊形設(shè)計(jì)為極坐標(biāo)弧/角度表示，并定義一個(gè)實(shí)例分割mIOU度量來(lái)分析這些表示。所提出的具有多邊形的模型FisheyeDetNet優(yōu)于其他模型，同時(shí)在用于自動(dòng)駕駛的Valeo魚眼相機(jī)數(shù)據(jù)集上實(shí)現(xiàn)了49.5%的mAP指標(biāo)。目前，這是第一個(gè)關(guān)于自動(dòng)駕駛場(chǎng)景中基于魚眼相機(jī)的目標(biāo)檢測(cè)算法研究。

文章鏈接：https://arxiv.org/pdf/2404.13443.pdf

網(wǎng)絡(luò)結(jié)構(gòu)

我們的網(wǎng)絡(luò)結(jié)構(gòu)建立在YOLOv3網(wǎng)絡(luò)模型的基礎(chǔ)上，并且對(duì)邊界框，旋轉(zhuǎn)邊界框、橢圓以及多邊形等進(jìn)行多種表示。為了使網(wǎng)絡(luò)能夠移植到低功率汽車硬件上，我們使用ResNet18作為編碼器。與標(biāo)準(zhǔn)Darknet53編碼器相比，參數(shù)減少了近60%。提出了網(wǎng)絡(luò)架構(gòu)如下圖所示。

邊界框檢測(cè)

我們的邊界框模型與 YOLOv3 相同，只是 Darknet53 編碼器被替換為 ResNet18 編碼器。與YOLOv3類似，目標(biāo)檢測(cè)是在多個(gè)尺度上執(zhí)行的。對(duì)于每個(gè)尺度中的每個(gè)網(wǎng)格，預(yù)測(cè)對(duì)象寬度()、高度()、對(duì)象中心坐標(biāo)(，)和對(duì)象類。最后，使用非最大抑制來(lái)過(guò)濾冗余檢測(cè)。

旋轉(zhuǎn)邊界框檢測(cè)

在該模型中，與常規(guī)框信息(，，，)一起回歸框的方向。方向地面實(shí)況范圍 (-180 到 +180°) 在 -1 到 +1 之間進(jìn)行歸一化。

橢圓檢測(cè)

橢圓回歸與定向框回歸相同。唯一的區(qū)別是輸出表示。因此損失函數(shù)也與定向框損失相同。

多邊形檢測(cè)

我們提出的基于多邊形的實(shí)例分割方法與PolarMask和PolyYOLO方法非常相似。而不是使用稀疏多邊形點(diǎn)和像PolyYOLO這樣的單尺度預(yù)測(cè)。我們使用密集多邊形注釋和多尺度預(yù)測(cè)。

實(shí)驗(yàn)對(duì)比

我們?cè)赩aleo魚眼數(shù)據(jù)集上評(píng)估，該數(shù)據(jù)集有 60K 圖像，這些圖像是從歐洲、北美和亞洲的 4 個(gè)環(huán)繞視圖相機(jī)捕獲的。

所有模型都使用 IoU 閾值為 50% 的平均精度度量 (mAP) 進(jìn)行比較。結(jié)果如下表所示。每個(gè)算法都基于兩個(gè)標(biāo)準(zhǔn)進(jìn)行評(píng)估—相同表示和實(shí)例分割的性能。