目標(biāo)檢測領(lǐng)域，迎來了新進(jìn)展——

Grounding DINO 1.5，IDEA研究院團(tuán)隊(duì)出品，在端側(cè)就可實(shí)現(xiàn)實(shí)時(shí)識(shí)別。

這一進(jìn)展獲得AI大佬沈向洋轉(zhuǎn)發(fā)，他一般都是一年一轉(zhuǎn)的節(jié)奏。

此次發(fā)布主要有兩個(gè)版本：Pro和Edge。Pro版更強(qiáng)，Edge版更快。

它仍然保留了上一個(gè)版本Grounding DINO雙編碼器-單解碼器結(jié)構(gòu)，在此基礎(chǔ)上通過結(jié)合更大的視覺 backbone 擴(kuò)大模型尺寸，并使用超過2000萬的Grounding 數(shù)據(jù)獲得了豐富的語料，大幅提升了檢測精度和速度，且通過Pro和Edge版本分別針對不同應(yīng)用場景進(jìn)行了優(yōu)化。

Pro版本在大規(guī)模數(shù)據(jù)集構(gòu)建和高精度需求場景中表現(xiàn)卓越，而Edge版本則在端側(cè)部署中展示了其獨(dú)特的優(yōu)勢。

這就來分別看一看。

Pro版目標(biāo)檢測新SOTA

Grounding DINO 1.5 Pro版本實(shí)現(xiàn)了當(dāng)前開集目標(biāo)檢測SOTA水平，在圖像和文本的語義理解上表現(xiàn)出色，能夠快速、準(zhǔn)確地根據(jù)語言提示檢測和識(shí)別圖像中的目標(biāo)對象。

△在COCO、LVIS、ODinW35和ODinW13基準(zhǔn)測試中的零樣本遷移性能對比

物體級別理解是機(jī)器和物理世界交互的感知基礎(chǔ)，也是解決多模態(tài)大模型（VLM）幻覺問題繞不過去的基礎(chǔ)問題。

作為當(dāng)前性能最好的開集檢測模型，Grounding DINO 1.5 Pro 可以幫助構(gòu)建海量的具有物體級別語義信息的多模態(tài)數(shù)據(jù)，從而有效地助力多模態(tài)大模型的訓(xùn)練。

它可以將長文本描述中的短語與圖像中的具體對象或場景精確匹配，以增強(qiáng)AI對視覺內(nèi)容和文本之間關(guān)系的理解

另外，在其他需要處理大量復(fù)雜數(shù)據(jù)的領(lǐng)域，如電商、社交媒體和自動(dòng)駕駛等，Grounding DINO 1.5 Pro 也具有強(qiáng)大應(yīng)用價(jià)值。

例如，在電商領(lǐng)域，該模型可以幫助快速標(biāo)注商品圖像，優(yōu)化搜索和推薦系統(tǒng)。在社交媒體中，該模型能自動(dòng)標(biāo)注用戶上傳的圖片，提升內(nèi)容審核和分類的效率。

支持行業(yè)數(shù)據(jù)微調(diào)

除此之外，Pro版還支持通過行業(yè)數(shù)據(jù)進(jìn)行微調(diào)（fine tuning），以滿足各行業(yè)的特定需求，從而達(dá)到更加精準(zhǔn)的識(shí)別效果。

為了驗(yàn)證微調(diào)帶來的提升，CVR團(tuán)隊(duì)在視覺領(lǐng)域通用的LVIS等公開數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn)。

從最后兩行可看出，Grounding DINO 1.5 Pro經(jīng)過微調(diào)，在多個(gè)數(shù)據(jù)集上都展現(xiàn)出大幅的性能提升。

而在多個(gè)實(shí)際場景，也十分適配。

像在醫(yī)療領(lǐng)域，通過微調(diào)后的Grounding DINO 1.5 Pro可以更準(zhǔn)確地識(shí)別醫(yī)療影像中的病灶，輔助醫(yī)生進(jìn)行診斷，提高診療效率。

在零售行業(yè)，微調(diào)后的模型能更精準(zhǔn)地識(shí)別和分類商品，有助于庫存管理和銷售分析。

Edge版端側(cè)可部署

在端側(cè)部署方面，Grounding DINO 1.5 Edge版本通過模型結(jié)構(gòu)優(yōu)化，成功部署在NVIDIA Orin NX卡上，并實(shí)現(xiàn)了10FPS的推理速度。

再者，它可以讓機(jī)器人和開放環(huán)境進(jìn)行交互。

在自動(dòng)駕駛領(lǐng)域，Grounding DINO 1.5 Edge未來可以在車輛上實(shí)時(shí)運(yùn)行，實(shí)現(xiàn)高效的目標(biāo)檢測和環(huán)境感知，提高駕駛安全性。在智能安防中，該模型能快速處理視頻監(jiān)控?cái)?shù)據(jù)，實(shí)時(shí)檢測異常行為，提升安全監(jiān)控的響應(yīng)速度。

未來，Grounding DINO 1.5 Edge的運(yùn)行速度有望提升至20到30FPS，進(jìn)一步擴(kuò)大其在邊緣計(jì)算領(lǐng)域的應(yīng)用范圍。

論文鏈接：
https://arxiv.org/abs/2405.10300
項(xiàng)目試玩鏈接：
https://deepdataspace.com/playground/grounding_dino