人工智能陰影檢測(cè)與去除,實(shí)現(xiàn)一種基于反射的陰影檢測(cè)與去除方法摘要:陰影是圖像的常見(jiàn)方面,當(dāng)未被發(fā)現(xiàn)時(shí)會(huì)影響場(chǎng)景理解和視覺(jué)處理。 我們提出了一種基于反射率的簡(jiǎn)單而有效的方法來(lái)檢測(cè)單個(gè)圖像的陰影。 首先對(duì)圖像進(jìn)行分割,并且基于反射率,照明和紋理特征,將片段對(duì)識(shí)別為陰影對(duì)和非陰影對(duì)。 所提出的方法在兩個(gè)公開(kāi)可用且廣泛使用的數(shù)據(jù)集上進(jìn)行測(cè)試。 盡管需要較少的參數(shù),但與先前報(bào)道的方法相比,我們的方法在檢測(cè)陰影方面實(shí)現(xiàn)更高 我們還通過(guò)重新點(diǎn)亮檢測(cè)到的陰影區(qū)域中的像素來(lái)顯示無(wú)陰影圖像的結(jié)果。
人工智能陰影檢測(cè)與去除,實(shí)現(xiàn)一種基于反射的陰影檢測(cè)與去除方法簡(jiǎn)介:陰影無(wú)處不在。當(dāng)光被物體部分或完全遮擋時(shí)形成它們。陰影提供有關(guān)圖像中的光照方向[1],場(chǎng)景幾何和場(chǎng)景理解[2]的信息,對(duì)于跟蹤視頻中的對(duì)象[3]至關(guān)重要。它們也是航拍圖像的組成部分[4]。但是,陰影也會(huì)使對(duì)象檢測(cè),特征提取和場(chǎng)景解析等任務(wù)變得復(fù)雜[5]。
已經(jīng)提出了許多方法來(lái)檢測(cè)圖像和視頻中的陰影。在本文中,我們專(zhuān)注于檢測(cè)彩色圖像的陰影。隨著最近數(shù)據(jù)驅(qū)動(dòng)方法的蓬勃發(fā)展,基于機(jī)器學(xué)習(xí)的方法已應(yīng)用于檢測(cè)陰影。在[5]中,由2490個(gè)參數(shù)組成的條件隨機(jī)場(chǎng)用于檢測(cè)灰度圖像中的陰影,使用強(qiáng)度,偏度,紋理,梯度相似性等特征。在[7]中,使用由1000個(gè)參數(shù)組成的卷積神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)陰影。在[6]中,邊緣周?chē)膹?qiáng)度信息用于檢測(cè)陰影邊界。在[8]中,首先對(duì)圖像進(jìn)行分割,并且通過(guò)將不同的片段彼此進(jìn)行比較,使用各種分類(lèi)器來(lái)檢測(cè)顏色和紋理相似的區(qū)域。
人工智能陰影檢測(cè)與去除,實(shí)現(xiàn)一種基于反射的陰影檢測(cè)與去除方法貢獻(xiàn):在本文中,我們提出了一種基于非訓(xùn)練的陰影檢測(cè)方法,該方法需要較少的參數(shù)與以前的方法相比,實(shí)現(xiàn)了高精度[8],[5],[7]。我們?cè)谟糜诒容^區(qū)域的特征和分類(lèi)器以及使用這些比較來(lái)獲得陰影掩模的方法中與[8]不同。每個(gè)表面都有兩個(gè)特征:反射率和紋理。當(dāng)在表面上投射陰影時(shí),其照度降低,但其反射率保持不變。由于照度的降低,紋理信息也會(huì)有一些損失。通過(guò)檢查表面,很難判斷是否由于陰影或陰影的影響而變暗。圖1給出了一個(gè)例子。通過(guò)相互比較表面,我們可以更自信地檢測(cè)陰影。因此,通過(guò)基于圖像的反射率,紋理和照明特性配對(duì)圖像的不同區(qū)域,我們可以有效地檢測(cè)陰影。
人工智能陰影檢測(cè)與去除,實(shí)現(xiàn)一種基于反射的陰影檢測(cè)與去除方法陰影檢測(cè):我們的目標(biāo)是根據(jù)圖像的反射率,紋理和照明特性對(duì)圖像的不同區(qū)域進(jìn)行分組。為了將具有相似屬性的像素分組到不同的區(qū)域,我們首先使用高斯內(nèi)核大小為9的Quickshift方法[11]對(duì)圖像進(jìn)行分割。我們的假設(shè)是單個(gè)分段應(yīng)包含具有相似反射率和光照的像素。分割結(jié)果的一個(gè)例子如圖2所示。在下面的小節(jié)中,我們將解釋如何設(shè)計(jì)反射率,紋理和照明分類(lèi)器,將每個(gè)分段標(biāo)記為陰影或非陰影。
亮度分類(lèi)器:當(dāng)直射光被部分或完全遮擋時(shí)形成陰影,因此具有較低的照度。照度的降低取決于Ld和Le的相對(duì)強(qiáng)度。照明強(qiáng)度的大幅下降使陰影變暗。為了構(gòu)建有效的亮度分類(lèi)器,我們需要能夠檢測(cè)到照明的減少并且能夠?qū)⒃摐p少歸因于光的阻礙而不是由于一些噪聲。為了對(duì)此進(jìn)行建模,我們將查看LAB顏色空間中所有像素的亮度值。我們計(jì)算LAB空間中所有段的中值亮度,并計(jì)算中值亮度值的直方圖。直方圖的峰值給出了圖像中不同照明區(qū)域的數(shù)量的估計(jì)。
然后,我們通過(guò)基于它們與峰的接近度對(duì)分段進(jìn)行分組,將圖像分割成區(qū)域。不比較相同區(qū)域內(nèi)的區(qū)段,因?yàn)樗鼈兙哂邢嗨频恼彰鲝?qiáng)度,而來(lái)自不同組的區(qū)段被允許用于比較以檢測(cè)陰影。此步驟很有用,因?yàn)樗梢宰赃m應(yīng)地將片段分組到具有相似照明的區(qū)域。圖中顯示了根據(jù)亮度將分段分組到區(qū)域的示例
除了分組標(biāo)準(zhǔn)之外,對(duì)于兩個(gè)片段是陰影非陰影對(duì),它們?cè)贚AB空間中的中值亮度T的比率必須高于1.2的閾值,以避免比較具有相似照明的片段。 T可以是1到1之間的任何值,并且越接近1,兩個(gè)分段的照明強(qiáng)度越接近。與具有相似照明強(qiáng)度的片段相比,陰影非陰影對(duì)將具有高的T值。
紋理分類(lèi)器:由于陰影和相應(yīng)的非陰影段具有相同的材質(zhì),因此它們的紋理特征將是相似的。然而,由于陰影段的照明強(qiáng)度降低,一些紋理信息丟失。為了捕捉這種現(xiàn)象,我們?cè)诒容^它們之間尋找紋理相似性,條件是它們的T不是很高,因?yàn)槿绻母吆芏嗉y理信息就會(huì)丟失。我們計(jì)算兩個(gè)片段的紋理貼圖[12]的直方圖之間的地球移動(dòng)距離,并對(duì)其進(jìn)行閾值以找出兩個(gè)片段是否具有相似的紋理。然而,如果T大于2.4,我們不會(huì)將它們與紋理相似性進(jìn)行比較,因?yàn)橛捎谡彰鞯臏p少,許多紋理信息在陰影區(qū)段中丟失。
實(shí)現(xiàn):在本小節(jié)中,我們將描述如何使用上述三個(gè)分類(lèi)器來(lái)檢測(cè)陰影非陰影段對(duì)。使用上面討論的反射率,紋理和亮度分類(lèi)器將每個(gè)片段與其相鄰片段進(jìn)行比較。如果所有分類(lèi)器將該對(duì)標(biāo)記為陰影非陰影對(duì),則存儲(chǔ)該連接。我們使用這些連接來(lái)連接更多段。對(duì)于每個(gè)陰影非陰影對(duì),我們采用陰影片段的所有非分類(lèi)鄰居,并使用上述分類(lèi)器將它們與非陰影片段進(jìn)行比較。我們重復(fù)這個(gè)過(guò)程的鄰居,它們也是影子片段。在第一次迭代中將不會(huì)檢測(cè)到這樣的段。為了將它們連接到已經(jīng)標(biāo)記的陰影段,我們使用從初始連接獲得的信息重復(fù)該過(guò)程。該過(guò)程如圖5所示。