一夜之間，機(jī)器夜間識(shí)別的難題就被攻克了！

一篇AI與熱物理學(xué)結(jié)合幫助機(jī)器在夜間成像的文章登上了Nature的封面。

文章的一作是畢業(yè)于浙江大學(xué)的Fanglin Bao，現(xiàn)在為普度大學(xué)研究員。

作者甚至認(rèn)為，這項(xiàng)技術(shù)能夠加速第四次工業(yè)革命的進(jìn)程！

這項(xiàng)名為HADAR的技術(shù)，由來(lái)自普度大學(xué)和密歇根州立大學(xué)的研究人員研發(fā)而出。

讓機(jī)器能像白天一樣識(shí)別周?chē)沫h(huán)境，完成測(cè)距等一系列任務(wù)，對(duì)于自動(dòng)駕駛等行業(yè)來(lái)說(shuō)是革命性的突破。

長(zhǎng)久以來(lái)，機(jī)器夜視很難做到像日天那樣清晰。

對(duì)于夜間機(jī)器感知問(wèn)題的處理，最先進(jìn)的辦法是利用熱成像技術(shù)來(lái)重現(xiàn)環(huán)境。

但是夜視攝像機(jī)成像一般是單色的，而使用熱成像技術(shù)拍攝，則會(huì)因?yàn)椴蹲降教嗖槐匾臒嵝盘?hào)，導(dǎo)致成像時(shí)出現(xiàn)許多「噪音」，導(dǎo)致物體「重影」。

具體來(lái)說(shuō)，因?yàn)槲矬w和環(huán)境不斷發(fā)射和散射熱輻射，場(chǎng)景的物理屬性，即溫度（T，物理狀態(tài)）、發(fā)射率（e，材料指紋）和紋理（X，表面幾何形狀）混合在光子流中而無(wú)法被清晰的識(shí)別。

這就是熱成像結(jié)果中缺乏紋理相關(guān)的重影效應(yīng)「Ghost Effect」的來(lái)源。

以一個(gè)燈泡為例，人眼只有當(dāng)燈泡關(guān)閉時(shí)才能看到燈泡表面的幾何紋理。

因?yàn)楫?dāng)燈泡打開(kāi)時(shí)，反射所呈現(xiàn)的紋理在直接發(fā)射的光線(xiàn)中會(huì)完全消失，這是我們?nèi)粘＝?jīng)驗(yàn)中熟悉的場(chǎng)景。

TeX技術(shù)解決重影效應(yīng)

研究團(tuán)隊(duì)首先提出了一種被稱(chēng)為「TeX分解」和「TeX視覺(jué)」的基礎(chǔ)技術(shù)來(lái)解決重影效應(yīng)。

該方法能有效地從雜亂的熱信號(hào)中恢復(fù)紋理。

再訓(xùn)練算法來(lái)識(shí)別已知材料（如玻璃、木材或織物）的獨(dú)特發(fā)射光譜。

通過(guò)識(shí)別場(chǎng)景中的這些已知特征，該算法可以表征它觀(guān)察到的對(duì)象。

然后，剩下的任務(wù)就是處理環(huán)境信號(hào)和「噪音」，不讓它們從目標(biāo)物體上反射并進(jìn)入相機(jī)。

再通過(guò)逆向工程來(lái)評(píng)估噪聲信號(hào)如何反射和散射，這個(gè)算法就可以填充有關(guān)每個(gè)對(duì)象紋理的信息，從而為圖像提供更高水平的細(xì)節(jié)。

具體的過(guò)程如下圖所示。

完成的效果和現(xiàn)有的熱能視覺(jué)解決方案一對(duì)比，不知道高到哪里去了。

HADAR系統(tǒng)

在TeX技術(shù)的基礎(chǔ)上，研究人員進(jìn)一步研發(fā)出了熱輔助檢測(cè)和測(cè)距（HADAR）技術(shù)，基本上攻克了機(jī)器夜間識(shí)別的問(wèn)題。

簡(jiǎn)單來(lái)說(shuō)，TeX技術(shù)主要是解決成像的問(wèn)題，而HADAR是一個(gè)識(shí)別系統(tǒng)，在TeX優(yōu)秀成像的基礎(chǔ)上更精確地完成復(fù)雜的識(shí)別，測(cè)距等任務(wù)。

HADAR是一種機(jī)器感知范式的徹底轉(zhuǎn)變， 它與之前的主動(dòng)發(fā)出雷達(dá)、激光的成像手段不同。

它不主動(dòng)發(fā)出任何信號(hào)，只接受來(lái)自環(huán)境中的熱信號(hào)。

大氣透射窗口（Atmospherical transmittance window）和場(chǎng)景溫度決定了HADAR的工作波長(zhǎng)。

研究人員表示，HADAR可能代表了未來(lái)機(jī)器視覺(jué)技術(shù)的重要方向和特征。

因?yàn)殡S著自動(dòng)駕駛、無(wú)人機(jī)之類(lèi)技術(shù)的發(fā)展，來(lái)自不同機(jī)器的信號(hào)可能會(huì)越來(lái)越多地相互干擾，而HADAR能夠非常好地解決這些問(wèn)題。

此外，HADAR將熱光子流作為輸入，記錄高光譜熱立方體圖像，通過(guò)TeX分解處理重影，并生成TeX視覺(jué)以實(shí)現(xiàn)改進(jìn)的檢測(cè)和測(cè)距。

研究團(tuán)隊(duì)也在論文中分享了他們搭建的兩個(gè)原型系統(tǒng)作為實(shí)例：

第一個(gè)原型系統(tǒng)

低端HADAR原型基于商用FLIR熱成像相機(jī)，并配備了定制設(shè)計(jì)的光譜模塊（見(jiàn)下圖）。

他們?cè)谝雇淼膽?hù)外場(chǎng)景中放置了一輛汽車(chē)、一個(gè)人和一個(gè)愛(ài)因斯坦剪影（模擬一個(gè)幾何形狀的人），來(lái)說(shuō)明HADAR如何解決幻影制動(dòng)問(wèn)題。

上圖顯示，RGB光學(xué)成像（a）和稀疏的LiDAR點(diǎn)云（c；Velodyne Puck VLP-16）都無(wú)法區(qū)分真實(shí)尺寸的愛(ài)因斯坦卡板。

此外，由于汽車(chē)反射率低，LiDAR難以檢測(cè)黑色汽車(chē)，而光學(xué)相機(jī)在黑暗中無(wú)法看到物體。

HADAR在相應(yīng)的材料區(qū)域（皮膚-織物）檢測(cè)到人體，并清楚地將其與紙板區(qū)分開(kāi)來(lái)，克服了幻影制動(dòng)問(wèn)題。

更多關(guān)于HADAR檢測(cè)和語(yǔ)義的詳細(xì)信息，見(jiàn)下圖。

HADAR利用物理背景進(jìn)行真實(shí)世界感知的優(yōu)勢(shì)將在自主導(dǎo)航和野生動(dòng)物監(jiān)測(cè)中得到充分利用。

因?yàn)槌艘曈X(jué)外，還需要識(shí)別多種物理屬性，以確保安全性或者用于科學(xué)研究的有效性。

第二個(gè)原型系統(tǒng)

研究人員的高端應(yīng)用HADAR原型基于一臺(tái)推掃式高光譜成像儀。

他們使用越野場(chǎng)景來(lái)展示TeX視覺(jué)如何通過(guò)物理背景看到紋理，并且HADAR在夜晚的測(cè)距性能優(yōu)于熱測(cè)距技術(shù)，其準(zhǔn)確度可與白天的RGB立體視覺(jué)相媲美。

下圖展示了在夜晚的真實(shí)TeX視覺(jué)，包括材料識(shí)別和紋理恢復(fù)。

下圖顯示了夜晚TeX視覺(jué)、夜晚熱視覺(jué)和白天RGB視覺(jué)的立體視覺(jué)度量統(tǒng)計(jì)。

下圖b中基于RGB深度度量標(biāo)準(zhǔn)化的度量比較清楚地表明，HADAR夜晚測(cè)距技術(shù)優(yōu)于熱測(cè)距技術(shù)，并與白天RGB立體視覺(jué)相匹配，可簡(jiǎn)寫(xiě)為「TeX_night > RGB_day > IR_night」。

有關(guān)通用HADAR測(cè)距技術(shù)，見(jiàn)下圖。

而業(yè)界對(duì)這個(gè)研究持非常樂(lè)觀(guān)的態(tài)度：

HADAR能夠確定場(chǎng)景中物體的組成，如果它能與傳統(tǒng)成像技術(shù)結(jié)合，那么，不論白天黑夜，它都可以為我們提供更多關(guān)于場(chǎng)景的獨(dú)特信息。

但要指出的是，這個(gè)研究目前僅在靜止的圖像上進(jìn)行，需要進(jìn)一步提升收集測(cè)量值速度，以及處理運(yùn)動(dòng)模糊問(wèn)題。

想要將這個(gè)研究應(yīng)用在現(xiàn)實(shí)中，還有很多挑戰(zhàn)。

華人作者介紹

Fanglin Bao

Fanglin Bao博士2011年6月在浙江大學(xué)獲得物理學(xué)學(xué)士學(xué)位，并于2016年6月在浙江大學(xué)獲得光學(xué)博士學(xué)位。目前研究的是張量網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)及其在量子物理中的應(yīng)用。

Xueji Wang

Xueji Wang 就讀于美國(guó)普渡大學(xué)電氣與計(jì)算機(jī)工程學(xué)院，研究方向?yàn)闊彷椛?、光偏振表面態(tài)等，并在CLEO會(huì)議上發(fā)表了兩篇文章。

Liping Yang

Liping Yang是地理信息科學(xué)（GIScience）和地理空間人工智能（GeoAI）助理教授?，F(xiàn)專(zhuān)注于技術(shù)圖表圖像分析的計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)算法開(kāi)發(fā)。