打開(kāi)手機(jī)進(jìn)行人臉解鎖；VR、AR 技術(shù)帶來(lái)如此虛擬卻真實(shí)的場(chǎng)景……3D 視覺(jué)幾乎無(wú)所不能，在智能家居、智能安防、汽車電子、工業(yè)測(cè)量、新零售、智能物流等領(lǐng)域發(fā)揮重要作用，堪稱賦能產(chǎn)業(yè)創(chuàng)新的最大推力。這些技術(shù)的背后涉及了 3D 視覺(jué)相關(guān)內(nèi)容，那么計(jì)算機(jī)是如何「看」這個(gè)三維世界的？

隨著信息技術(shù)的快速發(fā)展，計(jì)算機(jī)視覺(jué) 3D 技術(shù)已經(jīng)應(yīng)用到了諸多領(lǐng)域，推動(dòng)了虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）等技術(shù)的不斷進(jìn)步。3D 視覺(jué)問(wèn)題變得越來(lái)越重要，它提供了比 2D 更加豐富的圖像信息。

現(xiàn)如今，隨處可見(jiàn) 3D 視覺(jué)技術(shù)帶來(lái)的便利，工業(yè)機(jī)器人、工件識(shí)別與定位、3D 成像技術(shù)、產(chǎn)品虛擬設(shè)計(jì)、智能制造、自動(dòng)駕駛、SLAM、無(wú)人機(jī)、3D 重建、人臉識(shí)別等等，都涉及到 3D 視覺(jué)相關(guān)內(nèi)容。

3D 視覺(jué)應(yīng)用舉例，圖源：https://zhuanlan.zhihu.com/p/52049458

總結(jié)來(lái)說(shuō)，3D 視覺(jué)是計(jì)算機(jī)視覺(jué)與計(jì)算機(jī)圖形學(xué)高度交叉的一個(gè)重要研究方向。由于三維傳感技術(shù)的飛速發(fā)展和三維幾何數(shù)據(jù)的爆炸式增長(zhǎng)，3D 視覺(jué)研究突破傳統(tǒng)的二維圖像空間，實(shí)現(xiàn)三維空間的分析、理解和交互。

我們生活在三維空間中，如何智能地感知和探索外部環(huán)境一直是個(gè)熱點(diǎn)課題。2D 視覺(jué)技術(shù)借助強(qiáng)大的計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)算法取得了超越人類認(rèn)知的成就，而 3D 視覺(jué)則因?yàn)樗惴ń：铜h(huán)境依賴等問(wèn)題，一直處于正在研究的前沿，而三維信息才真正能夠反映物體和環(huán)境的狀態(tài)，也更接近人類的感知模式。

隨著技術(shù)的不斷進(jìn)步，三維視覺(jué)領(lǐng)域也取得了快速進(jìn)步，例如 3D+AI 識(shí)別功能，掃描人臉三維結(jié)構(gòu)完成手機(jī)解鎖；自動(dòng)駕駛領(lǐng)域通過(guò)分析 3D 人臉信息，判斷司機(jī)駕駛時(shí)的情緒狀態(tài)；SLAM 通過(guò)重建周邊環(huán)境，完成建圖與感知；AR 領(lǐng)域通過(guò)三維重建技術(shù)完成目標(biāo)的重現(xiàn)等。那么如此實(shí)用的技術(shù)，是怎樣實(shí)現(xiàn)的呢？

在深入了解之前，讓我們先來(lái)了解一下 3D 視覺(jué)技術(shù)的一些基礎(chǔ)知識(shí)。

3D 圖像介紹

在進(jìn)行 3D 圖像介紹之前，首先簡(jiǎn)單回顧一下 2D 圖像。我們?nèi)粘Ｉ钪兴?jiàn)的圖像可以稱為物理圖像，這種圖像不能直接被計(jì)算機(jī)識(shí)別，需要轉(zhuǎn)換成數(shù)字格式，即數(shù)字圖像。數(shù)字圖像是二維圖像有限數(shù)字?jǐn)?shù)值像素的表示。由數(shù)組或矩陣表示，其光照位置和強(qiáng)度都是離散的。其有兩種存儲(chǔ)方式：位圖存儲(chǔ)和矢量存儲(chǔ)，常見(jiàn)的存儲(chǔ)格式包括 PNG、GIF、JPEG、BMP 等。

2D 圖像可分為二值圖像、彩色圖像等。其中二值圖像中每個(gè)像素可以由 0(黑) 到 255(白) 的亮度值表示。0-255 之間表示不同的灰度級(jí)。而彩色圖像是由三種不同顏色的灰度圖像組合而成，一個(gè)為紅色分量（R），一個(gè)為綠色分量（G），一個(gè)為藍(lán)色分量（B）。

圖像彩色顯示法，RGB 圖像三個(gè)分量，圖源：https://blog.csdn.net/Hello_Chan/article/details/89094790

與二維圖像類似，三維圖像是在二維彩色圖像的基礎(chǔ)上又多了一個(gè)維度，即深度（Depth，D），可用一個(gè)很直觀的公式表示為：三維圖像 = 普通的 RGB 三通道彩色圖像 + Depth Map。

RGB-D

RGB-D 是廣泛使用的 3D 格式，其圖像每個(gè)像素都有四個(gè)屬性：即紅（R）、綠（G）、藍(lán)（B）和深度（D）。

深度圖是三維圖像特有的，是指存儲(chǔ)每個(gè)像素所用的位數(shù)，也用于度量圖像的色彩分辨率。確定彩色圖像每個(gè)像素可能有的顏色數(shù)，或者確定灰度圖像每個(gè)像素可能有的灰度級(jí)數(shù)。它決定了彩色圖像中可出現(xiàn)的最多顏色數(shù)，或灰度圖像中的最大灰度等級(jí)。其數(shù)值是規(guī)整的，適合直接用于現(xiàn)存的圖像處理框架。

關(guān)于深度圖的解釋，例如，一幅彩色圖像的每個(gè)像素用 R、G、B 三個(gè)分量表示，若每個(gè)分量用 8 位，那么一個(gè)像素共用 24 位表示，那么像素的深度為 24，則每個(gè)像素可以是 16777216(224) 種顏色中的一種。因此，可以把像素深度理解成是深度圖像距離值。表示一個(gè)像素的位數(shù)越多，它能表達(dá)的顏色數(shù)目就越多，而它的深度就越深。

RGB-D 圖像格式，圖源：https://www.sohu.com/a/249567571_114877

在一般的基于像素的圖像中，我們可以通過(guò)（x，y）坐標(biāo)定位任何像素，分別獲得三種顏色屬性（R，G，B）。而在 RGB-D 圖像中，每個(gè)（x，y）坐標(biāo)將對(duì)應(yīng)于四個(gè)屬性（深度 D，R，G，B）。

點(diǎn)云

我們?cè)谧?3D 視覺(jué)的時(shí)候，處理的主要是點(diǎn)云，點(diǎn)云就是一些點(diǎn)的集合。相對(duì)于圖像，點(diǎn)云有其不可替代的優(yōu)勢(shì)——深度，也就是說(shuō)三維點(diǎn)云直接提供了三維空間的數(shù)據(jù)，而圖像則需要通過(guò)透視幾何來(lái)反推三維數(shù)據(jù)。

何為點(diǎn)云？其實(shí)點(diǎn)云是某個(gè)坐標(biāo)系下的點(diǎn)的數(shù)據(jù)集。點(diǎn)包含了豐富的信息，包括三維坐標(biāo) X，Y，Z、顏色、分類值、強(qiáng)度值、時(shí)間等等。點(diǎn)云在組成特點(diǎn)上分為兩種，一種是有序點(diǎn)云，一種是無(wú)序點(diǎn)云。

點(diǎn)云示例，圖源：https://www.jianshu.com/p/ffedad5e8e30

點(diǎn)云的獲取：點(diǎn)云不是通過(guò)普通的相機(jī)拍攝得到的，一般是通過(guò)三維成像傳感器獲得，比如雙目相機(jī)、三維掃描儀、RGB-D 相機(jī)等。目前主流的 RGB-D 相機(jī)有微軟的 Kinect 系列、Intel 的 realsense 系列、structure sensor（需結(jié)合 iPad 使用）等。點(diǎn)云可通過(guò)掃描的 RGB-D 圖像，以及掃描相機(jī)的內(nèi)在參數(shù)創(chuàng)建點(diǎn)云，方法是通過(guò)相機(jī)校準(zhǔn)，使用相機(jī)內(nèi)在參數(shù)計(jì)算真實(shí)世界的點(diǎn)（x，y）。因此，RGB-D 圖像是網(wǎng)格對(duì)齊的圖像，而點(diǎn)云則是更稀疏的結(jié)構(gòu)。此外，獲得點(diǎn)云的較好方法還包括 LiDAR 激光探測(cè)與測(cè)量，主要通過(guò)星載、機(jī)載和地面三種方式獲取。

點(diǎn)云的內(nèi)容：根據(jù)激光測(cè)量原理得到的點(diǎn)云，包括三維坐標(biāo)（XYZ）和激光反射強(qiáng)度（Intensity），強(qiáng)度信息與目標(biāo)的表面材質(zhì)、粗糙度、入射角方向以及儀器的發(fā)射能量、激光波長(zhǎng)有關(guān)。根據(jù)攝影測(cè)量原理得到的點(diǎn)云，包括三維坐標(biāo)（XYZ）和顏色信息（RGB）。結(jié)合激光測(cè)量和攝影測(cè)量原理得到點(diǎn)云，包括三維坐標(biāo)（XYZ）、激光反射強(qiáng)度（Intensity）和顏色信息（RGB）。

點(diǎn)云的屬性：空間分辨率、點(diǎn)位精度、表面法向量等。

雖然 RGB-D 相機(jī)應(yīng)用廣泛，但會(huì)受到很多硬件的限制，目前深度相機(jī)輸出的深度圖存在很多問(wèn)題，比如對(duì)于光滑物體表面反射、透明物體、半透明物體、深色物體等都會(huì)造成深度圖缺失。而且很多深度相機(jī)是大片的深度值缺失，后續(xù)還需要進(jìn)一步的深度圖補(bǔ)全操作。

圖源：https://www.cnblogs.com/CV-life/p/10105480.html

上圖為拍攝的室外一個(gè)街道的點(diǎn)云圖，如果仔細(xì)觀察，能看清建筑物、樹木的輪廓等。就上圖而言，點(diǎn)云的優(yōu)點(diǎn)可以歸為以下幾點(diǎn)：首先，點(diǎn)云可以表達(dá)物體的空間輪廓和具體位置，我們能看到街道、房屋的形狀，物體距離攝像機(jī)的距離也是可知的；其次，點(diǎn)云本身和視角無(wú)關(guān)，可以任意旋轉(zhuǎn)，從不同角度和方向觀察一個(gè)點(diǎn)云，而且不同的點(diǎn)云只要在同一個(gè)坐標(biāo)系下就可以直接融合。

接下來(lái)，放大點(diǎn)云，如下圖所示，如果將點(diǎn)云放大，最后看到的就是一個(gè)個(gè)離散的點(diǎn)。也就是空間中成千上萬(wàn)的點(diǎn)組成了一個(gè)點(diǎn)的集合，這個(gè)點(diǎn)集合構(gòu)成了上面的街道房屋等。

點(diǎn)云放大圖，圖源：https://www.cnblogs.com/CV-life/p/10105480.html

從放大的點(diǎn)云圖側(cè)面反映了點(diǎn)云的缺點(diǎn)，可歸結(jié)為以下幾點(diǎn)：三維點(diǎn)云比圖像多了一個(gè)維度，即深度；點(diǎn)云是不規(guī)則分布的，相比于圖像式的規(guī)整網(wǎng)格更難處理；點(diǎn)云缺少了圖像中的紋理，而是一個(gè)個(gè)孤立的點(diǎn)，會(huì)丟失很多信息。除此以外，點(diǎn)云是分布在空間中（XYZ 點(diǎn)）非結(jié)構(gòu)化數(shù)據(jù)（無(wú)網(wǎng)格）；在圖像中，像素的數(shù)量是一個(gè)給定的常數(shù)，取決于相機(jī)。然而，點(diǎn)云的數(shù)量可能會(huì)有很大的變化，取決于各種傳感器；點(diǎn)云的分辨率和離相機(jī)的距離有關(guān)。不能近距離的觀察，只能在一個(gè)很遠(yuǎn)的視角才能觀察整體。

下面來(lái)看一下點(diǎn)云結(jié)果對(duì)比，原始的 RGB-D 生成的點(diǎn)云結(jié)果如下：

圖源：https://zhuanlan.zhihu.com/p/42084058

下面動(dòng)圖顯示了經(jīng)過(guò)深度圖補(bǔ)全后生成的點(diǎn)云結(jié)果如下：

圖源：https://zhuanlan.zhihu.com/p/42084058

點(diǎn)云的數(shù)據(jù)存儲(chǔ)格式

點(diǎn)云存儲(chǔ)文件格式有很多。一些文件格式致力于標(biāo)準(zhǔn)化與通用性，而今被多個(gè)相關(guān)軟件或軟件庫(kù)所支持，也被大多數(shù)業(yè)內(nèi)人士所認(rèn)同和使用。點(diǎn)云目前的主要存儲(chǔ)格式包括：pts、LAS、PCD、.xyz 和. pcap 等。選擇合適的通用格式可以更好地與其它工具乃至其它組織對(duì)接，進(jìn)而提高工作效率。下面簡(jiǎn)單列舉一下點(diǎn)云的數(shù)據(jù)存儲(chǔ)格式。

pts 點(diǎn)云文件格式是最簡(jiǎn)便的點(diǎn)云格式，直接按 XYZ 順序存儲(chǔ)點(diǎn)云數(shù)據(jù)， 可以是整型或者浮點(diǎn)型。如下圖是截取的塑像點(diǎn)云的一部分。示例如下：

LAS 是激光雷達(dá)數(shù)據(jù)（LiDAR），存儲(chǔ)格式比 pts 復(fù)雜，旨在提供一種開(kāi)放的格式標(biāo)準(zhǔn)，允許不同的硬件和軟件提供商輸出可互操作的統(tǒng)一格式?，F(xiàn)在 LAS 格式文件已成為 LiDAR 數(shù)據(jù)的工業(yè)標(biāo)準(zhǔn)格式。示例如下：

LAS 格式點(diǎn)云截圖，其中 C：class(所屬類)，F(xiàn)：flight(航線號(hào))，T：time(GPS 時(shí)間)，I：intensity(回波強(qiáng)度)，R：return(第幾次回波)，N：number of return(回波次數(shù))，A：scan angle(掃描角)，RGB：red green blue(RGB 顏色值)。圖源：https://www.cnblogs.com/chenbokai/p/6010143.html

PCD 存儲(chǔ)格式，現(xiàn)有的文件結(jié)構(gòu)因本身組成的原因不支持由 PCL 庫(kù)（后文會(huì)進(jìn)行介紹）引進(jìn) n 維點(diǎn)類型機(jī)制處理過(guò)程中的某些擴(kuò)展，而 PCD 文件格式能夠很好地補(bǔ)足這一點(diǎn)。PCD 格式具有文件頭，用于描繪點(diǎn)云的整體信息：定義數(shù)字的可讀頭、尺寸、點(diǎn)云的維數(shù)和數(shù)據(jù)類型；一種數(shù)據(jù)段，可以是 ASCII 碼或二進(jìn)制碼。數(shù)據(jù)本體部分由點(diǎn)的笛卡爾坐標(biāo)構(gòu)成，文本模式下以空格做分隔符。

PCD 存儲(chǔ)格式是 PCL 庫(kù)官方指定格式，典型的為點(diǎn)云量身定制的格式。優(yōu)點(diǎn)是支持 n 維點(diǎn)類型擴(kuò)展機(jī)制，能夠更好地發(fā)揮 PCL 庫(kù)的點(diǎn)云處理性能。文件格式有文本和二進(jìn)制兩種格式。示例如下：

圖源：https://cloud.tencent.com/developer/article/1475778

.xyz 一種文本格式，前面 3 個(gè)數(shù)字表示點(diǎn)坐標(biāo)，后面 3 個(gè)數(shù)字是點(diǎn)的法向量，數(shù)字間以空格分隔。示例如下：

.pcap 是一種通用的數(shù)據(jù)流格式，現(xiàn)在流行的 Velodyne 公司出品的激光雷達(dá)默認(rèn)采集數(shù)據(jù)文件格式。它是一種二進(jìn)制文件。

數(shù)據(jù)構(gòu)成結(jié)構(gòu)如下：

整體一個(gè)全局頭部 (GlobalHeader)，然后分成若干個(gè)包（Packet），每個(gè)包又包含頭部（Header）和數(shù)據(jù)（Data）部分。

相應(yīng)基礎(chǔ)算法庫(kù)對(duì)不同格式的支持

點(diǎn)云的數(shù)據(jù)量龐大，需要專門的數(shù)據(jù)存儲(chǔ)庫(kù)進(jìn)行顯示和保存。例如，一張 640 x 480 尺寸的深度圖就可以轉(zhuǎn)換為大約三十萬(wàn)個(gè)空間點(diǎn)的點(diǎn)云，大的點(diǎn)云可達(dá)百萬(wàn)甚至千萬(wàn)以上，這時(shí)專門用來(lái)進(jìn)行點(diǎn)云的讀寫、處理等各種操作數(shù)據(jù)存儲(chǔ)庫(kù)就顯得非常重要。

PCL（Point Cloud Library）庫(kù)支持跨平臺(tái)存儲(chǔ)，可以在 Windows、Linux、macOS、iOS、Android 上部署?？蓱?yīng)用于計(jì)算資源有限或者內(nèi)存有限的應(yīng)用場(chǎng)景，是一個(gè)大型跨平臺(tái)開(kāi)源 C++ 編程庫(kù)，它實(shí)現(xiàn)了大量點(diǎn)云相關(guān)的通用算法和高效數(shù)據(jù)結(jié)構(gòu)，其基于以下第三方庫(kù)：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，實(shí)現(xiàn)點(diǎn)云相關(guān)的獲取、濾波、分割、配準(zhǔn)、檢索、特征提取、識(shí)別、追蹤、曲面重建、可視化等操作，非常方便移動(dòng)端開(kāi)發(fā)。

此處的 common 指的是點(diǎn)云數(shù)據(jù)的類型，包括 XYZ、XYZC、XYZN、XYZG 等很多類型點(diǎn)云。可以看出，低層次的點(diǎn)云處理主要包括濾波（filters）、關(guān)鍵點(diǎn)（keypoints）、邊緣檢測(cè)。點(diǎn)云的中層次處理則是特征描述（feature）、分割（segmention）與分類。高層次處理包括配準(zhǔn)（registration）、識(shí)別（recognition）。

除了 PCL 庫(kù)以外，VCG 庫(kù)（Visulization and Computer Graphics Libary）是專門為處理三角網(wǎng)格而設(shè)計(jì)的，該庫(kù)很大，且提供了許多先進(jìn)的處理網(wǎng)格的功能，以及比較少的點(diǎn)云處理功能。

CGAL（Computational Geometry Algorithms Library）計(jì)算幾何算法庫(kù)，設(shè)計(jì)目標(biāo)是以 C++ 庫(kù)的形式，提供方便、高效、可靠的幾何算法，其實(shí)現(xiàn)了很多處理點(diǎn)云以及處理網(wǎng)格的算法。

Open3D 是一個(gè)可以支持 3D 數(shù)據(jù)處理軟件快速開(kāi)發(fā)的開(kāi)源庫(kù)。支持快速開(kāi)發(fā)處理 3D 數(shù)據(jù)的軟件。Open3D 前端在 C++ 和 Python 中公開(kāi)了一組精心選擇的數(shù)據(jù)結(jié)構(gòu)和算法。后端經(jīng)過(guò)高度優(yōu)化，并設(shè)置為并行化。Open3D 是從一開(kāi)始就開(kāi)發(fā)出來(lái)的，帶有很少的、經(jīng)過(guò)仔細(xì)考慮的依賴項(xiàng)。它可以在不同的平臺(tái)上設(shè)置，并且可以從源代碼進(jìn)行最小的編譯。代碼干凈，樣式一致，并通過(guò)清晰的代碼審查機(jī)制進(jìn)行維護(hù)。在點(diǎn)云、網(wǎng)格、rgbd 數(shù)據(jù)上都有支持。

本文是針對(duì) 3D 視覺(jué)的總結(jié)性文章，介紹了幾個(gè)比較重要的知識(shí)點(diǎn)，希望可以在一定程度上幫助大家更深刻地理解 3D 視覺(jué)。在接下來(lái)的文章中，我們將繼續(xù)介紹 3D 視覺(jué)領(lǐng)域算法的實(shí)現(xiàn)。