近年來，深度學習技術使得計算機視覺和機器人領域的許多進展成為可能，但訓練深度模型需要各種各樣的輸入，以泛化到新的場景。

此前，計算機視覺領域已經(jīng)利用網(wǎng)頁抓取技術收集了數(shù)百萬個主題的數(shù)據(jù)集，包括 ImageNet、Open Image、Youtube-8M、COCO 等。然而，給這些數(shù)據(jù)集貼標簽仍是一個勞動密集型工作，標簽錯誤可能會影響到對技術進步的感知，而且這種策略也很難推廣至 3D 或真實世界的機器人數(shù)據(jù)上。與圖像不同的是，目前網(wǎng)絡上并沒有大規(guī)模、高質量的 3D 場景，而從真實世界收集這類數(shù)據(jù)又極具挑戰(zhàn)性。此外，人工標注員也很難從圖像中提取 3D 幾何特性。

一般來說，使用 Gazebo、Bullet、MuJoCo、Unity 等工具對機器人和環(huán)境進行仿真可以減輕上述限制。但是，仿真畢竟不完全是真實世界，即使一個場景是直接通過對真實環(huán)境的 3D 掃描建立起來的，掃描中的離散對象也會像固定的背景物一樣，不會像真實世界的對象那樣對輸入做出回應。

因此，關鍵問題在于提供一個高質量的 3D 對象模型庫，這些模型可以整合到物理和視覺建模中，為深度學習提供所需的多樣性。

為了解決這個問題，谷歌的研究者提出了 Google Scanned Objects (GSO) 數(shù)據(jù)集，這是一個由超過 1000 個 3D 掃描家用物品組成的精選集，可用于 Ignition Gazebo、Bullet 模擬器和其他可以讀取 SDF 模型格式的工具。

在一篇論文中，研究者介紹了該數(shù)據(jù)集的收集、管理、擴展等內容。

論文鏈接：https://arxiv.org/pdf/2204.11918.pdf

據(jù)不完全統(tǒng)計，GSO 數(shù)據(jù)集已經(jīng)在計算機視覺、計算機圖形學、機器人操作、機器人導航和 3D 形狀處理等 10 個項目的 12 篇論文中得到應用：

該研究貢獻主要有幾點：

• 提出 Google Scanned Objects 數(shù)據(jù)集；
• 3D 掃描 pipeline 設計；
• 3D 掃描管理和發(fā)布過程；
• 該數(shù)據(jù)集在研究領域中的影響。

數(shù)據(jù)集的創(chuàng)建

GSO 數(shù)據(jù)集起源于 2011 年谷歌的云機器人計劃，目的是讓機器人基于普通家用物品的高保真 3D 模型，能夠在自己的環(huán)境中識別和抓取物體。

然而，除了物體識別和機器人抓取之外，3D 模型還有很多用途，包括用于物理模擬的場景構建和用于終端用戶應用的 3D 物體可視化。因此，谷歌研究院發(fā)起了一個項目，將 3D 體驗大規(guī)模引入谷歌，以低于傳統(tǒng)商業(yè)級產(chǎn)品攝影的成本收集大量家用物品的 3D 掃描圖像。

這是一項端到端的工程，包括物體獲取、新穎的 3D 掃描硬件、高效的 3D 掃描軟件、快速 3D 渲染的質量保障、網(wǎng)絡與移動瀏覽器，以及人機交互研究。

在收集數(shù)據(jù)之后，研究者構建了一個 pipeline，讓這些數(shù)據(jù)能以各種格式使用。

3D 掃描 pipeline

即使限于家用物品的領域，3D 掃描也會帶來獨特的挑戰(zhàn)，包括高效的物理掃描設置、目標照明、相機可靠性、掃描儀性能、配色、紋理渲染，以及處理光學上不一致的材料，比如近白色、有光澤或透明的表面。

專用的 3D 掃描硬件是勞動密集型的，性價比不高。為了進行大規(guī)模掃描，還需要一些更具可用性和可靠性的工具。

因此，研究者設計了自己的專用掃描硬件和軟件（圖 2），能夠在 10 分鐘內掃描物體并生成高分辨率模型?？刂乒饩€的物理外殼（圖 2b）使用兩臺機器視覺相機和一臺投影儀進行結構光掃描，捕捉 3D 幾何圖形，并使用單獨的單反高分辨率相機以產(chǎn)品友好的光線捕捉紋理。

項目第一年結束的時候能夠做到每周超過 400 次掃描，過程中，研究團隊共獲得了 100K 份 360 度照片旋轉和 10k 份完全 3D 掃描的獨特對象。

圖 2。

圖 3：作為校準過程的掃描。(a) 校正模式使 2D pipeline 能夠精確對齊相機。(b) 計算機控制的投影儀為 3D 掃描物體創(chuàng)造了類似的圖案。(c) 合適的模式能夠以亞像素精度探測位置。(d) 提取掃描物體的完整 3D 形狀。

圖 4：掃描的物品需要通過質量檢查。(a) 許多物品被捕獲為高質量的封閉流形 mesh。(b) 有的物體很少產(chǎn)生無效的 mesh，但有時會出現(xiàn)變形。

仿真模型轉換

這些原始的掃描模型使用協(xié)議緩沖元數(shù)據(jù)、非常高分辨率的可視化、不適合模擬的格式。對象的一些物理屬性，比如質量，會被捕獲，但諸如摩擦之類的表面屬性在元數(shù)據(jù)中則沒有表示。

為了讓這些掃描的模型能夠在仿真系統(tǒng)中使用，每個模型都通過一個 pipeline 進行下列步驟：

1. 過濾無效對象。
2. 分配對象名稱。
3. 驗證對象 mesh。
4. 計算物理屬性。
5. 構造碰撞體積。
6. 減小模型尺寸。
7. 創(chuàng)建 SDF 模型。
8. 創(chuàng)建縮略圖。
9. 打包模型。

數(shù)據(jù)集屬性

組成

GSO 數(shù)據(jù)集包含 1030 個掃描對象和相關的元數(shù)據(jù)，總計 13GB，根據(jù) CCBY 4.0 License 授權。表 III.1 分解了數(shù)據(jù)集中的模型類別。

表 III.1

優(yōu)勢

自動化 pipeline 可以快速生成大量模型，而無需手工處理。因為這些模型是掃描的，而不是手工建模的，所以它們是真實的，而不是理想中的，這減少了將學習從模擬轉移到真實世界的困難。

掃描儀的玻璃平臺可以從各個方面掃描模型，包括底座，不像其他掃描儀有不透明的平臺。類似地，從環(huán)境中提取的模型通常缺少像底座這樣起到銜接作用的遮擋區(qū)域。

因為該掃描儀根據(jù)投影圖案而不是深度照相機數(shù)據(jù)重建表面形狀，所以得到的 mesh 具有高保真度。光滑的表面是平滑的，輪廓邊緣是準確的 (圖 5)。相比之下，RGB-D 數(shù)據(jù)得到的 mesh，可能出現(xiàn)斑駁和不規(guī)則，特別是在輪廓上。

圖5

限制

同時，這個數(shù)據(jù)集也有一些限制：掃描儀的捕捉區(qū)域不能容納比面包箱 (約 50 厘米) 大的對象，因此該數(shù)據(jù)集不包括在其他數(shù)據(jù)集中較大的對象，如椅子、汽車或飛機。同樣，掃描分辨率是有限的，所以非常小的對象不能以合理的保真度建模。此外，生成的紋理是漫反射的：高度鏡面或透明的對象不能表征出來，生成結果也不夠理想。

更多細節(jié)可參考原論文。