本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

10年前，乃至100年前，你長大的那條街道長什么樣？

[[346939]]

△大谷Spitzer

現(xiàn)在，除了用AI修復(fù)老影像資料，谷歌還發(fā)布了新的「時光旅行」方案。

就像這樣，用3D視角，一覽1890年到1970年曼哈頓切爾西區(qū)的建筑變化。

是不是有點(diǎn)歷史更迭內(nèi)味兒了？

這樣一臺「時光機(jī)器」的引擎，是谷歌推出的基于瀏覽器的工具集rǝ（音return），主要由3部分組成：

• 一個眾包平臺。用戶可以上傳城市歷史地圖，將其與現(xiàn)實世界的坐標(biāo)進(jìn)行匹配，完成地理修正，并將其矢量化。
• 一個時空地圖服務(wù)器。能顯示城市地圖是如何隨時間變化的。
• 一個3D體驗平臺。運(yùn)行在rǝ地圖服務(wù)器之上，利用深度學(xué)習(xí)，根據(jù)有限的歷史圖片和地圖數(shù)據(jù)重建3D建筑，創(chuàng)造3D體驗。

以眾包方式打造

重現(xiàn)城市的過去，最大的難點(diǎn)就在于數(shù)據(jù)：可用的圖像很少，從圖像中獲取的元數(shù)據(jù)比之現(xiàn)代地圖自然也少得多。

為了應(yīng)對這一挑戰(zhàn)，谷歌的工程師們用上了基于Google Cloud和Kubernnetes運(yùn)行的開源工具rǝ。

其作用在于，采用眾包的方式，讓用戶們共同打造一個具有時間維度的地圖服務(wù)器。

具體而言，用戶可以通過瀏覽器上傳各個年代紙質(zhì)版地圖的掃描件，對其進(jìn)行地理校正，使歷史地圖與現(xiàn)實世界的坐標(biāo)相匹配。

然后，通過追蹤地理特征，比如標(biāo)志性建筑、道路等，將歷史地圖轉(zhuǎn)換成OSM矢量格式。

這些矢量地圖經(jīng)過圖塊服務(wù)器（tile server）的渲染之后，就會變成通常在谷歌地圖上看到的，可以放大和平移的滑塊地圖（slippy map）。

重建3D模型

接下來，就是利用這些圖像和地圖數(shù)據(jù)，重建曾經(jīng)在歷史上出現(xiàn)過的建筑們的3D結(jié)構(gòu)了。

這里的難點(diǎn)在于，大多數(shù)情況下，一個建筑的歷史圖像很可能只有一張。為此，谷歌工程師們開發(fā)了一套由粗到細(xì)的識別重建算法。

如圖中所示，首先，根據(jù)眾包注釋或自動檢測算法識別地圖標(biāo)記和歷史圖像中的建筑立面，為其生成粗略的3D結(jié)構(gòu)。

與此同時，算法會識別建筑立面上所有窗戶、入口、樓梯這樣的獨(dú)立組件，并根據(jù)其類別分別重建精細(xì)的3D結(jié)構(gòu)。

兩者相結(jié)合，就得到了最終的3D網(wǎng)格。這一結(jié)果會被存儲在3D資源庫中，為下一步渲染做好準(zhǔn)備。

該算法涉及的SOTA深度學(xué)習(xí)模型包括：

• 用窗戶、入口、樓梯這樣的立面組件注釋訓(xùn)練的RCNN，用于定位歷史圖像中的邊框級實例。
• 語義分割模型DeepLab，提供每個語義類的像素級標(biāo)簽。
• 專門設(shè)計的神經(jīng)網(wǎng)絡(luò)，用以確保一個立面上生成的窗戶之間間距相等、形狀一致。同時也保證不同語義類，比如樓梯和窗戶之間的一致性，使這些組件被放置到合理的位置上。

還原全球城鎮(zhèn)，還有《微軟模擬飛行》

在此之前，微軟也和AI初創(chuàng)公司Blackshark.ai合作，上線了全球最大仿真游戲《微軟模擬飛行2020》，通過機(jī)器學(xué)習(xí)2D轉(zhuǎn)3D的模式，還原了全球200萬個城鎮(zhèn)、15億座建筑物和3.7萬個機(jī)場。

游戲一上線，知名游戲測評媒體IGN就給它打出了滿分10分。

并且，Blackshark還透露，這樣的技術(shù)未來或?qū)⒂糜谧詣玉{駛。

那么，谷歌這次推出的懷舊項目你又覺得可不可呢？

如果你感興趣，也不妨加入其中，谷歌表示，歷史數(shù)據(jù)集和源代碼均將開源~

傳送門

官方博客：
https://ai.googleblog.com/2020/10/recreating-historical-streetscapes.html

Rǝ工具集：
https://re.city/#14.25/40.74094/-73.98798