時空預測技術(shù)，迎來ChatGPT時刻。

時空預測致力于捕捉城市生活的動態(tài)變化，并預測其未來走向，它不僅關(guān)注交通和人流的流動，還涵蓋了犯罪趨勢等多個維度。目前，深度時空預測技術(shù)在生成精確的時空模型方面，依賴于大量訓練數(shù)據(jù)的支撐，這在城市數(shù)據(jù)不足的情況下顯得尤為困難。

港大、百度聯(lián)合團隊借鑒大型語言模型的思想，提出了一種新型的時空大型語言模型UbanGPT。

該模型在多種城市應用場景中展現(xiàn)了出色的普適性。通過結(jié)合時空依賴編碼器和指令微調(diào)方法，該模型增強了對時間和空間復雜關(guān)系的理解，即使在數(shù)據(jù)稀缺的條件下也能提供更精確的預測。通過一系列廣泛的實驗，UrbanGPT在多個城市相關(guān)的任務上展現(xiàn)了其卓越的性能，并證明了其在零樣本學習領(lǐng)域的強大潛力。

時空大型語言模型UrbanGPT

挑戰(zhàn)1：標簽稀缺和高昂的訓練成本

盡管尖端的時空網(wǎng)絡在預測任務上表現(xiàn)出色，但它們的效能受限于對大量標記數(shù)據(jù)的依賴。在城市應用中，獲取數(shù)據(jù)通常非常困難，例如，要對整個城市的交通和空氣質(zhì)量進行監(jiān)控，其成本是相當高的。此外，這些模型在面對新地區(qū)或新任務時，其泛化能力通常不足，需要進行重新訓練以適應不同的時空環(huán)境。

挑戰(zhàn)2：LLMs和現(xiàn)有的時空預測模型在零樣本泛化方面存在局限

如圖1所展示的，大型語言模型LLaMA能夠根據(jù)輸入的文本信息推斷出流量模式。但是，當涉及到處理具有復雜時空依賴性的數(shù)字時間序列數(shù)據(jù)時，LLaMA的預測能力受限，有時可能會得出與實際相反的預測結(jié)果。與此同時，雖然預訓練的基線模型能夠有效地編碼時空依賴關(guān)系，但它們可能會因為過度適應原始訓練數(shù)據(jù)而在沒有先前經(jīng)驗的新場景（零樣本場景）中表現(xiàn)不佳。

挑戰(zhàn)3：如何將LLMs的出色推理能力擴展到時空預測領(lǐng)域：

時空數(shù)據(jù)具有其獨特的屬性，這與LLMs所編碼的信息之間存在差異?？s小這一差異，并構(gòu)建一個能夠在多樣的城市任務中展現(xiàn)出卓越泛化性能的時空大型語言模型，是當前面臨的一個重大挑戰(zhàn)。

△ 圖1：與LLMs和現(xiàn)有時空圖神經(jīng)網(wǎng)絡相比，UrbanGPT 在零樣本場景下能更好地預測未來時空趨勢

時空大型語言模型UrbanGPT

據(jù)團隊了解，這是首次嘗試創(chuàng)建一種時空大型語言模型，該模型能夠預測不同數(shù)據(jù)集上的多種城市現(xiàn)象，特別是在訓練樣本受限的情境下。

本研究提出了名為UrbanGPT的時空預測框架，它賦予了大型語言模型深入理解時間和空間之間復雜相互依賴關(guān)系的能力。通過將時空依賴編碼器與指令微調(diào)策略巧妙結(jié)合，該框架成功地將時空信息與大型語言模型的推理能力融合在一起。

在現(xiàn)實世界數(shù)據(jù)基礎上進行的廣泛實驗驗證了UrbanGPT在零樣本時空學習場景中的卓越泛化性能。這些實驗結(jié)果不僅凸顯了UrbanGPT模型的強大泛化潛力，也證實了它在精確預測和理解時空模式方面的有效性，即便在缺乏訓練樣本的情況下。

△圖2: UrbanGPT 整體框架

時空依賴編碼器

LLMs在處理語言任務時表現(xiàn)出色，但它們在解析時空數(shù)據(jù)中固有的時間序列及其演化模式方面存在困難。為了克服這一難題，本文提出了一種創(chuàng)新方法，即整合時空編碼器來提升大型語言模型捕捉時空上下文中時間依賴性的能力。具體來說，所設計的時空編碼器由兩個核心組件構(gòu)成：一個是門控擴散卷積層，另一個是多層次關(guān)聯(lián)注入層。

門控時間擴散卷積層在不同層級上編碼了不同程度的時間依賴性，捕捉了具有不同粒度級別的時間演化特征。為了保留這些時間信息模式，團隊引入了一個多層次的關(guān)聯(lián)注入層，該層旨在融合不同層級之間的相互關(guān)聯(lián)性。

為應對可能出現(xiàn)的多樣化城市場景，本文提出的時空編碼器在模擬空間關(guān)聯(lián)性時不依賴于特定的圖結(jié)構(gòu)。這種做法考慮到在零樣本預測的情境下，實體間的空間聯(lián)系可能是未知的或難以明確界定的。這樣的設計確保了UrbanGPT能夠在廣泛的城市環(huán)境條件下保持其適用性和有效性。

時空指令微調(diào)框架

時空數(shù)據(jù)-文本對齊

為了讓語言模型能夠準確捕捉時空模式，確保文本信息與時空數(shù)據(jù)的一致性是關(guān)鍵。這種對齊使得模型能夠整合多種類型的數(shù)據(jù)，生成更豐富的信息表示。通過結(jié)合文本和時空領(lǐng)域的上下文特征，模型不僅能夠捕獲到補充性的信息，還能提煉出更具表現(xiàn)力的高級語義特征。

時空提示指令

在進行時空預測時，時間與空間維度都蘊含著豐富的語義信息，這些信息對于模型準確理解特定情境下的時空動態(tài)至關(guān)重要。例如，早晨的交通流量特征與交通高峰時段顯著不同，同時商業(yè)區(qū)和住宅區(qū)的交通模式也各有特點。UrbanGPT框架通過整合不同粒度的時間數(shù)據(jù)和空間特征，作為其大型語言模型的指令輸入。具體來說，時間信息涵蓋了日期、具體時間等要素，而空間信息則包括了城市名稱、行政區(qū)劃分以及周邊的興趣點（POI）等數(shù)據(jù)，如圖3所示。這種多維度的時空信息整合，使得UrbanGPT能夠精確地捕捉不同時間和地點的時空模式，顯著增強了其在未知樣本上的推理能力。

△圖3: 編碼時間和空間信息感知的時空提示指令

3.2.3 大語言模型的時空指令微調(diào)

在利用大型語言模型（LLMs）進行指令微調(diào)以生成文本形式的時空預測時，面臨兩大挑戰(zhàn)。首先，這類預測任務依賴于數(shù)值型數(shù)據(jù)，其結(jié)構(gòu)和規(guī)律與LLMs所擅長處理的自然語言（側(cè)重于語義和語法）存在差異。其次，LLMs通常采用多分類損失函數(shù)進行預訓練，以預測文本中接下來的單詞，這與需要輸出連續(xù)數(shù)值的回歸問題有所區(qū)別。

實驗結(jié)果：

零樣本預測性能

相同城市內(nèi)未見區(qū)域的預測

跨區(qū)域場景使用同一城市中某些區(qū)域的數(shù)據(jù)來預測模型未曾接觸過的其他區(qū)域的未來情況。通過細致分析模型在此類跨區(qū)域預測任務中的表現(xiàn)，團隊發(fā)現(xiàn)UrbanGPT展現(xiàn)了出色的零樣本預測性能。UrbanGPT通過時空與文本信息的精準對齊，以及將時空指令微調(diào)技術(shù)與時空依賴編碼器的無縫融合，有效地保持了通用且可遷移的時空知識，從而在零樣本場景中實現(xiàn)了精準的預測。此外，UrbanGPT在處理數(shù)據(jù)稀疏性問題時同樣具備顯著優(yōu)勢。特別是在犯罪預測任務中，由于數(shù)據(jù)的稀疏性，傳統(tǒng)的基線模型經(jīng)常表現(xiàn)不佳，低召回率可能暗示了過擬合的問題。UrbanGPT通過整合文本中的語義信息，注入了豐富的語義洞察力，這增強了模型捕捉稀疏數(shù)據(jù)中時空模式的能力，進而提升了預測的準確度。

△表1：跨區(qū)域零樣本預測場景性能比較

跨城市預測任務

為了檢驗模型在進行跨城市預測時的表現(xiàn)，團隊選用了CHI-taxi數(shù)據(jù)集進行評估，該數(shù)據(jù)集在模型的訓練階段未曾使用。圖4的評估結(jié)果表明，在每個時間點上，模型的表現(xiàn)均優(yōu)于其他對比方法，這證實了UrbanGPT在跨城市知識遷移方面的有效性。模型通過綜合考慮多樣的地理信息和時間要素，展現(xiàn)出將功能相似的區(qū)域和歷史同期的時空模式進行關(guān)聯(lián)的能力，為實現(xiàn)跨城市場景中的精確零樣本預測提供了強有力的支持。

△圖4：跨城市零樣本預測場景性能比較

典型的有監(jiān)督預測任務

團隊也對UrbanGPT在有監(jiān)督預測情境下的性能進行了探究，特別是通過采用時間跨度更大的測試數(shù)據(jù)集來檢驗模型在長期時空預測方面的效能。舉例來說，團隊使用2017年的數(shù)據(jù)來訓練模型，并用2021年的數(shù)據(jù)進行測試。測試結(jié)果顯示，UrbanGPT在長期時間跨度的場景中相比基線模型有著明顯的優(yōu)勢，彰顯了其出色的泛化能力。這一特性意味著模型不需要頻繁地重新訓練或進行增量更新，從而更適應實際應用場景。此外，實驗還證明，引入額外的文本信息并不會對模型性能造成負面影響或引入噪聲，這進一步支持了利用大型語言模型來增強時空預測任務的策略是可行的。

△表2：有監(jiān)督設置下的預測性能評估

消融實驗

（1）時空上下文的效用：-STC。 當從指導文本中去除時空信息時，模型的性能出現(xiàn)了下降。這可能是因為缺少了時間維度的數(shù)據(jù)，導致模型只能依賴時空編碼器來處理與時間相關(guān)的特征并執(zhí)行預測。同時，空間信息的缺乏也削弱了模型捕捉空間相關(guān)性的能力，這使得識別和分析不同區(qū)域的獨特時空模式變得更加困難。

（2）使用多個數(shù)據(jù)集進行指令微調(diào)的影響：-Multi。 模型僅接受了NYC-taxi數(shù)據(jù)集的訓練。由于缺少來自不同城市指標的廣泛信息，這限制了模型深入展現(xiàn)城市時空動態(tài)的能力，導致預測結(jié)果不盡人意。然而，通過融合多個來源的時空數(shù)據(jù)，模型能夠更有效地捕捉到不同地理位置的獨特屬性以及隨時間演變的模式，從而加深對城市復雜性的洞察。

（3）時空編碼器的作用：-STE。 缺少時空編碼器顯著限制了大型語言模型在時空預測任務中的效能。這突出了所設計時空編碼器在增強模型預測準確性方面的重要性。

（4）指令微調(diào)中的回歸層：T2P。 UrbanGPT被直接指導以文本形式輸出其預測結(jié)果。模型在性能上的不足主要是由于其訓練階段主要采用多類損失函數(shù)進行優(yōu)化，這造成了模型概率輸出與時空預測任務所需的連續(xù)數(shù)值分布之間的不一致。為了解決這一問題，團隊在模型架構(gòu)中集成了一個回歸預測模塊，這一改進顯著增強了模型在回歸任務中生成更精確數(shù)值預測的能力。

△圖5：UrbanGPT消融實驗

模型魯棒性研究

本部分對UrbanGPT在應對不同時空模式場景時的穩(wěn)定性進行了評估。團隊根據(jù)區(qū)域內(nèi)在特定時間段數(shù)值波動的大小將區(qū)域進行區(qū)分。方差較小的區(qū)域代表時間模式較為恒定，而方差較大的區(qū)域則代表時空模式更為多變，例如繁忙的商業(yè)區(qū)或人口密集地區(qū)。圖6的評估結(jié)果顯示，大多數(shù)模型在方差較低、時空模式相對穩(wěn)定的區(qū)域中表現(xiàn)較好。然而，基線模型在方差較高、特別是方差位于(0.75, 1.0]區(qū)間的區(qū)域中表現(xiàn)不佳，這可能是因為基線模型在推斷未見區(qū)域的復雜時空模式方面存在局限。在實際的城市運營中，對人口密集或商業(yè)繁忙區(qū)域的準確預測對于城市管理極為關(guān)鍵，包括交通信號的控制和安全調(diào)度等方面。UrbanGPT在方差位于(0.75, 1.0]區(qū)間的區(qū)域中展現(xiàn)了顯著的性能提升，這凸顯了其在零樣本預測方面的卓越能力。

△圖6：模型魯棒性研究

案例研究

本次實驗旨在評估不同大型語言模型（LLMs）在零樣本時空預測任務中的效能。根據(jù)表3的實驗結(jié)果，團隊可以看到各類LLMs能夠依據(jù)提供的指令生成預測結(jié)果，這證實了團隊提示設計的有效性。

具體來看，ChatGPT在其預測中傾向于依賴歷史平均值，而不是明確地整合時間或空間數(shù)據(jù)。Llama-2-70b能夠分析特定時段和區(qū)域的信息，但在處理數(shù)值時間序列的依賴性時遇到了難題，這影響了其預測的準確性。相比之下，Claude-2.1能夠高效地整合和分析歷史數(shù)據(jù)，并利用高峰時段的模式以及興趣點（POI）信息來提高流量趨勢預測的精確度。在本研究中提出的UrbanGPT模型，通過時空指令微調(diào)的方式，成功地將時空上下文信號與大型語言模型的推理能力結(jié)合起來，顯著提升了預測數(shù)值和時空趨勢的準確性。這些發(fā)現(xiàn)凸顯了UrbanGPT框架在捕捉普遍時空模式方面的潛力，證實了其在實現(xiàn)零樣本時空預測方面的有效性。

△表3：不同的LLMs在紐約市自行車流量中的零樣本預測案例

總結(jié)與展望

本研究介紹了UrbanGPT，這是一個具備在多樣化城市情境下卓越泛化性能的時空大型語言模型。通過采用一種創(chuàng)新的時空指令微調(diào)策略，團隊成功實現(xiàn)了時空上下文信息與大型語言模型（LLMs）的緊密整合，從而讓UrbanGPT得以掌握廣泛適用且可遷移的時空模式。實驗數(shù)據(jù)充分證明了UrbanGPT模型架構(gòu)及其核心組件的有效性。

盡管目前的成果充滿希望，但團隊也認識到未來研究中仍有一些挑戰(zhàn)需要克服。作為未來工作的一部分，團隊計劃積極收集更多樣化的城市數(shù)據(jù)，以此來加強和提升UrbanGPT在更廣泛城市計算場景中的應用能力。此外，深入理解UrbanGPT的決策機制也極為關(guān)鍵。盡管模型在性能上表現(xiàn)出色，但提供決策過程的透明度和可解釋性同樣重要。未來的研究將致力于開發(fā)能夠解釋其預測結(jié)果的UrbanGPT模型。

項目鏈接: https://urban-gpt.github.io/
代碼鏈接: https://github.com/HKUDS/UrbanGPT
論文鏈接: https://arxiv.org/abs/2403.00813
實驗室主頁: https://sites.google.com/view/chaoh/home