時空預測技術致力于深入分析和預測動態(tài)的城市環(huán)境，它不僅關注時間的變化，也考慮空間的布局。這項技術的目標是揭示城市生活中交通、人口遷移和犯罪率等各個方面的未來趨勢和模式。盡管許多研究集中于利用神經(jīng)網(wǎng)絡來提高時空數(shù)據(jù)預測的準確性，但這些方法通常需要大量的訓練數(shù)據(jù)來生成可靠的時空特征。

然而，在實際的城市監(jiān)測場景中，數(shù)據(jù)往往不足，特別是在某些情況下，收集有標記的數(shù)據(jù)變得非常困難，這進一步加劇了挑戰(zhàn)。因此，開發(fā)一個能夠適應不同時空背景并具備強大泛化能力的模型顯得尤為關鍵。

受到大型語言模型（LLMs）在多個領域的顯著進展的啟發(fā)，香港大學、華南理工大學等機構的研究人員發(fā)布了一個全新的時空大語言模型UrbanGPGT，將時空依賴的編碼器和指令微調(diào)技術相結合，其目標是開發(fā)一個能夠廣泛適用于城市任務的時空大型語言模型。

項目鏈接：https://urban-gpt.github.io/

代碼鏈接：https://github.com/HKUDS/UrbanGPT

論文鏈接：https://arxiv.org/abs/2403.00813

視頻展示：https://www.bilibili.com/video/BV18K421v7ut

這種結合使得模型能夠深入理解時間和空間的復雜關系，并在數(shù)據(jù)有限的情況下提供更全面和精確的預測。

為了測試這一方法的有效性，我們在多個公共數(shù)據(jù)集上進行了廣泛的實驗，這些實驗涉及多種時空預測任務。實驗結果一致顯示，UrbanGPT 在性能上始終超越了現(xiàn)有的頂尖模型。這些成果證明了在數(shù)據(jù)標記較少的情況下，利用大型語言模型進行時空學習的巨大潛力。

概述

現(xiàn)有挑戰(zhàn)

C1. 標簽數(shù)據(jù)的稀缺性與重新訓練成本高昂：盡管現(xiàn)有的時空神經(jīng)網(wǎng)絡在預測準確性方面表現(xiàn)出色，但它們對大量標注數(shù)據(jù)的依賴性極大。

在實際的城市監(jiān)測環(huán)境中，數(shù)據(jù)的稀缺性是一個顯著的障礙。例如，考慮到成本問題，在整個城市范圍內(nèi)部署傳感器來監(jiān)測交通流量或空氣質量是不現(xiàn)實的。此外，現(xiàn)有的模型在面對新的地區(qū)或城市預測任務時，往往缺乏足夠的泛化能力，需要重新訓練才能生成有效的時空特征。

C2. 大型語言模型和現(xiàn)有時空模型在零樣本場景下的泛化能力不足：如圖2所示，大型語言模型LLaMA能夠根據(jù)輸入文本推斷流量模式。然而，它在處理具有復雜時空依賴性的數(shù)字時間序列數(shù)據(jù)時，有時會出現(xiàn)預測失誤。

與此同時，雖然預訓練的基線模型在編碼時空依賴關系方面表現(xiàn)良好，但它們可能會因為過度適應源數(shù)據(jù)集而在零樣本場景中表現(xiàn)不佳。

C3. 將大型語言模型的推理能力擴展到時空預測領域：時空數(shù)據(jù)的獨特性質與大型語言模型中編碼的知識之間存在顯著差異。如何縮小這種差異，進而構建一個在廣泛的城市任務中具有卓越泛化能力的時空大型語言模型，是一個亟待解決的重要問題。

圖1：與LLM和時空圖神經(jīng)網(wǎng)絡相比，UrbanGPT 在零樣本場景下有著更好的預測性能

現(xiàn)有挑戰(zhàn)

（1）據(jù)我們了解，這是首次嘗試創(chuàng)建一個能夠跨多個數(shù)據(jù)集預測各種城市現(xiàn)象的時空大型語言模型，特別是在訓練數(shù)據(jù)有限的情況下。

（2）本文介紹了一個名為UrbanGPT的時空預測框架，它允許大型語言模型深入理解時間和空間之間的復雜聯(lián)系。通過將時空依賴編碼器與指令微調(diào)技術緊密結合，有效地將時空信息融入語言模型中。

（3）在真實世界數(shù)據(jù)集上進行的廣泛實驗驗證了UrbanGPT在零樣本時空學習環(huán)境中的卓越泛化能力。這些結果不僅展示了模型在預測和理解時空模式方面的高效性，還證明了其在缺乏樣本的情況下依然能夠提供準確的預測。

方法
  

圖2：UrbanGPT 整體框架

時空依賴編碼器

盡管大型語言模型在處理語言文本方面取得了顯著成就，但它們在解析時空數(shù)據(jù)中的時序變化和動態(tài)模式時仍存在挑戰(zhàn)。

為了應對這一問題，本研究提出了一種創(chuàng)新的方法，即整合時空依賴編碼器，以提升大型語言模型在捕捉時空上下文中的時間序列依賴性的能力。

具體來說，我們設計的時空編碼器由兩個核心組件構成：一個是門控擴散卷積層，另一個是多層次關聯(lián)注入層。

上式 為初始化時空嵌入，從原始時空數(shù)據(jù)中獲取。Er'是Er的切片，用于進行殘差操作以緩解梯度消失。

我們使用一維擴散卷積來編碼時間關聯(lián)。

Sigmoid 激活函數(shù)δ 用于控制多層卷積運算的信息保留程度。

經(jīng)過門控時間擴展卷積層的處理，我們能夠精確地捕捉到連續(xù)多個時間步長內(nèi)的時間序列依賴性，進而生成豐富的時間特征表示。這些表示涵蓋了多層次的時間依賴關系，揭示了不同粒度級別的時間演變模式。

為了完整地保留這些時間信息，我們引入了一種多層次關聯(lián)注入層，該層特別設計用于捕捉并整合不同層次之間的相互聯(lián)系：

其中是形如的卷積核，在通過L層的編碼處理之后，我們利用一個簡單的線性層將門控擴散卷積層和多層次關聯(lián)注入層的輸出進行整合，最終生成的時空依賴性特征表示為

為應對可能在各種城市場景中出現(xiàn)的復雜情況，本文設計的時空編碼器在處理空間相關性時不依賴于特定的圖結構。這是因為在零樣本預測環(huán)境中，實體間的空間聯(lián)系往往是未知的或難以預測的。這樣的設計使得UrbanGPT能夠在廣泛的城市應用場景中保持其適用性和靈活性。

時空指令微調(diào)框架

時空數(shù)據(jù)-文本對齊

為了使語言模型能夠深入理解時空動態(tài)，確保文本內(nèi)容與時空數(shù)據(jù)的一致性是關鍵。這種一致性使得模型能夠整合多種數(shù)據(jù)類型，生成更加豐富的數(shù)據(jù)表示。通過將文本內(nèi)容與時空領域的上下文特征相結合，模型不僅能夠捕捉到補充性的信息，還能夠提煉出更高層次的、具有更強表現(xiàn)力的語義特征。

為了實現(xiàn)這一點，本文采用輕量對齊模塊來投影時空依賴性表示。

投影操作采用線性層參數(shù)進行，其中dL表示大語言模型常用的隱藏維度。所得到的投影 ，在指令中使用特殊的標記表示為：<ST_start>，<ST_HIS>，...，<ST_HIS>，<ST_end>。在這里，<ST_start> 和 <ST_end> 是用來標記時空信息起始和終止的特殊符號，它們可以通過擴展詞匯庫的方式被納入到大型語言模型中。

占位符 <ST_HIS> 代表時空標記，它對應于隱藏層中的向量 H。利用這種技術，模型能夠識別時空依賴關系，這顯著增強了其在城市環(huán)境中進行時空預測任務的能力。

時空提示指令

在進行時空預測時，時間和空間數(shù)據(jù)都蘊含著關鍵的語義信息，這些信息對于模型捕捉特定情境下的時空規(guī)律至關重要。

比如，交通流量在早晨和高峰時段會有顯著變化，商業(yè)區(qū)與住宅區(qū)的交通模式也各有不同。因此，將時間與空間信息作為提示文本引入時空預測任務，可以顯著提升模型的預測效果。我們利用大型語言模型在文本理解方面的專長來處理這些信息。

在UrbanGPT的架構中，我們整合了不同粒度的時間數(shù)據(jù)和空間細節(jié)，作為大型語言模型的指令輸入。時間信息涵蓋了一周中的日期和具體時間點，而空間信息則包括城市區(qū)域、行政區(qū)劃以及周邊的興趣點（POI）等，如圖3所示。

通過整合這些多樣化的元素，UrbanGPT能夠深入識別并理解在復雜時空背景下，不同區(qū)域和時間段的時空動態(tài)，進而提升其在零樣本情況下的推理能力。

圖3: 編碼時間和位置感知信息的時空提示指令

大語言模型的時空指令微調(diào)

在利用指令微調(diào)大型語言模型（LLMs）生成時空預測的文本描述時，面臨兩大挑戰(zhàn)。一方面，時空預測通?；跀?shù)值型數(shù)據(jù)，這些數(shù)據(jù)的結構和模式與自然語言處理中的語言模型所擅長的語義和句法關系不同。

另一方面，LLMs在預訓練階段通常采用多分類損失函數(shù)來預測詞匯，這導致其生成的是詞匯的概率分布，而時空預測任務則需要連續(xù)值的輸出。

為了克服這些問題，UrbanGPT采取了一種創(chuàng)新的方法。它不是直接預測未來的時空值，而是生成輔助性的預測標記。這些標記隨后通過一個回歸層處理，將模型的隱藏層表示轉換為更精確的預測值。這種方法使得UrbanGPT能夠更有效地進行時空預測。

上式中預測標記的隱藏表征用表示，其中預測標記可通過擴充LLMs詞表的方式引入。W1,W2,W3為回歸層的權重矩陣，[?,?]為拼接操作。

實驗

零樣本預測性能

相同城市內(nèi)未見區(qū)域的預測

在跨區(qū)域預測中，我們利用同一城市中某些區(qū)域的數(shù)據(jù)來預測模型未接觸過的其他區(qū)域的未來狀況。通過深入分析模型在此類跨區(qū)域預測任務中的表現(xiàn)，我們注意到：

（1）卓越的零樣本預測能力。表1中的數(shù)據(jù)展示了所提出模型在不同數(shù)據(jù)集上的回歸和分類任務中超越基線模型的優(yōu)異表現(xiàn)。UrbanGPT的出色表現(xiàn)主要歸功于兩個核心要素。

i）時空數(shù)據(jù)-文本對齊。將時空上下文信號與語言模型的文本理解能力對齊，對模型的成功至關重要。這種整合使得模型能夠充分利用編碼自時空信號的城市動態(tài)信息，同時結合大語言模型對文本上下文的深入理解，從而擴展了模型在零樣本場景下的預測能力。

ii）時空指令的微調(diào)。通過自適應調(diào)整，LLMs能夠更有效地吸收指令中的關鍵信息，提升其對空間和時間因素復雜關系的理解。UrbanGPT通過將時空指令微調(diào)和時空依賴編碼器相結合，成功地保留了通用且可轉移的時空知識，實現(xiàn)了在零樣本場景中的準確預測。

（2）對城市語義的深入理解。城市語義提供了對空間和時間特性的深刻洞察。通過在多種數(shù)據(jù)集上訓練模型，增強了其對不同時間段和地理位置的時空動態(tài)的理解。

相比之下，傳統(tǒng)的基準模型通常更注重編碼時空依賴關系，而忽略了區(qū)域、時段和數(shù)據(jù)類型之間的語義差異。通過將豐富的語義信息融入UrbanGPT，我們顯著提升了其在未見過的區(qū)域中進行精確零樣本預測的能力。

（3）在稀疏數(shù)據(jù)環(huán)境中，提升預測性能。在數(shù)據(jù)點稀疏的環(huán)境中預測時空模式是一項挑戰(zhàn)，主要因為模型在這種情況下容易過擬合。例如，在預測犯罪等場景中，數(shù)據(jù)往往較為稀疏，這使得基線模型在跨區(qū)域預測任務中表現(xiàn)不佳，召回率低，暗示可能存在過擬合的問題。

為解決這一挑戰(zhàn)，我們的模型采用了一種創(chuàng)新的策略，將時空學習與大型語言模型相結合，并通過有效的時空指令微調(diào)方法進行優(yōu)化。這種方法通過整合豐富的語義信息，增強了模型對時空數(shù)據(jù)的理解和表示能力，使其能夠更有效地處理稀疏數(shù)據(jù)，并顯著提高了預測的準確性。

表1：跨區(qū)域零樣本預測場景性能比較

跨城市預測任務

為了檢驗模型在不同城市間的預測能力，我們選擇了芝加哥的出租車數(shù)據(jù)集進行實驗驗證。（注意，此數(shù)據(jù)集并未在訓練階段使用）。如圖4所示，測試結果表明，模型在所有時間點上均展現(xiàn)出優(yōu)于對比方法的性能，這證明了UrbanGPT在跨城市知識遷移方面的有效性。

通過將時空編碼器與時空指令微調(diào)技術相結合，模型能夠捕捉到普遍性和特殊性并存的時空規(guī)律，從而進行更準確的預測。此外，模型通過綜合考慮不同的地理位置、時間因素以及學習到的知識遷移，能夠將不同功能區(qū)域和歷史時期的時空模式聯(lián)系起來。這種全面的時空理解為在跨城市場景中進行精確的零樣本預測提供了關鍵的洞察。

圖4：跨城市零樣本預測場景性能比較

典型的有監(jiān)督預測任務

本章節(jié)重點研究UrbanGPT在完全監(jiān)督的預測環(huán)境中的表現(xiàn)，具體來說，我們通過使用時間跨度較大的測試數(shù)據(jù)集來評估模型在長期時空預測任務中的效果。例如，模型使用2017年的數(shù)據(jù)進行訓練，并用2021年的數(shù)據(jù)進行測試。

測試結果顯示，UrbanGPT在長期時間跨度的預測任務中明顯優(yōu)于基線模型，這突出了其在處理長期預測時的卓越泛化能力。這一特性減少了對頻繁重新訓練或增量更新的需求，使得模型更加適合實際應用場景。此外，實驗結果還證實，引入額外的文本信息不僅不會影響模型的性能，也不會引入噪聲，這進一步證明了利用大型語言模型來增強時空預測任務的有效性。

表2：端到端有監(jiān)督設置下的預測性能評估

消融實驗

（1）時空上下文的重要性：STC。 當從指示文本中移除時空信息后，模型的性能出現(xiàn)了下降。這可能是因為缺少時間信息，使得模型只能依賴時空編碼器來處理與時間相關的特征并執(zhí)行預測任務。同時，空間信息的缺失也限制了模型捕捉空間相關性的能力，使得分析不同區(qū)域的時空模式變得更加困難。

（2）多數(shù)據(jù)集指令微調(diào)的效果：Multi。 我們僅在NYC-taxi數(shù)據(jù)集上對模型進行訓練。由于缺乏其他城市指標的信息，這限制了模型揭示城市時空動態(tài)的能力。因此，模型的表現(xiàn)欠佳。通過整合來自不同城市的不同時空數(shù)據(jù)，模型能夠更有效地捕捉不同地理位置的獨特特征和時空模式的演變。

（3）時空編碼器的作用：STE。 當從模型中移除時空編碼器時，結果表明，這種缺失顯著降低了大語言模型在時空預測任務中的預測能力。這突出了時空編碼器在提升模型預測性能中的關鍵作用。

（4）指令微調(diào)中的回歸層：T2P。 我們指導UrbanGPT直接以文本格式輸出其預測結果。模型的性能表現(xiàn)不佳，主要是因為在訓練過程中依賴于多類損失函數(shù)進行優(yōu)化，這導致了模型輸出的概率分布與時空預測任務所需的連續(xù)值分布不匹配。為了解決這個問題，我們在模型中引入了一個回歸預測器，顯著提升了模型在回歸任務中生成更準確數(shù)值預測的能力。

圖5：UrbanGPT消融實驗

模型魯棒性研究

在本節(jié)中，我們對UrbanGPT在處理不同時空模式場景時的穩(wěn)定性進行了評估。我們根據(jù)特定時間段內(nèi)數(shù)值變化的幅度（如出租車流量）對區(qū)域進行區(qū)分。較小的方差通常意味著區(qū)域具有穩(wěn)定的時間模式，而較大的方差則暗示著區(qū)域的時空模式更為多樣化，常見于商業(yè)活躍區(qū)或人口密集區(qū)。

如圖6所示，多數(shù)模型在方差較低的區(qū)域表現(xiàn)出色，因為這些區(qū)域的時空模式較為一致和可預測。然而，基線模型在方差較高的區(qū)域表現(xiàn)不佳，尤其是在方差處于（0.75, 1.0]區(qū)間的區(qū)域，這可能是因為基線模型在零樣本場景下難以準確推斷出這些區(qū)域復雜的時空模式。在城市管理中，如交通信號控制和安全調(diào)度等，對人口密集或繁華區(qū)域的準確預測至關重要。UrbanGPT在（0.75, 1.0]區(qū)間內(nèi)顯示出顯著的性能提升，這證明了其在零樣本預測場景中的強大能力。

圖6：模型魯棒性研究

案例研究

案例研究對不同大型語言模型在零樣本時空預測場景中的有效性進行了評估，結果如表3所示。研究結果表明，各類LLMs能夠根據(jù)提供的指令生成預測，這驗證了提示設計的有效性。

具體來看，ChatGPT在預測時主要依賴于歷史平均值，而沒有明確地將時間或空間數(shù)據(jù)納入其預測模型中。Llama-2-70b雖然能夠分析特定時間段和區(qū)域，但在處理數(shù)值時間序列的依賴性時遇到了挑戰(zhàn)，這影響了其預測的準確性。

相比之下，Claude-2.1能夠更有效地總結和分析歷史數(shù)據(jù)，利用高峰時段的模式和興趣點來實現(xiàn)更準確的流量趨勢預測。

而我們提出的UrbanGPT通過時空指令微調(diào)的方式，將時空上下文信號與大型語言模型的推理能力緊密結合，顯著提升了預測數(shù)值和時空趨勢的準確性。這些發(fā)現(xiàn)突出了UrbanGPT在捕捉普遍時空模式方面的潛力和有效性，使得零樣本時空預測成為可能。

表3：不同的LLMs對紐約市自行車流量的零樣本預測案例

總結與展望

本研究提出了UrbanGPT，這是一種具備在多樣城市環(huán)境中良好泛化能力的時空大型語言模型。為了實現(xiàn)時空上下文信號與大型語言模型（LLMs）的無縫整合，本文提出了一種創(chuàng)新的時空指令微調(diào)方法。這種方法賦予了UrbanGPT在各種城市數(shù)據(jù)中學習普遍和可遷移的時空模式的能力。通過廣泛的實驗分析，證明了UrbanGPT架構及其核心組件的高效性和有效性。

盡管當前的成果令人振奮，但未來研究中仍有一些挑戰(zhàn)需要克服。首先，我們將積極收集更多類型的城市數(shù)據(jù)，以增強UrbanGPT在更廣泛城市計算領域的應用能力。其次，理解UrbanGPT的決策機制同樣重要。盡管該模型在性能上表現(xiàn)出色，但提供模型預測的可解釋性也是未來研究的關鍵方向。未來的工作將致力于使UrbanGPT能夠解釋其預測結果，從而增加其透明度和用戶信任。