大模型“上路”，干起了交通信號控制（TSC）的活～

模型名為LightGPT，以排隊及不同區(qū)段快要接近信號燈的車輛對路口交通狀況分析，進而確定最好的信號燈配置。

該模型由香港科技大學（廣州）的研究團隊提出，其背后關鍵是一個名為LLMLight的框架。

該框架向智能體提供詳細的實時交通狀況，并結合先驗知識構成提示，利用大模型卓越的泛化能力，采用符合人類直覺的推理和決策過程來實現(xiàn)有效的交通控制。

在九個交通流數(shù)據(jù)集上的實驗證明了LLMLight框架的有效性、泛化能力和可解釋性。

具體來說，在真實數(shù)據(jù)集上，LLMLight在所有基準測試中始終達到了SOTA或與經(jīng)典強化學習等方法同等的性能水平，并且擁有比后者更為強大的泛化性。

同時，LLMLight還能在決策時提供背后的分析邏輯，這一可解釋性實現(xiàn)了信號燈控制的透明化。

TSC垂類大模型LightGPT在此任務上的決策能力顯著優(yōu)于GPT-4。

即便在濟南、杭州、紐約等復雜路網(wǎng)下，也展示出突出性能。

目前，LLMLight框架、交通信號燈控制垂類大模型LightGPT已開源。

LLM應用于TSC有何挑戰(zhàn)？

交通信號控制（TSC）是城市交通管理的重要組成部分，旨在優(yōu)化道路網(wǎng)絡效率并減少擁堵。

現(xiàn)有的TSC研究主要分為兩類：基于交通工程和強化學習的方法。

其中，交通工程方法主要側重于制定有效的啟發(fā)式算法，根據(jù)車道級交通狀況屬性，動態(tài)調整交通信號燈配置。然而，這些方法的設計嚴重依賴人力及專業(yè)領域知識。

之后，多數(shù)研究便基于深度強化學習技術來應對這一任務，并在各種交通場景中都表現(xiàn)出了卓越的性能。

然而，基于強化學習的方法也存在明顯缺點。首先，由于他們的訓練數(shù)據(jù)僅涵蓋有限的交通情況，致使其表現(xiàn)出局限的泛化能力，特別是在轉移到更大規(guī)模的交通網(wǎng)絡或在不常見的路況下（例如，極端高流量的情況）。

此外，由于深度神經(jīng)網(wǎng)絡（DNN）的黑盒特性，基于深度強化學習的方法缺乏可解釋性，這使得研究人員很難理解其在某交通狀況下控制行為的背后邏輯。

而當今，大語言模型憑借其卓越的零樣本學習和泛化能力，它以模仿近似人類的推理過程來解決復雜任務，徹底改變了多個領域。

例如在交通控制任務上，PromptGAT使用LLM生成人類知識，以此來幫助DNN模型理解TSC任務中的長尾場景（例如極端天氣），旨在彌合現(xiàn)實世界與模擬之間的差距。

不過，雖然現(xiàn)有的研究已經(jīng)開始探索利用LLM作為輔助工具來增強決策，但直接利用LLM作為TSC智能體進行類人決策的潛力還尚未探尋。

具體而言，其有兩個重要挑戰(zhàn)。

第一個挑戰(zhàn)在于如何使LLM能夠理解實時交通動態(tài)并與交通環(huán)境做有效交互。

LLM通常在大規(guī)模自然語言語料庫上進行預訓練，但很少包含非文本的流量數(shù)據(jù)（例如傳感器讀數(shù)和GPS軌跡）。盡管它們具有跨多種任務和領域的泛化能力，但實時交通數(shù)據(jù)和自然語言之間存在固有差距。

如何為信號燈控制任務選擇和開發(fā)專有垂類LLM，則是另一個重大挑戰(zhàn)。

首先，通才大模型往往缺乏特定領域的知識，容易出現(xiàn)專業(yè)領域的幻覺問題。盡管GPT-4等最先進的LLM表現(xiàn)出了優(yōu)異的泛化能力，但它們的閉源性質和高昂成本并不利于投入到實時TSC任務及其后續(xù)優(yōu)化中。

因此，訓練專門為TSC任務量身定制的LLM成為了當下更優(yōu)的選擇。

如何將LLM應用于TSC？

為了應對上述挑戰(zhàn)，研究人員提出了LLMLight框架，其旨在整合大語言模型作為智能體，實現(xiàn)交通信號燈控制。

首先該研究將TSC視為部分可觀察的馬爾可夫博弈（Partially Observable Markov Game），其中每個LLM智能體管理一個十字路口的交通燈。

在每個信號切換時間步上，智能體都會收集目標路口的交通狀況，并將其轉換為人類可讀的文本作為實時觀察。

此外，該研究還結合了信息量豐富的任務描述及一條與控制策略有關的常識知識，以幫助LLM理解交通管理任務。交通路口的實時狀態(tài)、任務描述與控制動作空間結合，形成了指導智能體決策的知識提示。

最后，LLM控制智能體利用思想鏈 (CoT) 推理來確定下一個時間片的最佳交通信號燈配置。

并且該研究還構建了一個交通信號燈控制垂類大模型LightGPT來增強LLMLight框架。一方面，提出了模仿學習微調（Imitation Fine-tuning），讓學生LLM學習GPT-4產(chǎn)生的高質量決策和推理軌跡。

另一方面，引入了一個由評論家模型指導的策略優(yōu)化（Critic-gudied Policy Refinement）過程，使其評估和改進LLM智能體的控制。

優(yōu)化后的LightGPT可以產(chǎn)生比GPT-4更具成本效益且更有效的控制策略，并在不同流量場景中展現(xiàn)出卓越的泛化能力。

一起來看具體實現(xiàn)方法。

LLMLight框架的構建

LLMLight的工作流包括：

• 交通狀態(tài)觀測特征構建：收集交通路口的交通狀態(tài)觀測；
• 常識知識增強的智能體提示構建：組成一則整合了常識知識的提示，用于指導LLM推理出下一時間片最優(yōu)的交通信號燈配置；
• 智能體的分析推理及決策：LLM使用構建的提示進行分析推理決策過程，隨后做出決策。其流程如下圖所示：

研究人員將交通信號控制定義為一個部分可觀察的馬爾可夫博弈?；诮徊婵趯崟r交通狀況的觀察、交通場景描述、任務描述、常識知識以及信號燈控制動作空間，以LLM智能體的策略控制目標交通路口的信號燈。

LLM的輸出為分析推理軌跡與調節(jié)路口信號燈的控制動作。其目標為優(yōu)化長期內(nèi)交通路口的通行效率。其可形式地表示為：

具體來說，對于交通狀態(tài)觀測特征構建，研究人員收集了兩種在現(xiàn)實場景中可以簡單獲取到的觀測特征：不同車道上排隊車的數(shù)量；同車道上，還未到達路口車的數(shù)量。

常識知識增強的智能體提示構建方面，除觀測特征外，研究人員還向LLM提供了在處理交通信號控制任務中其他必不可少的信息，包括交通場景描述、任務描述和控制動作空間。

這使得LLM能夠全面了解任務，從而做出合理的控制決策。

此外，該研究還整合了常識知識，以緩解通用型LLM在交通控制領域知識上的局限性。

這些知識規(guī)定了智能體需要優(yōu)先考慮排隊長度較長的車道，而減弱對距離路口較遠車輛的注意力。形式化地，該研究將智能體提示表示為：

提示符模板的簡要示意如下圖所示：

在智能體的分析推理及決策方面，該研究利用上述提示LLM進行零樣本（Zero-Shot）推理。

其決策過程包含兩個關鍵步驟：分析推理及決策。

首先，LLM會對所給任務及常識知識進行理解，并評估各車道的當前交通狀況。

隨后，LLM選擇合適的信號燈配置，以允許擁堵最嚴重的車道通行，從而優(yōu)化交通流量，確保車輛的順暢通過。

通過這種方式，LLMLight不僅可以制定有效的控制策略，還可以為每個決策提供其背后推理邏輯。這會極大有助于建立更具解釋性和透明性的交通控制系統(tǒng)。

形式化地，研究人員將推理和執(zhí)行行動表示為，LLM主干的決策過程示例如下圖所示：

LightGPT模型訓練

此外，該研究還提出了一種訓練方法，以專門優(yōu)化用于交通信號燈控制的LLM——LightGPT。

它主要包括三個階段：

• 推理軌跡的收集和篩選：首先，該研究收集GPT-4的思維鏈推理軌跡進行模仿學習微調，之后篩選出與長期優(yōu)化目標最相符的軌跡以確保數(shù)據(jù)質量；
• 模仿學習微調：利用GPT-4的決策及其推理軌跡對學生LLM進行訓練；
• 評論家模型指導的策略優(yōu)化：依據(jù)評論家模型的反饋進行微調，進一步改善LLM的決策過程。

下圖展示了其訓練流程：

推理軌跡的收集和篩選

利用上述方法構建的提示，該研究首先讓GPT-4與模擬交通環(huán)境進行交互，并收集其推理軌跡。

為了確保所收集數(shù)據(jù)的質量，研究人員篩選出與交通信號燈控制的長期目標最相符軌跡（如最小化未來的排隊長度）。這種篩選操作通過與一個預訓練的動作-價值網(wǎng)絡（Action-Value Network）的對齊來實現(xiàn)。

該研究通過在模擬環(huán)境中優(yōu)化貝爾曼方程（Bellman Equation）來訓練此網(wǎng)絡：

其中和是在信號燈切換時間步時觀察和控制動作，是獎勵折扣因子。是獎勵函數(shù)，其提供了在觀察下執(zhí)行動作的反饋（如隊列長度的負值）。是動作-價值函數(shù)，用于估計執(zhí)行后獲得的未來累積獎勵。

隨后，訓練好的動作-價值函數(shù)被用作評論家模型來評估GPT-4的決策。研究人員僅保留選擇可得到最高未來獎勵控制動作的推理軌跡，形式化地：

其中是模擬持續(xù)時間，是智能體提示，是GPT-4的推理軌跡。

模仿學習微調

這一階段，首先研究人員采用了一種模仿學習過程，令學生LLM基于GPT-4的決策及其推理軌跡進行訓練。

研究人員將提視為微調指令，將包含GPT-4選擇的控制動作的推理軌跡作為期望得到的回答，并以負對數(shù)似然（NLL）作為損失函數(shù)：

其中為在提示為的情況下生成字符的概率。

評論家模型指導的策略優(yōu)化

為進一步提高LLM控制策略的有效性，研究人員提出了一種策略優(yōu)化方法，通過調整LLM的推理軌跡以得出更合理的控制決策。

類似的，該研究繼續(xù)使用上述預訓練的動作-價值函數(shù)作為評論家模型，以評估由LLM選擇的控制動作。隨后，利用一種對齊微調算法來調整推理軌跡，最終引導LLM采取產(chǎn)生更高未來獎勵的決策。

具體而言，有個在提示下由策略采樣的推理軌跡

評論家模型給出每個軌跡推導出的控制動作的分數(shù)

接著，的字符平均對數(shù)似然值表示由生成的概率：

該研究采用帶有邊界約束項（RBC）的排名反饋損失進行優(yōu)化，以指導LLM得出產(chǎn)生得分更高控制動作的推理軌跡：

其中

是比評分更高的且最低的推理軌跡的概率，β是超參數(shù)。

是用于提升產(chǎn)生得分更高控制動作的軌跡的對齊項。

是用于防止性能下降的約束項。

該方法效果如何？

實驗階段，該研究使用了五個真實世界流量數(shù)據(jù)集，其中包括了來自濟南和杭州的數(shù)據(jù)。

此外，還利用了兩個在紐約更大的路網(wǎng)下采集的數(shù)據(jù)，以測試不同方法的在大型路網(wǎng)下的可擴展性。

為了測試在長尾情況下的泛化性，研究人員還合成了兩個額外的數(shù)據(jù)集，模擬了極端擁堵的路況。

該研究使用了平均旅行時間（ATT），路口平均隊列長度（AQL），以及路口平均等待時間（AWT）作為評價指標。

以下是具體的實驗結果。

總體性能比較

實驗結果表明，配備了LightGPT的LLMLight在所有基準測試中始終達到了SOTA或與經(jīng)典方法同等的性能水平。

盡管Advanced-CoLight（當前最先進的強化學習方法）在杭州數(shù)據(jù)集上表現(xiàn)優(yōu)于LLMLight（LightGPT），但它的決策需要依賴與鄰近路口之間的通信。

值得一提的是，LLMLight（LightGPT）僅利用當前路口的觀測特征就展現(xiàn)出強有競爭的結果，表明了其決策顯著的有效性。

對于由通用型大模型驅動的LLMLight，研究人員觀察到GPT-4表現(xiàn)最為出色，并展示出與最先進強化學習方法相當?shù)男Ч?/p>

同時Llama2-70B和13B分別獲得第二和第三名，這表明LLM在交通信號控制任務中也遵循了規(guī)?；?span>（scaling law）。

令人驚訝的是，ChatGPT-3.5的表現(xiàn)最不理想。

泛化性的比較

該研究首先測試了不同方法的可遷移性。標有“-T”的模型是在不同的道路網(wǎng)絡上預訓練得到的（例如，使用在濟南預訓練的模型在杭州數(shù)據(jù)集上評估可遷移性）。反之則在相同的數(shù)據(jù)集上進行訓練和測試。

該研究觀察到強化學習方法在遷移后性能明顯下降，尤其在濟南1和杭州1數(shù)據(jù)集中表現(xiàn)尤為明顯。相反，LLMLight（LightGPT）始終表現(xiàn)出優(yōu)越的性能，并在所有數(shù)據(jù)集上展現(xiàn)出優(yōu)異的可遷移性。

之后該研究分析了不同方法的可擴展性，測試它們在應用于規(guī)模更大的路網(wǎng)時的性能。

可以觀察到，大多數(shù)強化學習方法發(fā)生了顯著性能下降，甚至表現(xiàn)出比啟發(fā)式方法Maxpressure更差的性能。雖然最先進的強化學習方法在平均旅行時間（ATT）上與LLMLight（LightGPT）相當，但值得注意的是，它們的決策會導致最高延長57.80%的等待時間（AWT）。

這一結果表明，強化學習方法側重于優(yōu)化排隊車輛的總數(shù)，但可能會以犧牲少部分隊列的等待時間為代價。

在實際場景中，等待時間的重要性不容忽視。相比之下，LLMLight可以同時確保最短的旅行時間和等待時間，體現(xiàn)了其拓展到規(guī)模更大的路網(wǎng)時的優(yōu)良的可擴展性和適用性。

最后該研究為了探討了在極端擁堵情況下不同模型的性能，在濟南和杭州的路網(wǎng)上生成了兩個合成交通流數(shù)據(jù)集，其流量相比原始數(shù)據(jù)集增加了約四倍。

與可擴展性實驗類似，強化學習方法也表現(xiàn)出顯著的性能下降，表現(xiàn)出比Maxpressure更差的結果。

相比之下，LLMLight（LightGPT）始終表現(xiàn)出卓越的性能，體現(xiàn)了其在更加繁重的交通條件下的穩(wěn)健性和實用性。

可解釋性分析

為了評估LLMLight的可解釋性，研究人員在杭州數(shù)據(jù)集上進行了一個案例模擬。

在這個模擬場景中，北部路段出現(xiàn)了嚴重擁堵，表現(xiàn)為排隊的車輛出現(xiàn)積壓。

下圖詳細展示了LightGPT在此路況下的推理分析過程。

它以理解任務開始，并分析目標交叉口的交通情況以進行決策推理。隨后，它明確信號燈NLSL為最優(yōu)的選擇。

與強化學習方法不同，LLMLight不僅在制定有效的控制策略方面表現(xiàn)出色，而且還能為每個決策提供其背后的詳細解釋。這一獨特特征增強了LLMLight的透明度和可解釋性，有助于研究人員更全面地理解其決策行為。

最后，研究人員表示，LLMLight的下一步研究將著眼于融合多模態(tài)信息及群體協(xié)同。

多模態(tài)大模型可以直接從端到端地提取路口的交通擁堵信息，使模型能夠自行探索可用的視覺特征，進而自我優(yōu)化出更優(yōu)的決策。

而群體協(xié)同則能夠實現(xiàn)臨近路口、車輛和智能體之間的信息交換，從而獲得全局信息，最終達到優(yōu)化整體路網(wǎng)的交通效率的目的。

論文鏈接：https://arxiv.org/abs/2312.16044
代碼鏈接：https://github.com/usail-hkust/LLMTSCS
主頁鏈接：https://gungnir2099.github.io/LLMLight-Page/
模型權重鏈接：https://huggingface.co/USAIL-HKUSTGZ/LLMLight-LightGPT