DriveLM是一個基于語言的驅動項目，它包含一個數據集和一個模型。通過DriveLM，我們介紹了自動駕駛（AD）中大型語言模型的推理能力，以做出決策并確?？山忉尩囊?guī)劃。

在DriveLM的數據集中，將人工書寫的推理邏輯作為連接，促進感知、預測和規(guī)劃（P3）。在模型中，我們提出了一個具有思維圖能力的AD視覺語言模型，以產生更好的規(guī)劃結果。目前，數據集的演示已經發(fā)布，完整的數據集和模型將在未來發(fā)布。

項目鏈接：https://github.com/OpenDriveLab/DriveLM

What is Graph-of-Thoughts in AD?

數據集最令人興奮的方面是，P3中的問答（QA）以圖形風格的結構連接，QA對作為每個節(jié)點，對象的關系作為邊。

與純語言的思維樹或思維圖相比，我們更傾向于多模態(tài)。在AD域中這樣做的原因是，從原始傳感器輸入到最終控制動作，每個階段都定義了AD任務。

DriveLM數據集中包含什么？

基于主流的nuScenes數據集構建我們的數據集。DriveLM最核心的元素是基于幀的P3 QA。感知問題需要模型識別場景中的對象。預測問題要求模型預測場景中重要對象的未來狀態(tài)。規(guī)劃問題促使模型給出合理的規(guī)劃行動，避免危險的行動。

標定過程如何？

1. 關鍵幀選擇。給定一個剪輯中的所有幀，注釋器將選擇需要注釋的關鍵幀。標準是，這些框架應該涉及自車運動狀態(tài)的變化（變道、突然停車、停車后啟動等）。
2. 關鍵對象選擇。給定關鍵幀，注釋器需要拾取周圍六個圖像中的關鍵對象。標準是這些物體應該能夠影響自車（交通信號燈、過街行人、其他車輛）
3. 問答注釋。給定這些關鍵對象，我們會自動生成關于感知、預測和規(guī)劃的單個或多個對象的問題。更多細節(jié)可以在我們的演示數據中找到。