本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

• 論文鏈接：https://arxiv.org/pdf/2408.13742
• 代碼鏈接：https://github.com/HKUST-Aerial-Robotics/MIND

本文介紹了基于自適應交互模態(tài)探索的多模態(tài)集成的預測與決策。由于多模態(tài)交互的復雜性，在擁堵且動態(tài)的環(huán)境中導航給自動駕駛系統(tǒng)帶來了重大挑戰(zhàn)，其中各種交通參與者和自動駕駛車輛的行為是復雜的，并且是隱式耦合的。本文提出了一種新的框架，即多模態(tài)集成的預測與決策（MIND），其通過高效地生成涵蓋多種不同交互模態(tài)的聯(lián)合預測和決策來解決這些挑戰(zhàn)。具體而言，MIND利用基于學習的場景預測來獲得具有社會一致性交互模態(tài)的集成預測和決策，并且利用模態(tài)感知動態(tài)分支機制來生成場景樹，該場景樹高效地捕獲不同交互模態(tài)的演變，其在規(guī)劃范圍內(nèi)交互不確定性的變化較小。交互不確定性下的應急規(guī)劃無縫地利用場景樹來獲得明確且考慮多模態(tài)演變的行為?；诂F(xiàn)實世界駕駛數(shù)據(jù)集的閉環(huán)仿真中的綜合實驗結(jié)果表明，本文方法在各種駕駛環(huán)境下的性能優(yōu)于其它強大的基線。

主要貢獻

本文的貢獻總結(jié)如下：

1）本文設(shè)計了一種場景預測網(wǎng)絡，并且將其與具有動態(tài)分支機制的樹搜索技術(shù)相結(jié)合，從而獲得覆蓋范圍更廣的場景樹，用于探索世界的演變；

2）對于場景樹中的多種潛在未來變化，本文利用應急規(guī)劃來自然地生成針對從根開始的每個分支的最優(yōu)軌跡樹，從而確定最佳決策；

3）本文通過各種實驗評估MIND，結(jié)果表明，在不同的駕駛場景中優(yōu)于其它基線，展現(xiàn)了其在復雜情況下的有效性。

論文圖片和表格

總結(jié)

本文引入了MIND框架，其作為動態(tài)交互環(huán)境中實現(xiàn)自動駕駛同時預測與決策的綜合方法。該框架系統(tǒng)性地結(jié)合了場景預測網(wǎng)絡、自適應交互模態(tài)探索機制和應急規(guī)劃，以在處理多模態(tài)未來演變的同時，在復雜交互場景中生成合理的行為。與最新技術(shù)的廣泛定量比較以及定性實驗證明了本文方法的優(yōu)越性。展望未來，本文旨在將所提出的框架擴展到現(xiàn)實世界應用中。