arXiv論文“ViP3D: End-to-end Visual Trajectory Prediction via 3D Agent Queries“，22年8月2日上傳，清華、上海（姚）期智研究院、CMU、復(fù)旦、理想汽車(chē)和MIT等的聯(lián)合工作。

現(xiàn)有的自主駕駛流水線(xiàn)將感知模塊與預(yù)測(cè)模塊分開(kāi)。這兩個(gè)模塊通過(guò)人工選擇的特征進(jìn)行通信，如智體框和軌跡作為接口。由于這種分離，預(yù)測(cè)模塊僅從感知模塊接收部分信息。更糟糕的是，來(lái)自感知模塊的錯(cuò)誤可能會(huì)傳播和累積，從而對(duì)預(yù)測(cè)結(jié)果產(chǎn)生不利影響。

這項(xiàng)工作提出ViP3D，一種視覺(jué)軌跡預(yù)測(cè)流水線(xiàn)，利用原始視頻的豐富信息預(yù)測(cè)場(chǎng)景中智體的未來(lái)軌跡。ViP3D在整個(gè)流水線(xiàn)中使用稀疏智體query，使其完全可微分和可解釋。此外，提出一種新的端到端視覺(jué)軌跡預(yù)測(cè)任務(wù)的評(píng)估指標(biāo)，端到端預(yù)測(cè)精度（EPA，End-to-end Prediction Accuracy），其在綜合考慮感知和預(yù)測(cè)精度的同時(shí)，對(duì)預(yù)測(cè)軌跡與地面真實(shí)軌跡進(jìn)行評(píng)分。

如圖是傳統(tǒng)多步級(jí)聯(lián)流水線(xiàn)與ViP3D的比較：傳統(tǒng)的流水線(xiàn)涉及多個(gè)不可微模塊，例如檢測(cè)、跟蹤和預(yù)測(cè)；ViP3D將多視圖視頻作為輸入，以端到端的方式生成預(yù)測(cè)軌跡，可有效利用視覺(jué)信息，比如車(chē)輛轉(zhuǎn)向信號(hào)。

ViP3D旨在以端到端的方式解決原始視頻的軌跡預(yù)測(cè)問(wèn)題。具體而言，給定多視圖視頻和高清地圖，ViP3D預(yù)測(cè)場(chǎng)景中所有智體的未來(lái)軌跡。

ViP3D的總體流程如圖所示：首先，基于查詢(xún)的跟蹤器處理來(lái)自周?chē)鷶z像機(jī)的多視圖視頻，獲得有視覺(jué)特征所跟蹤智體的query。智體query中的視覺(jué)特征，捕獲智體的運(yùn)動(dòng)動(dòng)力學(xué)和視覺(jué)特征，以及智體之間的關(guān)系。之后，軌跡預(yù)測(cè)器將跟蹤智體的query作為輸入，并與HD地圖特征相關(guān)聯(lián)，最后輸出預(yù)測(cè)的軌跡。

基于query的跟蹤器從環(huán)繞攝像機(jī)的原始視頻中提取視覺(jué)特征。具體而言，對(duì)于每一幀，按照DETR3D提取圖像特征。對(duì)于時(shí)域特征聚合，按照MOTR（“Motr: End-to-end multiple-object tracking with transformer“. arXiv 2105.03247, 2021）設(shè)計(jì)了一個(gè)基于query的跟蹤器，包括兩個(gè)關(guān)鍵步驟：query特征更新和query監(jiān)督。智體query會(huì)隨時(shí)間更新，建模智體的運(yùn)動(dòng)動(dòng)力學(xué)。

大多數(shù)現(xiàn)有的軌跡預(yù)測(cè)方法可分為三個(gè)部分：智體編碼、地圖編碼和軌跡解碼。在基于query的跟蹤之后，獲得被跟蹤智體的query，該query可以被視為通過(guò)智體編碼獲得的智體特征。因此，剩下的任務(wù)是地圖編碼和軌跡解碼。

分別將預(yù)測(cè)和真值智體表示為無(wú)序集S?和S，其中每個(gè)智體由當(dāng)前時(shí)間步的智體坐標(biāo)和K個(gè)可能的未來(lái)軌跡表示。對(duì)于每個(gè)智體類(lèi)型c，計(jì)算Sc?和Sc之間的預(yù)測(cè)精度。將預(yù)測(cè)智體和真值智體之間的成本定義為：

這樣Sc?和Sc之間的EPA定義為：

實(shí)驗(yàn)結(jié)果如下：

注：這個(gè)目標(biāo)渲染做的不錯(cuò)。