01何為軌跡預(yù)測(cè)

自動(dòng)駕駛中，軌跡預(yù)測(cè)一般位于感知模塊的后端，規(guī)控的前端，為承上啟下的模塊。輸入為感知模塊提供的目標(biāo)track的state信息、道路結(jié)構(gòu)信息，綜合考量高精地圖信息、目標(biāo)之間的交互信息，環(huán)境的語(yǔ)義信息及目標(biāo)的意圖信息，對(duì)感知到的各類目標(biāo)做出意圖預(yù)測(cè)(cut in/out、直行)以及未來(lái)一段時(shí)間的軌跡預(yù)測(cè)(0-5s不等)。如下圖所示。

ADAS系統(tǒng)需要對(duì)周圍環(huán)境信息有一定認(rèn)知能力，最基本的水平是要識(shí)別環(huán)境，再上一層則需要理解環(huán)境，而再上一層則需要對(duì)環(huán)境進(jìn)行預(yù)測(cè)。在對(duì)目標(biāo)進(jìn)行預(yù)測(cè)后，規(guī)控便可根據(jù)預(yù)測(cè)信息進(jìn)行自車的路徑規(guī)劃，并做出決策對(duì)可能出現(xiàn)的危險(xiǎn)情況進(jìn)行制動(dòng)或發(fā)出告警，這便是軌跡預(yù)測(cè)模塊存在的意義所在。

02 兩個(gè)挑戰(zhàn)

軌跡預(yù)測(cè)可分為短期預(yù)測(cè)與長(zhǎng)期預(yù)測(cè)。

1. 短期預(yù)測(cè)一般根據(jù)運(yùn)動(dòng)學(xué)模型(CV/CA/CTRV/CTRA)基于當(dāng)前的目標(biāo)state信息預(yù)測(cè)未來(lái)一段時(shí)間的軌跡，一般<1s是合適的，如果時(shí)間過(guò)長(zhǎng)，那目標(biāo)僅與運(yùn)動(dòng)學(xué)相關(guān)的假設(shè)就不成立了。短期預(yù)測(cè)可以建一個(gè)運(yùn)動(dòng)模型專門去預(yù)測(cè)，同樣的也可以使用前面感知模塊濾波中的預(yù)測(cè)模塊，只不過(guò)不調(diào)用測(cè)量進(jìn)行濾波更新，這樣的好處是可以傳播不確定度。
2. 長(zhǎng)期預(yù)測(cè)是當(dāng)前業(yè)界主要在做的。這種預(yù)測(cè)僅基于運(yùn)動(dòng)模型就不合適了，一般需要做意圖預(yù)測(cè)，并結(jié)合一些上下文信息(地圖、目標(biāo)間交互信息)才能得到不錯(cuò)的結(jié)果。此時(shí)業(yè)界有很多不同的輸出形式，比如輸出軌跡的概率分布、輸出多條預(yù)測(cè)軌跡、輸出一條可能性最大的預(yù)測(cè)軌跡。

對(duì)于長(zhǎng)期的軌跡預(yù)測(cè)有兩個(gè)挑戰(zhàn)：

1. 輸出一條可能的軌跡或者輸出所有可能的軌跡都是不合理的。你輸出一條預(yù)測(cè)軌跡就可能漏掉真正的軌跡，你輸出所有可能的軌跡就會(huì)出現(xiàn)誤報(bào)的情況，這對(duì)于ADAS系統(tǒng)均是不可接受的。應(yīng)該考慮把預(yù)測(cè)軌跡限制在合適的子集中。
2. 對(duì)軌跡預(yù)測(cè)做的越多就需要做更多的假設(shè)。極端一點(diǎn)的假設(shè)就是假定道路上的所有的目標(biāo)都遵守交通規(guī)則。這如果用于交通模擬功能是合理的，但是對(duì)adas系統(tǒng)并不合適，他需要對(duì)潛在的危險(xiǎn)情況保持敏感。

影響做長(zhǎng)期軌跡預(yù)測(cè)的不確定性主要來(lái)源于三個(gè)方面：

1. 感知模塊輸出的目標(biāo)state估計(jì)的不確定。
2. 駕駛意圖預(yù)測(cè)的不確定性。
3. 從意圖識(shí)別完與車輛機(jī)動(dòng)性改變中間的不確定性。

03 主要考量

對(duì)軌跡預(yù)測(cè)系統(tǒng)應(yīng)該考慮的四個(gè)問(wèn)題：

1. 軌跡預(yù)測(cè)要對(duì)潛在的危險(xiǎn)有敏感性，這是軌跡預(yù)測(cè)存在的意義要求的。
2. 既要考慮運(yùn)行模型也要考慮意圖與周圍環(huán)境的信息。
3. 考慮上述的不確定性。
4. 考慮輸出的軌跡數(shù)量問(wèn)題。

04 業(yè)界方法

如下圖為bosch公司發(fā)表綜述論文[2]中的分類方法。

• 如果按照使用模型的不同來(lái)分類，軌跡預(yù)測(cè)方法可以分為使用物理模型的方法、使用學(xué)習(xí)的方法、使用規(guī)劃算法的方法。
• 如果按照使用的信息來(lái)分類，軌跡預(yù)測(cè)方法可以分為使用目標(biāo)的信息的方法、使用環(huán)境中的動(dòng)態(tài)目標(biāo)信息的方法、使用靜態(tài)環(huán)境信息的方法。

軌跡預(yù)測(cè)具體會(huì)涉及到哪些通用算法呢？

• 意圖預(yù)測(cè)：模糊理論、static BNs、DBN(HMM、JumpMM)、DS證據(jù)理論、機(jī)器學(xué)習(xí)中的分類算法。
• 深度學(xué)習(xí)相關(guān)，端到端輸出。CNN、LSTM、RNN、Attention。

那軌跡預(yù)測(cè)可以使用哪些具體信息呢？

• 目標(biāo)信息：當(dāng)前/歷史的速度與位置信息，如果是行人軌跡預(yù)測(cè)的話，還可使用行人頭的朝向、關(guān)節(jié)信息、性別與年齡信息以及人的注意力信息。
• 環(huán)境中的動(dòng)態(tài)目標(biāo)信息：social force、吸引力、群體約束信息。
• 靜態(tài)環(huán)境信息：free space、map、語(yǔ)義信息(道路結(jié)構(gòu)/交通規(guī)則/當(dāng)前交通信號(hào)燈)。

當(dāng)前學(xué)術(shù)界軌跡預(yù)測(cè)方面的論文越來(lái)越多，主要原因還是業(yè)界沒(méi)有行之有效的方法。

以下列舉業(yè)界論文：

BMW：物理模型+意圖預(yù)測(cè)(learning-based)。使用啟發(fā)式的方法集成專家知識(shí)，簡(jiǎn)化了交互模型，在意圖預(yù)測(cè)的分類模型中加入了博弈論思想[3]。

BENZ：主要為意圖預(yù)測(cè)的相關(guān)論文，使用的是DBN[4]。

Uber：LaneRCNN[5]。

Google：VectorNet[6]。

Huawei：HOME[7]。

Waymo：TNT[8]。

Aptive：Covernet[9]。

NEC：R2P2[10]。

商湯：TPNet[11]。

美團(tuán)：StarNet[12]。行人。

Aibee：Sophie[13]。行人。

MIT：Social lstm[14]。行人。

中科大：STGAT[15]。行人。

百度：Lane-Attention[16]。

Apollo：可以看如下博客作為參考。

www.cnblogs.com/liuzubing/p/11388485.html

Apollo的預(yù)測(cè)模塊接收感知、定位以及地圖模塊的輸入。

1. 首先做了場(chǎng)景拆分，分為了普通巡航道路以及路口兩個(gè)場(chǎng)景。
2. 而后對(duì)感知得到的目標(biāo)做重要性劃分，分為可以忽略的目標(biāo)(不會(huì)影響到自車)、需要謹(jǐn)慎處理的目標(biāo)(可能影響到自車)以及普通目標(biāo)(介于二者之間)。
3. 而后進(jìn)入Evaluator，本質(zhì)上就是一個(gè)意圖預(yù)測(cè)。

4.最后進(jìn)入predictor，用于預(yù)測(cè)軌跡生成。對(duì)于靜止目標(biāo)、沿道行駛、freeMove、路口等不同場(chǎng)景做不同的操作。

05 數(shù)據(jù)集

(1) NGSIM

此數(shù)據(jù)集是美國(guó)FHWA搜集的高速公路行車數(shù)據(jù)，包括了US101、I-80等道路上的所有車輛在一個(gè)時(shí)間段的車輛行駛狀況。數(shù)據(jù)是采用攝像頭獲取，然后加工成一條一條的軌跡點(diǎn)記錄。其數(shù)據(jù)集為CSV文件。數(shù)據(jù)沒(méi)有太多噪聲。

更多是整體調(diào)度層面的信息，如道路規(guī)劃、車道設(shè)置、車流量調(diào)節(jié)等。車輛運(yùn)動(dòng)學(xué)狀態(tài)需要進(jìn)一步抽取。處理代碼可使用下面的github。

github.com/nachiket92/conv-social-pooling

(2) INTERACTION

此數(shù)據(jù)集為加州大學(xué)伯克利分校機(jī)械系統(tǒng)控制實(shí)驗(yàn)室（MSC Lab）與來(lái)自卡爾斯魯厄理工學(xué)院（KIT）和國(guó)立巴黎高等礦業(yè)學(xué)院（MINES ParisTech）的合作者建立了一個(gè)國(guó)際性、對(duì)抗性、協(xié)作性的數(shù)據(jù)集（INTERACTION）。它能準(zhǔn)確再現(xiàn)不同國(guó)家的各種駕駛場(chǎng)景中道路使用者（如車輛、行人）的大量交互性行為。

www.interaction-dataset.com/

(3)apolloscape

此為Apollo的公開(kāi)自動(dòng)駕駛數(shù)據(jù)集，其中有為軌跡預(yù)測(cè)提供的數(shù)據(jù)。內(nèi)部文件為2fps的1min數(shù)據(jù)序列，數(shù)據(jù)結(jié)構(gòu)包括幀數(shù)ID、目標(biāo)ID、目標(biāo)類別、位置xyz，長(zhǎng)寬高信息以及heading，其中目標(biāo)類別包括小車、大車、行人、自行車/電動(dòng)車以及其他。

apolloscape.auto/trajectory.html

(4) TRAF

此數(shù)據(jù)集聚焦于高密度的交通狀況，此狀況可以幫助算法更好地專注在不確定環(huán)境下人類駕駛員行為分析。數(shù)據(jù)每幀分別包含約13輛機(jī)動(dòng)車輛，5名行人和2輛自行車

gamma.umd.edu/researchdirections/autonomousdriving/ad

在鏈接中有很多使用此數(shù)據(jù)集的軌跡預(yù)測(cè)項(xiàng)目。

(5) nuScenes

重磅來(lái)了，此數(shù)據(jù)集是2020年4月提出。其在波士頓和新加坡這兩個(gè)城市收集了1000個(gè)駕駛場(chǎng)景，這兩個(gè)城市交通繁忙而且駕駛狀況極具挑戰(zhàn)性。其數(shù)據(jù)集具有相關(guān)論文，可以看看，更好了解此數(shù)據(jù)集。

arxiv.org/abs/1903.11027

此數(shù)據(jù)集中有預(yù)測(cè)相關(guān)的比賽，可以關(guān)注。

www.nuscenes.org/prediction?externalData=all&mapData=all&modalities=Any

06 評(píng)估指標(biāo)

當(dāng)前主要使用的評(píng)估指標(biāo)為幾何度量。

幾何度量有很多個(gè)指標(biāo)，主要使用的是ADE、FDE、MR。

ADE為均一化歐式距離。
FDE為最終預(yù)測(cè)點(diǎn)之間的歐式距離。
MR為未中率。有很多不同的名字，主要就是設(shè)一個(gè)閾值，預(yù)測(cè)點(diǎn)跡之間歐式距離低于這個(gè)預(yù)測(cè)就記為命中，高于這個(gè)閾值就記為未命中，最后計(jì)算一個(gè)百分比。

幾何度量是衡量預(yù)測(cè)軌跡與實(shí)際軌跡相似性的重要指標(biāo)，可以很好是代表精度。但是以軌跡預(yù)測(cè)存在的意義來(lái)說(shuō)，僅僅評(píng)估精度是沒(méi)有意義的。還應(yīng)有概率度量，用來(lái)評(píng)估不確定性，尤其是對(duì)于多模態(tài)輸出分布；還有任務(wù)層面度量，魯棒性的度量以及效率的評(píng)估這些。

概率度量：可以使用KL散度、預(yù)測(cè)概率、累積概率來(lái)作為概率度量。比如NLL, KDE-based NLL[17]。
任務(wù)層度量：評(píng)估軌跡預(yù)測(cè)對(duì)后端規(guī)控的影響(piADE,piFDE)[18]。
魯棒性：要考慮在預(yù)測(cè)之前，觀測(cè)到的部分軌跡的長(zhǎng)度或持續(xù)時(shí)間；訓(xùn)練數(shù)據(jù)的size；輸入數(shù)據(jù)采樣頻率和傳感器噪聲；神經(jīng)網(wǎng)絡(luò)泛化、過(guò)擬合及輸入利用率分析；感知模塊送入的輸入如果有問(wèn)題是否保證功能正常等等方面的因素。
效率：要考慮算力的。

說(shuō)一下任務(wù)層的度量，piADE與piPDE為英偉達(dá)在2021年論文中提出的，我這邊有閱讀文章如下：

https://zhuanlan.zhihu.com/p/396549936

如下圖所示，此論文的主要考量為基于真值(藍(lán)色)，灰色的目標(biāo)車預(yù)測(cè)的紫色與綠色軌跡如果使用幾何度量是具有相同的ADE與FDE的，但是不同的預(yù)測(cè)方式對(duì)自車的planning會(huì)造成影響，而現(xiàn)在沒(méi)有這種評(píng)估任務(wù)層級(jí)的度量，于是他們提出piADE與piFDE來(lái)做這個(gè)事。

07 三個(gè)問(wèn)題

問(wèn)題1：

三種不同的軌跡預(yù)測(cè)方法：基于物理模型、基于學(xué)習(xí)、基于規(guī)劃各自應(yīng)用場(chǎng)景在什么地方，有什么優(yōu)缺點(diǎn)呢？

不同的建模方法可以結(jié)合并利用不同類型的上下文信息。利用目標(biāo)的上下文線索、動(dòng)靜態(tài)環(huán)境可以擴(kuò)展出所有建模方法。然而，不同的建模方法在結(jié)合不同類別的語(yǔ)義信息時(shí)表現(xiàn)出不同程度的復(fù)雜性和效率。

1.基于物理模型的方法

適用場(chǎng)景：目標(biāo)、靜態(tài)環(huán)境、動(dòng)力學(xué)模擬可以被顯式轉(zhuǎn)移方程建模。

優(yōu)點(diǎn)：

• 基于物理模型的方法通過(guò)選擇適當(dāng)?shù)霓D(zhuǎn)移方程，可以很容易地跨環(huán)境應(yīng)用，而不需要訓(xùn)練數(shù)據(jù)，盡管一些用于參數(shù)估計(jì)的數(shù)據(jù)是有用的。在論文中，簡(jiǎn)單的CV模型也可產(chǎn)生合理的結(jié)果。
• 基于物理模型的方法很容易和target agent cues結(jié)合進(jìn)行擴(kuò)展。

缺點(diǎn)：

• 這種顯示建模的方法可能無(wú)法很好地捕捉現(xiàn)實(shí)世界的復(fù)雜性。
• 轉(zhuǎn)移方程在空間與時(shí)間上缺乏全局信息，導(dǎo)致可能獲得是局部最優(yōu)解。

這樣的缺點(diǎn)導(dǎo)致使用物理的方法限制在短期預(yù)測(cè)或者obstacle-free的環(huán)境。

2.基于學(xué)習(xí)的方法

適用場(chǎng)景：適合于當(dāng)前環(huán)境具有復(fù)雜的未知信息(例如具有豐富語(yǔ)義的公共區(qū)域)，并且這些信息可以用于比較大的預(yù)測(cè)范圍。

優(yōu)點(diǎn)：

• 基于學(xué)習(xí)的方法可以潛在地處理所有類型的上下文信息，這些信息編碼在收集的數(shù)據(jù)集中。他們中一些是map-based，另外一些可以用來(lái)對(duì)上下文信息進(jìn)一步擴(kuò)展。

缺點(diǎn)：

• 需要在特定地點(diǎn)收集足夠的數(shù)據(jù)，才能進(jìn)行訓(xùn)練。
• 上下文信息擴(kuò)展可能會(huì)導(dǎo)致involved learning、數(shù)據(jù)效率和泛化問(wèn)題。
• 傾向于在非安全的關(guān)鍵組件中使用，在ADAS中比較在意可解釋性，這是基于學(xué)習(xí)方法無(wú)法做到的。

3.基于規(guī)劃的方法

適用場(chǎng)景：在終點(diǎn)定下來(lái)了且環(huán)境地圖可獲得的場(chǎng)景，有很好的表現(xiàn)。

優(yōu)點(diǎn)：

• 如果滿足以上兩個(gè)條件，其比物理方法可以獲得更好的精度，比基于學(xué)習(xí)的方法有更好的泛化能力。

缺點(diǎn)：

• 傳統(tǒng)的規(guī)劃算法：Dijkstra、Fast Marching Method、optimal sampling-based motion planners會(huì)隨著目標(biāo)的數(shù)量、環(huán)境的大小、預(yù)測(cè)范圍的增加而指數(shù)增長(zhǎng)。
• 與基于物理的簡(jiǎn)單模型相比，基于上下文線索的規(guī)劃方法(如逆向規(guī)劃的獎(jiǎng)勵(lì)函數(shù)和正向規(guī)劃的模型)的參數(shù)是瑣碎的，通常更容易學(xué)習(xí)，但在推理方面，對(duì)于高維(目標(biāo))智能體狀態(tài)，效率較低。

基于規(guī)劃的方法本質(zhì)上是map-aware 與 abstacle-aware，很自然地使用語(yǔ)義線索進(jìn)行擴(kuò)展。通常情況下，他們會(huì)將情境復(fù)雜性編碼到目標(biāo)/獎(jiǎng)勵(lì)方程中，但這可能無(wú)法恰當(dāng)?shù)卣蟿?dòng)態(tài)線輸入。因此，作者必須設(shè)計(jì)具體的修改，將動(dòng)態(tài)輸入納入預(yù)測(cè)算法(Jump Markov Processes、local adaptations of the predicted trajectory、game-theoretic)。與基于學(xué)習(xí)的方法不同，目標(biāo)輸入很容易被合并，因?yàn)榍跋蚺c逆向的規(guī)劃過(guò)程都基于同一個(gè)目標(biāo)動(dòng)態(tài)模型。

問(wèn)題2：

軌跡預(yù)測(cè)的問(wèn)題現(xiàn)在已經(jīng)解決了嗎？

軌跡預(yù)測(cè)的需求很大程度上取決于應(yīng)用領(lǐng)域和其中的特定用例場(chǎng)景。短期內(nèi)可能不能說(shuō)軌跡預(yù)測(cè)這個(gè)問(wèn)題已經(jīng)解決了。以汽車行業(yè)舉例，因?yàn)橛袑ｉT的標(biāo)準(zhǔn)規(guī)定，定義了最大速度、交通規(guī)則、行人速度和加速度的分布，以及車輛舒適加速/減速率的規(guī)范，其在制定需求和提出的解決方案方面似乎是最成熟的。可以說(shuō)對(duì)于智能汽車的AEB功能，解決方案已經(jīng)達(dá)到了允許工業(yè)化生產(chǎn)消費(fèi)產(chǎn)品的性能水平，對(duì)于其所需用例已經(jīng)解決。至于其他用例，則需要在不久的將來(lái)對(duì)需求進(jìn)行更多的標(biāo)準(zhǔn)化和明確的表述。并且對(duì)于魯棒性與穩(wěn)定性還需要演進(jìn)。

所以在回答軌跡預(yù)測(cè)是否已經(jīng)解決這個(gè)問(wèn)題之前，最起碼應(yīng)該把標(biāo)準(zhǔn)定了。

當(dāng)前對(duì)于機(jī)器人領(lǐng)域來(lái)說(shuō)

• 基于物理模型與學(xué)習(xí)的方法可以在短時(shí)間(1-2s)有較高的精度。非常適用于人群的局部運(yùn)動(dòng)規(guī)劃與碰撞避免。最簡(jiǎn)單的CV模型就對(duì)機(jī)器人的局部規(guī)劃有很好的效果。如果考慮行人之間的交互以及因?yàn)闄C(jī)器人的存在對(duì)行人運(yùn)動(dòng)產(chǎn)生的影響，有好多種先進(jìn)算法。
• 對(duì)于需要預(yù)測(cè)15-20s的去全局路徑規(guī)劃，有很大挑戰(zhàn)。需求可以適當(dāng)放松，而理解動(dòng)靜態(tài)上下文輸入(長(zhǎng)期來(lái)看影響運(yùn)行、在環(huán)境地圖上的推理、目標(biāo)的意圖推斷)則變得十分重要。對(duì)于局部和全局路徑規(guī)劃，位置無(wú)關(guān)方法最適合在各種環(huán)境下預(yù)測(cè)運(yùn)動(dòng)。
• 當(dāng)前機(jī)器人預(yù)測(cè)4.8s的ADE為0.19-0.4m的。簡(jiǎn)單的速度模型也可以達(dá)到0.53m的ADE。9s預(yù)測(cè)有1.4-2m的ADE。

當(dāng)前對(duì)于自動(dòng)駕駛領(lǐng)域來(lái)說(shuō)：

• 大多數(shù)工作考慮的都是橫穿馬路的行人：開(kāi)始走 繼續(xù)走 停止走。
• 自行車：一個(gè)騎自行車的人在接近一個(gè)十字路口時(shí)，后面有多達(dá)五個(gè)不同的道路方向。

問(wèn)題3：

當(dāng)前衡量軌跡預(yù)測(cè)性能的評(píng)估技術(shù)是否足夠好？

當(dāng)前對(duì)于預(yù)測(cè)算法缺乏系統(tǒng)性的方法，特別是對(duì)于考慮上下文輸入以及預(yù)測(cè)任意數(shù)量的目標(biāo)的軌跡預(yù)測(cè)方法。

現(xiàn)在大多數(shù)作者僅僅使用幾何度量(AED, FDE)作為衡量算法好壞的指標(biāo)。然而對(duì)于長(zhǎng)時(shí)間預(yù)測(cè)，預(yù)測(cè)通常是多模態(tài)的，并且與不確定性有關(guān)，對(duì)此種方法的性能評(píng)估應(yīng)該使用考慮到這一點(diǎn)的指標(biāo)，例如從KLD得到的負(fù)對(duì)數(shù)似然或?qū)?shù)損失。

此外也需要概率度量，其可以更好地反映了人體運(yùn)動(dòng)的隨機(jī)性以及感知缺陷所涉及的不確定性。

還有魯棒性的評(píng)估，需要考量在感知端出現(xiàn)檢測(cè)錯(cuò)誤，跟蹤缺陷，自我定位不確定性或地圖變化此類場(chǎng)景時(shí)系統(tǒng)的穩(wěn)定性。

同時(shí)當(dāng)前所使用數(shù)據(jù)集，雖然包含的場(chǎng)景十分的全面，但是這些數(shù)據(jù)集通常是半自動(dòng)注釋的，因此只能提供不完整和有噪聲真值估計(jì)。此外，在一些需要長(zhǎng)期預(yù)測(cè)的應(yīng)用領(lǐng)域中，軌跡長(zhǎng)度往往不足。最后，數(shù)據(jù)集中的目標(biāo)之間的交互通常是有限的，例如在稀疏的環(huán)境里面，目標(biāo)之間很難有影響。

綜上：為了評(píng)價(jià)預(yù)測(cè)質(zhì)量，研究者應(yīng)該選擇更復(fù)雜的數(shù)據(jù)集(包括非凸的障礙、長(zhǎng)軌跡和復(fù)雜的interaction)以及完整的度量指標(biāo)(幾何+概率)。比較好的方法是根據(jù)不同的預(yù)測(cè)時(shí)間、不同的觀測(cè)周期，不同的場(chǎng)景復(fù)雜度設(shè)置不同的精度要求。并且應(yīng)該有魯棒性評(píng)估以及實(shí)時(shí)性評(píng)估。此外應(yīng)該有相關(guān)的指標(biāo)可以衡量ADAS系統(tǒng)對(duì)后端影響程度的指標(biāo)[18]以及衡量對(duì)危險(xiǎn)場(chǎng)景敏感性的指標(biāo)[1]。

08 未來(lái)方向

來(lái)自于[2]中的討論，此處為引用。

當(dāng)前的趨勢(shì)時(shí)用更復(fù)雜的方法去超越使用單一模型+KF的方法

方向：

1. 使用強(qiáng)化的上下文信息：可以使用更深層次的語(yǔ)義信息，這種語(yǔ)義信息應(yīng)對(duì)靜態(tài)環(huán)境有更好的理解。并且當(dāng)前使用語(yǔ)義特征進(jìn)行軌跡預(yù)測(cè)仍有待于開(kāi)發(fā)
2. 關(guān)于有social-aware的場(chǎng)景：①當(dāng)前大多數(shù)方法假設(shè)所有被觀察到的人的行為都是相似的，他們的運(yùn)動(dòng)可以由相同的模型和相同的特征來(lái)預(yù)測(cè)，而對(duì)高層次社會(huì)屬性的捕捉和推理還處于發(fā)展的早期階段。②大多數(shù)可行的方法基于的假設(shè)是人們之間的合作行為，而真實(shí)的人可能更傾向于優(yōu)化個(gè)人目標(biāo)，而不是聯(lián)合策略，因此結(jié)合傳統(tǒng)AI+博弈論的方法很有研究前途。
3. 對(duì)于長(zhǎng)期預(yù)測(cè)，上下文信息變得特別重要，因?yàn)橐谇榫澈椭車h(huán)境考慮意圖。當(dāng)前許多基于學(xué)習(xí)的方法將個(gè)體視為粒子，用來(lái)學(xué)習(xí)轉(zhuǎn)移信息，以決定未來(lái)運(yùn)動(dòng)的方向。而通過(guò)更多的通過(guò)意圖驅(qū)動(dòng)的預(yù)測(cè)來(lái)擴(kuò)展這些模型，類似于人類目標(biāo)導(dǎo)向的行為，將有利于長(zhǎng)期預(yù)測(cè)。
4. 大多數(shù)基于規(guī)劃的方法依賴于一組給定的目標(biāo)，這使得它們?cè)跊](méi)有事先知道目的地或可能目的地?cái)?shù)量過(guò)高的情況下無(wú)法使用或不精確。這使得基于語(yǔ)義信息對(duì)目的終點(diǎn)進(jìn)行自動(dòng)推斷變得重要?；蛘呖梢詣?dòng)態(tài)識(shí)別環(huán)境里面的可能目的地，并基于此進(jìn)行軌跡預(yù)測(cè)。這樣就可以在未知的環(huán)境里面使用基于規(guī)劃的方法了。
5. 現(xiàn)在的方法都是集中于解決某一類特定的任務(wù)，比如當(dāng)環(huán)境中存在明顯的運(yùn)動(dòng)模式時(shí)，或者當(dāng)環(huán)境的空間結(jié)構(gòu)和目標(biāo)agent的目的地預(yù)先已知時(shí)。而軌跡預(yù)測(cè)方法需要能適應(yīng)未定義的/不斷變化的環(huán)境，并且可以處理突發(fā)情況。這就需要遷移學(xué)習(xí)以及一些應(yīng)對(duì)新環(huán)境的方法，這種情況下，學(xué)習(xí)和推理基本的不變的規(guī)則，或者通用的行人行為或者碰撞避免是不合適的。領(lǐng)域自適應(yīng)是可以用于學(xué)習(xí)泛化模型。
6. 另外需要注意的方向：魯棒性與可集成性。

綜上：簡(jiǎn)潔來(lái)說(shuō)就是上下文信息用的要更深入、最好對(duì)不同目標(biāo)有不同行為模型、博弈論、基于更多信息做更魯棒的意圖預(yù)測(cè)、對(duì)終點(diǎn)的自動(dòng)推斷、對(duì)新環(huán)境的泛化問(wèn)題、魯棒性與可集成性。