難度大升級的多任務(wù)長視頻理解評測基準(zhǔn)MLVU來了！

由智源聯(lián)合北郵、北大和浙大等多所高校推出。

究竟有多難呢？最終排名第一的GPT-4o單選正確率還不足65%。

而且研究發(fā)現(xiàn)，大部分模型的性能都會隨著視頻時長增加顯著下降。

研究進(jìn)一步證明，提升上下文窗口，提升圖像理解能力，以及使用更強(qiáng)大的LLM Backbone對長視頻理解的性能具有顯著的提升作用。

目前相關(guān)論文及數(shù)據(jù)集已公開，具體細(xì)節(jié)下面一起看看吧~

MLVU的構(gòu)建過程

當(dāng)前流行的Video Benchmark主要針對短視頻設(shè)計，大部分視頻的長度都在1分鐘以內(nèi)。

且現(xiàn)有評測基準(zhǔn)往往專注在特定領(lǐng)域的視頻（例如電影、第一視角）和特定的視頻評測任務(wù)（例如Captioning，Temporal Perception，Action Understanding）。

此外，現(xiàn)有部分長視頻理解評測任務(wù)往往只和局部幀有關(guān)，或者針對經(jīng)典電影進(jìn)行問答，這導(dǎo)致MLLMs可以直接憑借text prompt正確回答而無需對視頻進(jìn)行分析。

針對以上不足，新基準(zhǔn)MLVU從以下3個層面進(jìn)行構(gòu)建：

時長和來源更豐富

MLVU的視頻時長覆蓋了3分鐘到超過2小時，平均視頻時長12分鐘，極大擴(kuò)展了當(dāng)前流行的Video Benchmark的時長范圍。

另外，MLVU的大部分任務(wù)標(biāo)注過程中進(jìn)行了片段-問題對應(yīng)標(biāo)注。

例如，Video Summarization任務(wù)分段標(biāo)注了視頻的前3分鐘，前6分鐘……

這意味著，MLLMs可以靈活地在MLVU上選擇測試不同時長情況下的長視頻理解能力。

同時，MLVU收集了包括電影、電視劇、紀(jì)錄片、卡通動畫片、監(jiān)控視頻、第一視角視頻和游戲視頻等多個類型的長視頻，覆蓋了長視頻理解的多個領(lǐng)域范圍。

任務(wù)類別更全面

團(tuán)隊針對長視頻理解設(shè)計了9類不同的任務(wù)，并進(jìn)一步將任務(wù)分為三類：全面理解、單細(xì)節(jié)理解、多細(xì)節(jié)理解。

• 全面理解任務(wù)：要求MLLMs理解和利用視頻的全局信息來解決問題
• 單細(xì)節(jié)理解任務(wù)：要求MLLMs根據(jù)問題定位長視頻中的某一細(xì)節(jié)，并利用該細(xì)節(jié)來解決問題
• 多細(xì)節(jié)理解任務(wù)：要去MLLMs定位和理解長視頻中的多個相關(guān)片段來完成和解決問題

此外，還包括了單項選擇題和開放生成式問題，全面考察MLLMs在不同場景下的長視頻理解能力。

以下為9大任務(wù)的示例：

問題設(shè)置與答案標(biāo)注更合理

為了突出新舊基準(zhǔn)變化，直接以情節(jié)問答（Plot Question Answering）任務(wù)為例。

假如以電影、電視的角色作為問題線索來對MLLMs進(jìn)行提問，舊基準(zhǔn)的常見問題有兩種。

一是挑“經(jīng)典”下手，這導(dǎo)致MLLMs在沒有對視頻進(jìn)行分析的情況下，直接使用了自有知識回答問題。

另一部分試圖避免這個問題，但由于長視頻的復(fù)雜性，僅僅利用代詞和描述性語句來指代情節(jié)細(xì)節(jié)非常困難。

他們的問題非常寬泛或者需要在問題中額外指定具體的時間片段而不是讓MLLMs自己根據(jù)題目尋找對應(yīng)細(xì)節(jié)。

MLVU通過精細(xì)的人工標(biāo)注克服了這些問題。

在所有的情節(jié)問答任務(wù)中，MLVU均使用“具有詳細(xì)細(xì)節(jié)的代詞”來指代情節(jié)中的人物、事件或背景，避免了問題泄露帶來的潛在影響，MLLMs需要根據(jù)問題提供的線索識別和定位相關(guān)片段才能進(jìn)一步解決問題。

此外，MLVU的Plot QA問題具備豐富的多樣性，增強(qiáng)了評測的合理性和可靠性。

模型在MLVU上的表現(xiàn)

團(tuán)隊在MLVU上對20個流行的MLLM進(jìn)行了評測，包括開源模型和閉源模型。

實驗結(jié)果表明，盡管GPT-4o在所有任務(wù)中均取得了第1名，但它的單選平均準(zhǔn)確率只有64.6%。

且所有模型都在需要細(xì)粒度理解能力的任務(wù)上（單細(xì)節(jié)、多細(xì)節(jié)理解任務(wù)）表現(xiàn)糟糕。

此外，大部分模型的性能都會隨著視頻時長增加顯著下降。

另一明顯結(jié)論是，開源模型和閉源模型之間存在較大的差距。

開源模型中單項選擇題性能最強(qiáng)的InternVL-1.5單選平均準(zhǔn)確度僅有50.4%；開放生成式題目最強(qiáng)的LLaMA-Vid得分僅有4.22，均遠(yuǎn)遠(yuǎn)落后于GPT-4o的64.6%和5.80。

不過研究發(fā)現(xiàn)，提升上下文窗口，提升MLLM的圖像理解能力，以及使用更強(qiáng)大的LLM Backbone對長視頻理解的性能具有顯著的提升作用。

這揭示了未來MLLMs在提升長視頻理解能力的重要改進(jìn)方向。

論文：https://arxiv.org/abs/2406.04264

項目鏈接：https://github.com/JUNJIE99/MLVU