在視頻理解這一領(lǐng)域，盡管多模態(tài)模型在短視頻分析上取得了突破性進(jìn)展，展現(xiàn)出了較強(qiáng)的理解能力，但當(dāng)它們面對電影級別的長視頻時，卻顯得力不從心。因而，長視頻的分析與理解，特別是對于長達(dá)數(shù)小時電影內(nèi)容的理解，成為了當(dāng)前的一個巨大挑戰(zhàn)。

究其原因，導(dǎo)致模型理解長視頻困難的一個主要原因是缺乏高質(zhì)量、多樣化的長視頻數(shù)據(jù)資源，而且收集和注釋這些數(shù)據(jù)需要龐大的工作量。

面對這樣的難題， 騰訊和復(fù)旦大學(xué)的研究團(tuán)隊(duì)提出了 MovieLLM，一個創(chuàng)新性的 AI 生成框架。MovieLLM 采用了創(chuàng)新性的方法，不僅可以生成高質(zhì)量、多樣化的視頻數(shù)據(jù)，而且能自動生成大量與之相關(guān)的問答數(shù)據(jù)集，極大地豐富了數(shù)據(jù)的維度和深度，同時整個自動化的過程也極大地減少了人力的投入。

• 論文地址：https://arxiv.org/abs/2403.01422
• 主頁地址：https://deaddawn.github.io/MovieLLM/

這一突破性的進(jìn)展不僅提高了模型對復(fù)雜視頻敘事的理解能力，還增強(qiáng)了模型針對長達(dá)數(shù)小時電影內(nèi)容的分析能力，克服了現(xiàn)有數(shù)據(jù)集在稀缺性和偏差方面的限制，為超長視頻的理解提供了一條全新而有效的思路。

MovieLLM 巧妙地結(jié)合了 GPT-4 與擴(kuò)散模型強(qiáng)大的生成能力，應(yīng)用了一種「story expanding」連續(xù)幀描述生成策略，并通過「textual inversion」來引導(dǎo)擴(kuò)散模型生成場景一致的圖片來構(gòu)造出一部完整電影的連續(xù)幀。

方法概述

MovieLLM 巧妙地結(jié)合了 GPT-4 與擴(kuò)散模型強(qiáng)大的生成能力，構(gòu)造了高質(zhì)量、多樣性的長視頻數(shù)據(jù)與 QA 問答來幫助增強(qiáng)大模型對長視頻的理解。

MovieLLM 主要包括三個階段：

1. 電影情節(jié)生成。

MovieLLM 不依賴于網(wǎng)絡(luò)或現(xiàn)有數(shù)據(jù)集來生成情節(jié)，而是充分利用 GPT-4 的能力來產(chǎn)生合成數(shù)據(jù)。通過提供特定的元素，如主題、概述和風(fēng)格，引導(dǎo) GPT-4 產(chǎn)生針對后續(xù)生成過程量身定制的電影級關(guān)鍵幀描述。

2. 風(fēng)格固定過程。

MovieLLM 巧妙地使用「textual inversion」技術(shù)，將劇本中生成的風(fēng)格描述固定到擴(kuò)散模型的潛在空間上。這種方法指導(dǎo)模型在保持統(tǒng)一美學(xué)的同時，生成具有固定風(fēng)格的場景，并保持多樣性。

3. 視頻指令數(shù)據(jù)生成。

在前兩步的基礎(chǔ)上，已經(jīng)獲得了固定的風(fēng)格嵌入和關(guān)鍵幀描述?；谶@些，MovieLLM 利用風(fēng)格嵌入指導(dǎo)擴(kuò)散模型生成符合關(guān)鍵幀描述的關(guān)鍵幀并根據(jù)電影情節(jié)逐步生成各種指令性問答對。

經(jīng)過上述步驟，MovieLLM 就創(chuàng)建了高質(zhì)量、風(fēng)格多樣的、連貫的電影連續(xù)幀以及對應(yīng)的問答對數(shù)據(jù)。電影數(shù)據(jù)種類的詳細(xì)分布如下:

實(shí)驗(yàn)結(jié)果

通過在 LLaMA-VID 這一專注于長視頻理解的大模型上應(yīng)用基于 MovieLLM 構(gòu)造的數(shù)據(jù)進(jìn)行微調(diào)，本文顯著增強(qiáng)了模型處理各種長度視頻內(nèi)容的理解能力。而針對于長視頻理解，當(dāng)前并沒有工作提出測試基準(zhǔn)，因此本文還提出了一個測試長視頻理解能力的基準(zhǔn)。

雖然 MovieLLM 并沒有特別地去構(gòu)造短視頻數(shù)據(jù)進(jìn)行訓(xùn)練，但通過訓(xùn)練，仍然觀察到了在各類短視頻基準(zhǔn)上的性能提升，結(jié)果如下：

在 MSVD-QA 與 MSRVTT-QA 這兩個測試數(shù)據(jù)集上相較于 baseline 模型，有顯著提升。

在基于視頻生成的性能基準(zhǔn)上，在五個測評方面都獲得了性能提升。

在長視頻理解方面，通過 MovieLLM 的訓(xùn)練，模型在概括、劇情以及時序三個方面的理解都有顯著提升。

此外，MovieLLM 相較于其他類似的可固定風(fēng)格生成圖片的方法，在生成質(zhì)量上也有著較好的結(jié)果。

總之，MovieLLM 所提出的數(shù)據(jù)生成工作流程顯著降低了為模型生產(chǎn)電影級視頻數(shù)據(jù)的挑戰(zhàn)難度，提高了生成內(nèi)容的控制性和多樣性。同時，MovieLLM 顯著增強(qiáng)了多模態(tài)模型對于電影級長視頻的理解能力，為其他領(lǐng)域采納類似的數(shù)據(jù)生成方法提供了寶貴的參考。

對此研究感興趣的讀者可以閱讀論文原文，了解更多研究內(nèi)容。