融合物理知識(shí)的大型視頻語言模型PhysVLM，開源了！

它不僅在 PhysGame 基準(zhǔn)上展現(xiàn)出最先進(jìn)的性能，還在通用視頻理解基準(zhǔn)上（Video-MME, VCG）表現(xiàn)出領(lǐng)先的性能。

在這項(xiàng)研究之前，想讓AI像人類兒童一樣，通過觀察世界理解基本的物理常識(shí)，是一個(gè)主要挑戰(zhàn)。

圖片

對(duì)于現(xiàn)實(shí)世界的視頻來說，全面覆蓋和解釋所有正常的物理現(xiàn)象既困難又不必要。

相比之下，游戲視頻（gameplay videos）通常包含違反物理常識(shí)的“故障現(xiàn)象”（glitches），這有助于簡化物理常識(shí)理解的定義和評(píng)估，即專注于解釋物理常識(shí)的違反現(xiàn)象，而不是試圖列舉所有存在的正常物理現(xiàn)象。

為此，PhysVLM在專門整理的一套數(shù)據(jù)集上訓(xùn)練，包括用于評(píng)估的PhysGame benchmark、用于監(jiān)督微調(diào)的PhysInstruct數(shù)據(jù)集和用于偏好對(duì)齊的PhysDPO數(shù)據(jù)集。

PhysGame benchmark 設(shè)計(jì)

如圖所示， PhysGame包含880個(gè)含有故障現(xiàn)象的游戲視頻，每個(gè)視頻都配有一個(gè)高質(zhì)量的多項(xiàng)選擇題，專門針對(duì)故障現(xiàn)象的性質(zhì)進(jìn)行標(biāo)注。

圖片

△PhysGame類別分布

PhysGame涵蓋了四個(gè)關(guān)鍵的物理領(lǐng)域（即力學(xué)、運(yùn)動(dòng)學(xué)、光學(xué)和材料屬性），并細(xì)分為12個(gè)具體類別（如重力和速度）。

• 力學(xué)（Mechanics）：該類別涉及力與力矩及其對(duì)運(yùn)動(dòng)的影響，提供了解釋和分析視頻中物體運(yùn)動(dòng)的基礎(chǔ)原理。典型案例包括重力、彈性和摩擦力。
• 運(yùn)動(dòng)學(xué)（Kinematics）：該領(lǐng)域研究不考慮力的情況下的運(yùn)動(dòng)，涉及精細(xì)分類，如隨時(shí)間變化的速度和加速度。
• 光學(xué)（Optics）：該領(lǐng)域關(guān)注光的行為與特性及其與物質(zhì)的相互作用，包括反射、折射以及吸收與透射。
• 材料屬性（Material properties）：該領(lǐng)域指的是物質(zhì)固有的特性，包括顏色、剛性、物體形狀以及人體姿態(tài)。

PhysGame benchmark構(gòu)建

視頻收集和過濾:

PhysGame中的視頻主要從Reddit頁面抓取，該頁面包含帶有異常事件和故障現(xiàn)象的游戲視頻。為了平衡不同的類別，團(tuán)隊(duì)還通過關(guān)鍵詞搜索從 YouTube增強(qiáng)視頻數(shù)據(jù)。團(tuán)隊(duì)根據(jù)以下兩項(xiàng)標(biāo)準(zhǔn)進(jìn)行人工篩查：

• 重復(fù)檢查：Reddit論壇可能會(huì)多次引用同一視頻，導(dǎo)致重復(fù)下載。團(tuán)隊(duì)手動(dòng)檢查，確保PhysGame benchmark中的視頻不存在重復(fù)；
• 內(nèi)容檢查：下載的視頻可能包含非游戲元素，團(tuán)隊(duì)對(duì)這些內(nèi)容進(jìn)行了嚴(yán)格篩選，確保它們不被納入PhysGame benchmark中。

選項(xiàng)生成:

本文以多項(xiàng)選擇題的形式創(chuàng)建問答對(duì)。具體來說，正確選項(xiàng)描述了視頻中違反物理常識(shí)原則的特定故障現(xiàn)象。為了增強(qiáng)干擾選項(xiàng)的可信度，本文要求干擾選項(xiàng)中的故障現(xiàn)象應(yīng)與視頻中觀察到的個(gè)體或動(dòng)作高度相關(guān)，這使視頻LLM理解故障內(nèi)容，而不僅僅通過識(shí)別包含的物體或動(dòng)作來選擇答案。

質(zhì)量控制: 

為了保證數(shù)據(jù)集的質(zhì)量，本文進(jìn)行了一項(xiàng)包括人工檢查和自動(dòng)LLM輔助檢查在內(nèi)的雙重質(zhì)量控制過程：

• 人工檢查：所有初步標(biāo)注的問答對(duì)都經(jīng)過不同人工標(biāo)注人員的嚴(yán)格交叉檢查。對(duì)于正確選項(xiàng)，檢查人員必須評(píng)估它們是否全面準(zhǔn)確地描述了所有存在的物理常識(shí)違反實(shí)例。對(duì)于干擾選項(xiàng)，檢查人員需評(píng)估它們是否足夠具有迷惑性；
• LLM 輔助檢查: 團(tuán)隊(duì)去除那些僅憑問題和選項(xiàng)，不需要查看視頻就能由GPT-4o正確回答的問答對(duì)。

圖片

△PhysGame示例

PhysInstruct&PhysDPO數(shù)據(jù)集構(gòu)建

PhysInstruct:

為了提升視頻LLM的物理常識(shí)理解能力，團(tuán)隊(duì)開發(fā)了PhysInstruct數(shù)據(jù)集用于監(jiān)督微調(diào)。視頻收集過程與PhysGame中的流程相同。為了防止數(shù)據(jù)泄漏，團(tuán)隊(duì)嚴(yán)格排除任何已包含在PhysGame中的視頻。團(tuán)隊(duì)遵循Self-instruct范式通過提示GPT-4o來構(gòu)建PhysInstruct。

PhysDPO:

團(tuán)隊(duì)構(gòu)建了偏好對(duì)齊數(shù)據(jù)集PhysDPO，以提供更可信和可靠的回答。如圖3所示，團(tuán)隊(duì)將PhysInstruct 數(shù)據(jù)集中生成的答案視為preferred回答，而dis-preferred回答則通過元信息篡改（meta-information hacking）、時(shí)間篡改（temporal hacking）和空間篡改（spatial hacking）生成。團(tuán)隊(duì)用誤導(dǎo)性的元信息以及減少幀數(shù)和降低幀分辨率的視頻幀來提示 GPT-4o。

以下是PhysDPO數(shù)據(jù)集構(gòu)建流程圖：

圖片

模型評(píng)估與分析

PhysGame benchmark 實(shí)驗(yàn)結(jié)果:

• 在所有專有模型中，GPT-4o和Gemini-1.5-pro表現(xiàn)最佳，分別達(dá)到了56.1%和55.2%的平均準(zhǔn)確率。在所有細(xì)分領(lǐng)域中，GPT-4o在摩擦和加速度方面表現(xiàn)優(yōu)越。相比之下，Gemini-1.5-pro在理解與重力、彈性、反射、吸收與透射、顏色和剛性相關(guān)的物理常識(shí)方面表現(xiàn)更強(qiáng)。
• 現(xiàn)有的開源模型遠(yuǎn)遠(yuǎn)落后于專有模型。即便是表現(xiàn)最好的開源模型 LLaVA-OneVision，其平均準(zhǔn)確率僅為47.7%。相比之下，本文提出的PhysVLM在所有專有和開源模型中都達(dá)到了最先進(jìn)的性能。與開源方法相比，本文的PhysVLM在12個(gè)評(píng)估領(lǐng)域中的6個(gè)領(lǐng)域達(dá)到了最高性能。值得注意的是，PhysVLM-DPO在平均準(zhǔn)確率這一指標(biāo)上比最佳表現(xiàn)的專有模型GPT-4o超出了3.4%。

PhysGame benchmark實(shí)驗(yàn)結(jié)果

Video-MME benchmark實(shí)驗(yàn)結(jié)果:

本文的PhysVLM模型在所有7B模型中表現(xiàn)優(yōu)越。令人驚訝的是，作為7B模型，PhysVLM-SFT和PhysVLM-DPO在整體表現(xiàn)上分別比 34B 模型 LLaVA-NeXT-Video提高了3.2%和3.8%的絕對(duì)值。通過比較PhysVLM-SFT和PhysVLM-DPO，團(tuán)隊(duì)發(fā)現(xiàn)，使用所提出的PhysDPO數(shù)據(jù)進(jìn)行 DPO訓(xùn)練在短視頻和長視頻上的表現(xiàn)都有所提升，而在中等長度的視頻上的表現(xiàn)略有下降。

圖片

△Video-MME benchmark實(shí)驗(yàn)結(jié)果

VCG benchmark實(shí)驗(yàn)結(jié)果:

在僅使用SFT的模型中，本文的PhysVLM-SFT在平均得分方面表現(xiàn)最佳。在四個(gè)子類別的評(píng)估中，PhysVLM-SFT在信息正確性和一致性類別上表現(xiàn)尤為出色。與使用DPO或PPO訓(xùn)練的PPLLaVA和LLaVA-Next-Video相比，本文的PhysVLM-DPO也展現(xiàn)出卓越的性能，進(jìn)一步驗(yàn)證了所提出的PhysVLM模型在通用視頻理解中的出色能力。

VCG benchmark實(shí)驗(yàn)結(jié)果

PhysVLM相關(guān)論文、代碼、數(shù)據(jù)均已開源:

pre-prints: https://arxiv.org/abs/2412.01800
代碼鏈接: https://github.com/PhysGame/PhysGame
leaderboard: https://physgame.github.io/#leaderboard