IT之家消息，科技媒體 marktechpost 發(fā)布博文，報(bào)道稱英偉達(dá)最新推出 Eagle 2.5，一款專注于長上下文多模態(tài)學(xué)習(xí)的視覺-語言模型（VLM）。

該模型專注于理解大規(guī)模視頻和圖像，尤其擅長處理高分辨率圖像和長視頻序列。盡管參數(shù)規(guī)模僅為 8B，Eagle 2.5 在 Video-MME 基準(zhǔn)測試（512 幀輸入）中得分高達(dá) 72.4%，媲美 Qwen2.5-VL-72B 和 InternVL2.5-78B 等更大規(guī)模模型。

創(chuàng)新訓(xùn)練策略

Eagle 2.5 的成功離不開兩項(xiàng)關(guān)鍵訓(xùn)練策略：信息優(yōu)先采樣（Information-First Sampling）和漸進(jìn)式后訓(xùn)練（Progressive Post-Training）。

信息優(yōu)先采樣通過圖像區(qū)域保留（IAP）技術(shù)，保留超過 60% 的原始圖像區(qū)域，同時(shí)減少寬高比失真；自動(dòng)降級(jí)采樣（ADS）則根據(jù)上下文長度動(dòng)態(tài)平衡視覺和文本輸入，確保文本完整性和視覺細(xì)節(jié)的優(yōu)化。

漸進(jìn)式后訓(xùn)練逐步擴(kuò)展模型上下文窗口，從 32K 到 128K token，讓模型在不同輸入長度下保持穩(wěn)定性能，避免過擬合單一上下文范圍。這些策略結(jié)合 SigLIP 視覺編碼和 MLP 投影層，確保了模型在多樣化任務(wù)中的靈活性。

定制數(shù)據(jù)集

Eagle 2.5 的訓(xùn)練數(shù)據(jù)管道，整合了開源資源和定制數(shù)據(jù)集 Eagle-Video-110K，該數(shù)據(jù)集專為理解長視頻設(shè)計(jì)，采用雙重標(biāo)注方式。

自上而下的方法采用故事級(jí)分割，結(jié)合人類標(biāo)注章節(jié)元數(shù)據(jù)、GPT-4 生成的密集描述；自下而上的方法則利用 GPT-4o 為短片段生成問答對(duì)，抓取時(shí)空細(xì)節(jié)。

通過余弦相似度（cosine similarity）篩選，數(shù)據(jù)集強(qiáng)調(diào)多樣性而非冗余，確保敘事連貫性和細(xì)粒度標(biāo)注，顯著提升了模型在高幀數(shù)（≥128 幀）任務(wù)中的表現(xiàn)。

性能表現(xiàn)

Eagle 2.5-8B 在多項(xiàng)視頻和圖像理解任務(wù)中表現(xiàn)出色。在視頻基準(zhǔn)測試中，MVBench 得分為 74.8，MLVU 為 77.6，LongVideoBench 為 66.4；在圖像基準(zhǔn)測試中，DocVQA 得分為 94.1，ChartQA 為 87.5，InfoVQA 為 80.4。

消融研究（Ablation studies）表明，IAP 和 ADS 的移除會(huì)導(dǎo)致性能下降，而漸進(jìn)式訓(xùn)練和 Eagle-Video-110K 數(shù)據(jù)集的加入則帶來更穩(wěn)定的提升。

IT之家附上參考地址

• Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models
• GitHub 頁面
• 項(xiàng)目頁面