12 月 25 日消息，阿里通義千問 Qwen 團(tuán)隊(duì)今天（12 月 25 日）發(fā)布博文，宣布基于 Qwen2-VL-72B 構(gòu)建，推出 QVQ-72B-Preview 開源視覺推理模型，能夠像物理學(xué)大師一樣，面對(duì)復(fù)雜的物理問題，沉著冷靜地通過邏輯推理找到解決方案。

阿里通義千問團(tuán)隊(duì)在 4 個(gè)數(shù)據(jù)集上評(píng)估 QVQ-72B-Preview，IT之家附上相關(guān)介紹如下：

• MMMU：一個(gè)大學(xué)級(jí)別的多學(xué)科多模態(tài)評(píng)測(cè)集，旨在考察模型視覺相關(guān)的綜合理解和推理能力。
• MathVista：一個(gè)數(shù)學(xué)相關(guān)的視覺推理測(cè)試集，評(píng)估拼圖測(cè)試圖形的邏輯推理、函數(shù)圖的代數(shù)推理和學(xué)術(shù)論文圖形的科學(xué)推理等能力。
• MathVision：一個(gè)高質(zhì)量多模態(tài)數(shù)學(xué)推理測(cè)試集，來自于真實(shí)的數(shù)學(xué)競(jìng)賽，相比于 MathVista 具有更多的問題多樣性和學(xué)科廣度。
• OlympiadBench：一個(gè)奧林匹克競(jìng)賽級(jí)別的雙語多模態(tài)科學(xué)基準(zhǔn)測(cè)試集，包含來自?shī)W林匹克數(shù)學(xué)和物理競(jìng)賽的 8,476 個(gè)問題，包括中國(guó)高考。每個(gè)問題都附有專家級(jí)別的注釋，詳細(xì)說明了逐步推理的過程。

測(cè)試結(jié)果顯示，QVQ-72B-Preview 在 MMMU 基準(zhǔn)測(cè)試中取得了 70.3 的分?jǐn)?shù)，顯著超越了 Qwen2-VL-72B-Instruct。此外，在剩下的三個(gè)專注于數(shù)學(xué)和科學(xué)問題的基準(zhǔn)測(cè)試中，該模型表現(xiàn)出色，有效縮小了與領(lǐng)先的最先進(jìn)的 o1 模型之間的差距。

阿里通義千問 Qwen 團(tuán)隊(duì)也表示 QVQ-72B-Preview 是實(shí)驗(yàn)性研究模型，專注于增強(qiáng)視覺推理能力。盡管它的表現(xiàn)超出了預(yù)期，但仍有幾個(gè)限制需要注意：

• 語言混合與切換：模型可能會(huì)意外地混合語言或在語言之間切換，從而影響響應(yīng)的清晰度。
• 遞歸推理：模型可能會(huì)陷入循環(huán)邏輯模式，產(chǎn)生冗長(zhǎng)的響應(yīng)而無法得出結(jié)論。
• 安全和倫理考慮：模型需要增強(qiáng)安全措施，以確?？煽亢桶踩男阅?，用戶在部署時(shí)應(yīng)保持謹(jǐn)慎。
• 性能和基準(zhǔn)限制：盡管模型在視覺推理方面有所改善，但它無法完全替代 Qwen2-VL-72B 的能力。此外，在多步驟視覺推理過程中，模型可能會(huì)逐漸失去對(duì)圖像內(nèi)容的關(guān)注，導(dǎo)致幻覺。

參考

• 模型鏈接
• 體驗(yàn)鏈接
• 中文博客