近日，Qwen 3 VL 系列模型終于合并到了 llama.cpp 項(xiàng)目中。這意味著用戶現(xiàn)在可以通過 llama.cpp 直接運(yùn)行這個(gè)支持視覺理解的大型語言模型。

合并后的模型支持圖像輸入和多輪對話。有用戶測試后反饋，即使使用 4-bit 量化，模型也能較好地理解圖像內(nèi)容并回答問題。不過，開發(fā)者提醒，量化過程可能會(huì)對性能產(chǎn)生一定影響，建議根據(jù)實(shí)際需求選擇合適的參數(shù)。

技術(shù)細(xì)節(jié)方面，此次合并主要解決了模型架構(gòu)的兼容性問題。Qwen 3 VL 采用了特殊的視覺編碼器，需要與 llama.cpp 的文本處理流程進(jìn)行適配。開發(fā)團(tuán)隊(duì)通過調(diào)整注意力機(jī)制和輸入預(yù)處理模塊，實(shí)現(xiàn)了無縫集成。

目前，該功能已進(jìn)入 llama.cpp 的主干分支。用戶可以通過編譯最新版本體驗(yàn) Qwen 3 VL 的圖像理解能力。需要注意的是，由于模型較大，運(yùn)行需要足夠的顯存或內(nèi)存資源。

Ollama 最新版本v0.12.7同步支持所有 Qwen 3 VL 模型本地化。

下載地址：???https://github.com/ggml-org/llama.cpp/releases/tag/b6887??

本文轉(zhuǎn)載自??AI工程化??，作者：ully