1 月 24 日消息，Hugging Face 平臺昨日（1 月 23 日）發(fā)布博文，宣布推出 SmolVLM-256M-Instruct 和 SmolVLM-500M-Instruct 兩款輕量級 AI 模型，在 AI 算力有限的設(shè)備上，最大限度發(fā)揮其算力性能。

IT之家曾于 2024 年 11 月報道，Hugging Face 平臺發(fā)布 SmolVLM AI 視覺語言模型（VLM），僅有 20 億參數(shù)，用于設(shè)備端推理，憑借其極低的內(nèi)存占用在同類模型中脫穎而出。

本次推出的 SmolVLM-256M-Instruct 僅有 2.56 億參數(shù)，是有史以來發(fā)布的最小視覺語言模型，可以在內(nèi)存低于 1GB 的 PC 上運行，提供卓越的性能輸出。

SmolVLM-500M-Instruct 僅有 5 億參數(shù)，主要針對硬件資源限制，幫助開發(fā)者迎接大規(guī)模數(shù)據(jù)分析挑戰(zhàn)，實現(xiàn) AI 處理效率和可訪問性的突破。

SmolVLM 模型具備先進的多模態(tài)能力，可以執(zhí)行圖像描述、短視頻分析以及回答關(guān)于 PDF 或科學(xué)圖表的問題等任務(wù)。正如 Hugging Face 所解釋的：“SmolVLM 構(gòu)建可搜索數(shù)據(jù)庫的速度更快、成本更低，其速度可媲美規(guī)模 10 倍于其自身的模型”。

模型的開發(fā)依賴于兩個專有數(shù)據(jù)集：The Cauldron 和 Docmatix。The Cauldron 是一個包含 50 個高質(zhì)量圖像和文本數(shù)據(jù)集的精選集合，側(cè)重于多模態(tài)學(xué)習(xí)，而 Docmatix 則專為文檔理解而定制，將掃描文件與詳細的標題配對以增強理解。

這兩個模型采用更小的視覺編碼器 SigLIP base patch-16/512，而不是 SmolVLM 2B 中使用的更大的 SigLIP 400M SO，通過優(yōu)化圖像標記的處理方式，減少了冗余并提高了模型處理復(fù)雜數(shù)據(jù)的能力。

SmolVLM 模型能夠以每個標記 4096 像素的速率對圖像進行編碼，這比早期版本中每標記 1820 像素有了顯著改進。