01、概述

在人工智能的浪潮中，我們越來越渴望擁有既能處理視覺和語言任務(wù)，又不依賴于龐大基礎(chǔ)設(shè)施的機(jī)器學(xué)習(xí)模型。特別是對于筆記本電腦、消費(fèi)級GPU或移動設(shè)備等設(shè)備，如何在性能和資源需求之間找到平衡點(diǎn)，成為了一個(gè)挑戰(zhàn)。今天，我們要聊的就是這樣一個(gè)“小而美”的解決方案——SmolVLM，一個(gè)由Hugging Face推出的2B參數(shù)視覺語言模型，專為設(shè)備端推理而設(shè)計(jì)。

02、性能與資源的平衡藝術(shù)

在視覺語言模型（VLMs）的世界里，許多模型需要大量的計(jì)算能力和內(nèi)存，這對于設(shè)備端應(yīng)用來說并不現(xiàn)實(shí)。比如Qwen2-VL這樣的模型，雖然性能出色，但是需要昂貴的硬件和大量的GPU內(nèi)存，限制了它們的普及和實(shí)時(shí)設(shè)備端任務(wù)的實(shí)用性。這就需要我們尋找一種輕量級模型，它們能在資源消耗最小的情況下提供強(qiáng)大的性能。

03、SmolVLM：輕量級模型的新標(biāo)桿

Hugging Face最近發(fā)布的SmolVLM，就是這樣一個(gè)在設(shè)備端推理中表現(xiàn)出色的模型。與同類GPU內(nèi)存使用量和token吞吐量相當(dāng)?shù)钠渌Ｐ拖啾?，SmolVLM的性能更勝一籌。SmolVLM的關(guān)鍵特性是它能夠在更小的設(shè)備上有效運(yùn)行，包括筆記本電腦或消費(fèi)級GPU，而且不會犧牲性能。它在性能和效率之間取得了難以置信的平衡，這對于類似大小和能力的模型來說是一個(gè)挑戰(zhàn)。與Qwen2-VL 2B相比，SmolVLM生成token的速度要快7.5到16倍，這得益于其優(yōu)化的架構(gòu)，更傾向于輕量級推理。這種效率轉(zhuǎn)化為了對最終用戶的實(shí)用優(yōu)勢。

04、SmolVLM的優(yōu)化架構(gòu)

從技術(shù)角度來看，SmolVLM擁有一個(gè)優(yōu)化的架構(gòu)，使其能夠有效地進(jìn)行設(shè)備端推理。它可以使用Google Colab輕松進(jìn)行微調(diào)，即使資源有限，也便于進(jìn)行實(shí)驗(yàn)和開發(fā)。它的輕量級特性使其能夠在筆記本電腦上流暢運(yùn)行，或者使用消費(fèi)級GPU處理數(shù)百萬份文檔。它的一個(gè)重要優(yōu)勢是其小內(nèi)存占用，這使得它能夠在以前無法處理類似大小模型的設(shè)備上部署。其效率在其token生成吞吐量中表現(xiàn)得尤為明顯：與Qwen2-VL相比，SmolVLM的生成速度要快7.5到16倍。這一性能提升主要是由于SmolVLM的流線型架構(gòu)優(yōu)化了圖像編碼和推理速度。盡管它與Qwen2-VL擁有相同數(shù)量的參數(shù)，但SmolVLM高效的圖像編碼防止了設(shè)備過載——這是一個(gè)經(jīng)常導(dǎo)致Qwen2-VL崩潰的問題。

05、SmolVLM的意義：無需強(qiáng)大硬件的高質(zhì)量視覺語言推理

SmolVLM的意義在于它能夠在不需要強(qiáng)大硬件的情況下提供高質(zhì)量的視覺語言推理。對于希望在不投資昂貴GPU的情況下進(jìn)行視覺語言任務(wù)實(shí)驗(yàn)的研究者、開發(fā)者和愛好者來說，這是一個(gè)重要的步驟。在團(tuán)隊(duì)進(jìn)行的測試中，SmolVLM在用YouTube視頻的50幀進(jìn)行評估時(shí)展示了其效率，結(jié)果證明了在CinePile（一個(gè)評估模型理解電影視覺能力的基準(zhǔn)）上進(jìn)行進(jìn)一步測試的合理性。結(jié)果顯示，SmolVLM得分27.14%，位于兩個(gè)資源消耗更大的模型：InternVL2（2B）和Video LlaVa（7B）之間。值得注意的是，SmolVLM并未在視頻數(shù)據(jù)上進(jìn)行訓(xùn)練，但它的性能與為此類任務(wù)設(shè)計(jì)的模型相當(dāng)，展示了其魯棒性和多功能性。此外，SmolVLM在保持準(zhǔn)確性和輸出質(zhì)量的同時(shí)實(shí)現(xiàn)了這些效率提升，突出表明創(chuàng)建較小模型時(shí)不必犧牲性能。

06、結(jié)語

總之，SmolVLM代表了視覺語言模型領(lǐng)域的一個(gè)重要進(jìn)步。通過使復(fù)雜的VLM任務(wù)能夠在日常設(shè)備上運(yùn)行，Hugging Face解決了當(dāng)前AI工具領(lǐng)域的一個(gè)重要缺口。SmolVLM在同類模型中表現(xiàn)出色，并且在速度、效率和設(shè)備端使用的實(shí)用性方面常常超越它們。憑借其緊湊的設(shè)計(jì)和高效的token吞吐量，SmolVLM將成為那些需要強(qiáng)大視覺語言處理能力但無法訪問高端硬件的人的寶貴工具。這一發(fā)展有潛力擴(kuò)大VLM的使用范圍，使復(fù)雜的AI系統(tǒng)更加易于獲取。隨著AI變得更加個(gè)性化和普及，像SmolVLM這樣的模型為使強(qiáng)大的機(jī)器學(xué)習(xí)更廣泛地普及鋪平了道路。

參考：

1. ??https://huggingface.co/spaces/HuggingFaceTB/SmolVLM??
2. ??https://huggingface.co/blog/smolvlm??
3. ??https://github.com/huggingface/blog/blob/main/smolvlm.md??

本文轉(zhuǎn)載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/aA0HNyvLb9Ih2Ozh4Dw7xw??