單GPU就能跑的最強(qiáng)模型來了！

谷歌最新模型Gemma 3，主打開源與高效。

27B輕松擊敗671B滿血的DeepSeek V3、o3-mini、Llama-405B，僅次于R1。

圖片

而從所需算力來看，其他模型要實(shí)現(xiàn)差不多的性能，所需算力資源至少增加10倍，有的情況下甚至高達(dá)32倍。

在ChatBot Arena Imarena大模型競(jìng)技場(chǎng)中，Gemma 3也躋身Top 10，不僅在同等參數(shù)量模型中達(dá)到SOTA，開源模型里也僅次于R1。

圖片

網(wǎng)友們紛紛表示驚呆，尤其對(duì)單GPU就能跑、128K上下文印象深刻。

圖片

圖片

不過除了這劇情是不是有點(diǎn)似曾相識(shí)，有人注意到為啥沒有跟QwQ 32B比較。

圖片

圖片

目前，Gemma 3可以直接在Google AI Studio上體驗(yàn)，在包括抱抱臉、Ollama或者Kaggle等平臺(tái)下載。

圖片

可在單個(gè)GPU運(yùn)行的最強(qiáng)模型

此次Gemma 3有四個(gè)版本，27B是最大，還有1B、4B、12B。既有預(yù)訓(xùn)練模型，也有通用指令微調(diào)版本。

圖片

展開來看，主要有這些特點(diǎn)：

• 單GPU/TPU運(yùn)行：Gemma 3在單GPU/TPU運(yùn)行情況下，在LMArena排行榜的初步人類偏好評(píng)估中勝過Llama-405B、DeepSeek-V3和o3-mini。

如此高效的模型性能不在端側(cè)應(yīng)用部署可惜了。谷歌也專門給了教程和案例，手把手教的那種。

比如1B模型量化版在手機(jī)端運(yùn)行。

 在三星Galaxy S24 Ultra上運(yùn)行的性能如下：

圖片

還有在電腦Web端本地創(chuàng)建社媒內(nèi)容。

MacBook Pro 2023（Apple M3 Pro 芯片）性能如下：

圖片

• 多模態(tài)和多語言，可以分析圖片、文本、短視頻等模態(tài)。

圖片

語言語種方面，提供對(duì)超過35種語言的開箱即用支持；以及對(duì)超過140種語言的預(yù)訓(xùn)練支持。

• 多工具支持靈活開發(fā)，支持Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM 和Gemma.cpp的等平臺(tái)。
• 128k Token上下文窗口。

另外還支持函數(shù)調(diào)用、結(jié)構(gòu)化輸出，以幫助您自動(dòng)執(zhí)行任務(wù)并構(gòu)建Agent，官方還引入了量化版本。

他們還推出了ShieldGemma 2：一款基于Gemma 3構(gòu)建的4B圖像安全檢查器。開發(fā)人員可以定制 ShieldGemma 2來滿足他們的安全需求。

更多技術(shù)細(xì)節(jié)

與模型一同發(fā)布的，還有一份25頁的技術(shù)報(bào)告，里面有不少細(xì)節(jié)。

圖片

如何訓(xùn)練的？

此次結(jié)合蒸餾、強(qiáng)化學(xué)習(xí)和模型合并等方法，對(duì)Gemma的前訓(xùn)練和后期訓(xùn)練過程進(jìn)行了優(yōu)化。

Gemma 3使用了與Gemma 2一樣的Tokenizer，支持140多種語言，并使用JAX框架在Google TPU上對(duì)1B的2T tokens、4B的4T tokens、12B的12T tokens和27B的14T tokens進(jìn)行了訓(xùn)練。

在后訓(xùn)練方面，Gemma 3使用了4個(gè)組件：

• 從較大的指令模型中提煉出Gemma 3預(yù)訓(xùn)練檢查點(diǎn)。
• RLHF，使模型預(yù)測(cè)與人類偏好保持一致。
• 從機(jī)器反饋中強(qiáng)化學(xué)習(xí)RLMF，以增強(qiáng)數(shù)學(xué)推理能力。
• 執(zhí)行反饋強(qiáng)化學(xué)習(xí)(RLEF)，以提高編碼能力。

圖片

這種方法提高了數(shù)學(xué)、編碼和指令跟蹤方面的性能，使其在LMArena分?jǐn)?shù)達(dá)到了1338分。

圖片

圖片

與之前的版本相比情況：

圖片

正文最后一頁還放了主要作者們，共同一作共有16位。

圖片

OMT：英偉達(dá)直接參與優(yōu)化

除此之外，在技術(shù)報(bào)告里還看到了這些亮點(diǎn)。

首先，英偉達(dá)直接參與了Gemma 3模型的優(yōu)化，以確保其在任何規(guī)格的GPU上都能獲得最佳性能，包括Jetson Nano 到最新的Blackwell芯片。

而在英偉達(dá)API目錄中也出現(xiàn)了Gemma 3，只需調(diào)用API即可快速進(jìn)行原型設(shè)計(jì)。

針對(duì)谷歌自家的TPU，Gemma 3也進(jìn)行了優(yōu)化，并通過開源ROCm堆棧與AMD GPU集成。還有CPU的解決方案^。

Gemma 3還附帶了改進(jìn)的代碼庫，其中包括高效微調(diào)和推理的配方。開發(fā)者可以根據(jù)特定需求來定制和調(diào)整模型。

在其他模型火熱的當(dāng)下，Gemma系列已經(jīng)來到了一周年，下載量已經(jīng)默默超過1億次，在社區(qū)中又超過60000個(gè)變體誕生。

如今在開源模型這塊的競(jìng)爭(zhēng)，又激烈了不少。

最后，感興趣的朋友可直接戳下方鏈接哦~
https://aistudio.google.com/prompts/new_chat

參考鏈接：
[1]https://blog.google/technology/developers/gemma-3/
[2]https://x.com/sundarpichai/status/1899779090472644881?s=46
[3]https://developers.googleblog.com/en/introducing-gemma3/