譯者 | 布加迪

審校 | 重樓

有沒有想過，你的口袋里也能裝下一個強大的AI助手？它不僅僅是一個應(yīng)用程序，更是一個先進智能、可配置、私密且高性能的AI語言模型？不妨認識一下Gemma 3n。這不僅僅是另一種科技潮流，而是將高性能語言模型徑直放在你的手機上。無論你是在列車上構(gòu)思博客創(chuàng)意、在旅途中翻譯信息，還是僅僅想探索AI的未來，Gemma 3n 都能為你帶來極其簡單、極其愉悅的體驗。不妨逐步了解如何在你的移動設(shè)備上發(fā)揮AI的魔力。

什么是Gemma 3n？

Gemma 3n是谷歌Gemma 開放模型系列的成員之一，它旨在在智能手機等資源匱乏的設(shè)備上順暢運行。Gemma 3n擁有約30億個參數(shù)，兼顧性能與效率，是智能助手、文本處理等設(shè)備端AI任務(wù)的理想之選。

Gemma 3n性能與基準測試

Gemma 3n專為在低資源設(shè)備上實現(xiàn)速度和效率而設(shè)計，是谷歌開放式大語言模型家族的最新成員，專為移動設(shè)備、平板電腦及其他邊緣硬件設(shè)計。以下是對其實際性能和基準測試的簡要評估：

模型大小和系統(tǒng)要求

• 模型大?。篍2B（50億個參數(shù)，有效內(nèi)存20億）和 E4B（80億個參數(shù)，有效內(nèi)存40 億）。
• RAM 要求：E2B僅需2GB RAM即可運行，E4B僅需3GB RAM即可運行——完全在大多數(shù)現(xiàn)代智能手機和平板電腦的能力范圍之內(nèi)。

速度與延遲

• 響應(yīng)速度：生成首次響應(yīng)的速度比以往的設(shè)備端模型快1.5倍，在最新的移動處理器上吞吐量通常為60到70個token/秒。
• 啟動與推理：首個token生成時間短至 0.3 秒，使聊天和助手應(yīng)用程序能夠提供迅速響應(yīng)的體驗。

基準測試分數(shù)

• LMArena排行榜：E4B是首個得分超過1300分的10B以下參數(shù)模型，在各種任務(wù)中的表現(xiàn)均優(yōu)于類似大小的本地模型。
• MMLU分數(shù)：Gemma 3n E4B得分約48.8%（代表扎實的推理能力和常識）。
• 智能指數(shù)：E4B 約為28，在10B以下參數(shù)規(guī)模的所有本地模型中頗具競爭力。

質(zhì)量與效率創(chuàng)新

• 量化：支持4位和8位量化版本，質(zhì)量損失降至最低，可在僅配備2-3GB RAM的設(shè)備上運行。
• 多模態(tài)：E4B模型可在設(shè)備端處理文本、圖像、音頻甚至短視頻，包含高達32000個 token 的上下文窗口（遠高于同級別的大多數(shù)競爭對手）。
• 優(yōu)化：充分利用多種技術(shù)，比如逐層嵌入（PLE）和參數(shù)選擇性激活，并使用MatFormer來最大化速度、最小化RAM占用資源，并在占用空間較小的情況下生成高質(zhì)量的輸出。

Gemma 3n 在移動端的優(yōu)勢是什么？

• 隱私：一切都在本地運行，因此你的數(shù)據(jù)將得到保密。
• 速度：設(shè)備端處理意味著更快的響應(yīng)時間。
• 無需互聯(lián)網(wǎng)：即使在沒有互聯(lián)網(wǎng)連接的情況下，移動端也能提供許多功能。
• 定制：將Gemma 3n與你想要的移動應(yīng)用程序或工作流程結(jié)合使用。

先決條件

一部現(xiàn)代智能手機（安卓或iOS），有足夠的存儲空間，至少6GB RAM 以提升性能。對安裝和使用移動應(yīng)用程序有一番基本的了解。

在移動設(shè)備上運行Gemma 3n的逐步指南

第1步：選擇合適的應(yīng)用程序或框架

許多應(yīng)用程序和框架支持在移動設(shè)備上運行比如Gemma 3n等大語言模型，包括：

• LM Studio：一款流行的應(yīng)用程序，可通過簡單的界面在本地運行模型。
• Mlc Chat（MLC LLM）：一款開源應(yīng)用程序，可在安卓和iOS上進行本地LLM推理。
• Ollama Mobile：如果它支持你的平臺。
• 自定義應(yīng)用程序：某些應(yīng)用程序允許你加載和打開模型（比如適用于移動設(shè)備的Hugging Face Transformers 應(yīng)用程序）。

第2步：下載Gemma 3n模型

你可以在Hugging Face等模型庫中搜索“Gemma 3n”找到它，也可以在谷歌上搜索，直接查找谷歌的AI模型版本。

注意：請務(wù)必選擇適面向移動設(shè)備的量化版本（比如4 位或 8 位），以節(jié)省空間和內(nèi)存。

第3步：將模型導(dǎo)入到你的移動應(yīng)用程序

• 現(xiàn)在啟動你的LLM應(yīng)用程序（比如LM Studio、Mlc Chat）。
• 點擊“導(dǎo)入”或“添加模型”按鈕。
• 然后瀏覽到你下載的Gemma 3n 模型文件，并將其導(dǎo)入。

注意：該應(yīng)用程序可能會引導(dǎo)你完成額外的優(yōu)化或量化，以確保移動端正常運行。

第4步：設(shè)置模型首選項

配置選項以兼顧性能與準確度（量化程度越低，速度越快；量化程度越高，輸出效果越好，速度越慢）。如果需要，可以創(chuàng)建提示模板、對話風格和集成等。

第5步：現(xiàn)在，我們可以開始使用Gemma 3n了。

使用聊天或提示界面與模型進行交流。你可以根據(jù)自己的喜好，隨意提問、生成文本或?qū)⑵溆米鲗懽?編程助手。

獲得最佳效果的建議

• 關(guān)閉后臺程序以回收系統(tǒng)資源。
• 使用最新版本的應(yīng)用程序，以獲得最佳性能。
• 根據(jù)你的需求，調(diào)整設(shè)置以找到性能與質(zhì)量之間可接受的平衡點。

可能的用途

• 起草私密電子郵件和消息。
• 實時翻譯和摘要。
• 為開發(fā)者提供設(shè)備端代碼輔助。
• 隨時隨地集思廣益、撰寫故事或博客內(nèi)容。

結(jié)語

在移動設(shè)備上使用Gemma 3n時，即可在口袋中體驗先進人工智能的無限可能，同時又不損害隱私和便捷性。無論你是略帶好奇心的AI技術(shù)普通用戶，還是尋求提升工作效率的忙碌專業(yè)人士，亦或是熱衷于實驗的開發(fā)者，Gemma 3n都可以為你提供探索和個性化技術(shù)的各種機會。Gemma 3n擁有眾多創(chuàng)新途徑，讓你無需連接互聯(lián)網(wǎng)即可發(fā)現(xiàn)簡化活動、激發(fā)新見解和建立聯(lián)系的新方法。立馬試用，了解AI如何助力你的日常生活，隨時隨地享受樂趣！

原文標題：How to Run Gemma 3n on your Mobile?，作者：Soumil Jain