譯者 | 布加迪

審校 | 重樓

谷歌的Edge Gallery剛剛讓AI界迎來了巨大飛躍。就在上周，谷歌悄然發(fā)布了AI Edge Gallery，這是一款普及AI的應用程序。谷歌Edge AI可以直接在我們的智能手機上執(zhí)行強大的語言模型，擺脫依賴云的局面，而且不收訂閱費。

這為完全私有、可訪問的AI開啟了曙光。除了方便因素外，這個版本還具有更大的意義。本地AI處理顛覆了用戶授權(quán)和控制的核心原則。你的設備將繼續(xù)充當一個強大的AI工作站，而不損害個人隱私或數(shù)據(jù)安全。

Edge Gallery簡介

谷歌AI Edge Gallery是一個實驗性的應用程序，可以徹底改變安卓手機。該應用程序充當了連接用戶和Hugging Face模型的橋梁。它允許直接下載和本地執(zhí)行生成式AI模型。這個助手會一直陪著你，完全在你的掌控之內(nèi)。

這個平臺消除了用戶與最好的AI技術之間的傳統(tǒng)壁壘。誰需要技術訣竅來掌握語言模型功能？你可以通過一個易于導航的用戶界面輕松管理復雜的模型切換處理，這樣用戶可以在不需要任何外部幫助或遇到限制的情況下嘗試和測試各種AI模型。

簡而言之，谷歌旨在利用Edge Gallery使AI惠及全球任何地方的每個人。實驗版可以實現(xiàn)快速創(chuàng)新和整合用戶反饋。新的更新版提供了額外的功能和更好的兼容性模型。

Edge Gallery的主要功能

Edge Gallery的主要功能如下：

• 完全離線功能：最重要的功能是，安裝后，它完全獨立于任何形式的連接。一旦下載了模型，你的設備就成了獨立的實體。所有AI處理都在本地進行，沒有數(shù)據(jù)發(fā)送到外部服務器。
• 訪問廣泛的模型庫：谷歌Edge Gallery直接連接到Hugging Face龐大的模型庫，所以用戶可以輕松比較和下載適合他們?nèi)蝿?/span>的模型。該平臺可以執(zhí)行文本生成、圖像分析和代碼輔助。由于允許切換模型，該平臺鼓勵嘗試AI界現(xiàn)有的不同方法和功能。
• 對用戶友好的體驗設計：該應用程序擁有用戶熟悉的干凈的消息類型界面。憑借AI所能提供的所有功能，導航做得相當簡單。模型管理、設置和對話都融入在整個設計中。該平臺的設計使非技術人員也能一開始就可以有效地使用它。
• 最大限度地保護隱私：由于一切都在本地處理，任何數(shù)據(jù)泄露或未經(jīng)授權(quán)訪問這一威脅被消除了。你的對話內(nèi)容永遠不會進入到任何外部服務器，也不會進入到任何第三方數(shù)據(jù)庫。完全私密的信息始終由用戶獨自控制。因此，它聲稱能夠提供比大多數(shù)基于云的AI服務更好的隱私保護。

本地運行LLM的好處

市場上有很多LLM可用，但這個應用程序之所以脫穎而出，是由于它允許我們在本地運行LLM，還能以離線方式運行。以下是本地運行LLM的一些好處：

• 不妥協(xié)的數(shù)據(jù)隱私：本地執(zhí)行消除了個人信息離開設備邊界的隱患。因此，在敏感的談話中所說的話、文件中的細節(jié)、研究查詢或信息都是完全私密和受保護的。因此，處理的數(shù)據(jù)無法被企業(yè)間諜活動或政府監(jiān)視所獲取。你的數(shù)據(jù)完全由你保管，不依賴任何第三方。
• 大幅降低成本：由于在本地運行模型，因此消除了所有訂閱費用和基于付費的定價。此后，下載的模型將為你工作，不必考慮任何后續(xù)成本或付費。它實際上意味著無限制地使用AI，根本不必擔心財力限制。
• 性能獨立性和可靠性：互聯(lián)網(wǎng)連接問題不會中斷你的AI工作流程或任務。無論網(wǎng)絡的復雜性如何，性能保持持續(xù)性，以實現(xiàn)可靠的AI輔助。決定響應有多快的是設備端處理能力，而不是連接的質(zhì)量。
• 無限創(chuàng)作自由：可以針對不同的任務嘗試模型，不用擔心使用方面的限制。本地執(zhí)行便于無限的創(chuàng)造力和沒有障礙的搜索。用戶可以在沒有其他人監(jiān)視或過濾其內(nèi)容的情況下突破界限。

如何開始上手Edge Gallery？

下面是開始嘗試Edge Gallery的步驟。通過這些步驟，你可以在青睞的系統(tǒng)中設置該應用程序，立即開始嘗試。

第1步：檢查系統(tǒng)需求

目前，該應用程序支持處理能力相當強的安卓設備。建議最小內(nèi)存為4GB，確保模型運行順暢和穩(wěn)定。至少要有8GB的閑置空間，用于存儲下載的內(nèi)容。搭載64位處理器的現(xiàn)代智能手機可以提供理想的用戶滿意度。

第2步：檢查你的設備是否受到支持

版本8或以上的安卓手機被認為完全兼容。來自知名廠商的旗艦設備提供了最佳的性能和穩(wěn)定性。中端硬件配置的平板電腦也可以很好地運行該應用程序。設備的兼容性完全取決于RAM可用性和處理能力。

第3步：安裝和設置過程

從官方來源或授權(quán)的應用商店下載APK文件。該應用程序?qū)⑿枰獜奈粗獊碓窗惭b，所以進入到你的安全設置并打開它。在初始階段，設置和配置還需要開發(fā)人員選項。

授予順利運行應用程序和管理模型所需的所有權(quán)限。繼續(xù)使用安裝向?qū)?/span>，以順利完成安裝過程。初始安裝過程視設備性能而定，通常需要5 ~ 10分鐘。第一次模型下載可能需要一些時間，長短取決于模型。

探索Edge Gallery的App界面

安裝Edge Gallery App后，你會看到一個界面，不妨看看我們可以使用它的一些功能來做些什么：

主儀表板導航

主界面展示了現(xiàn)有功能的分類視圖，比如圖像詢問、提示實驗室和AI聊天。在這些功能下面，模型類別帶有一個標簽，以便用戶快速訪問和選擇它們。下載狀態(tài)和模型狀態(tài)出現(xiàn)在主儀表板上。

快速操作按鈕便于立即訪問已搜索的AI模型。存儲使用指標幫助用戶跟蹤了解設備上的空間。設置的快捷方式也有助于輕松導航到所有定制選項和首選項。儀表板還根據(jù)用戶和模型活動動態(tài)更新。

模型瀏覽和選擇

正如你在界面中看到，每項功能都有三到四種類型的模型供你選擇。過濾選項有助于根據(jù)模型大小、功能和需求縮小范圍。模型描述提供了有關能力和性能特征的詳細信息。預覽功能允許用戶在下載模型以使用本地存儲空間之前測試模型。

你還可以看到評分和社區(qū)反饋，這有助于用戶決定他們可以選擇的模型。流行模型高亮顯示，以幫助用戶找到最常用的模型。高級過濾選項允許用戶精確匹配模型，以滿足其需求。

交互式聊天界面

為了方便，它有一個用戶熟悉的對話界面，可以從任何商業(yè)消息應用程序切入。它支持輸入問題、圖像上傳和多回合對話，并在用戶輸入時實時生成響應。上下文保存提供了多路交換和會話流，從而保持了會話的連續(xù)性。

它允許在會話期間進行模型切換，這可以用于比較和測試目的。聊天歷史記錄保存在本地機器上，以供參考、保持連貫性。導出對話可以保存重要的聊天內(nèi)容和AI顯示的內(nèi)容。它還支持語音輸入，以便與AI模型進行免提交互。

綜合設置管理

它通過接口提供定制的模型參數(shù)、與性能相關的和與應用程序相關的首選項。你可以使用提供的控件管理下載的模型存儲、使用和更新首選項。高級用戶可以訪問進一步的定制，以調(diào)整模型行為及其響應特征。

隱私設置保證了數(shù)據(jù)處理符合個人要求和標準。它還有面向性能的設置，以便兼顧快速和電池使用電量。模型和應用程序的更新可以自動管理。

使用Edge Gallery上手處理任務

關于Edge Gallery我們已經(jīng)談了很多，現(xiàn)在看看它是如何運行的。使用其突出功能的任務如下：

任務1：使用Ask Image提取文檔文本

該任務演示了Edge Gallery的離線功能如何在提供上下文提示時幫助圖像分析。

• 打開Edge Gallery中的Ask Image功能。
• 下載你青睞的模型。
• 就這項任務而言，我們將下載“Gemma-2n-E2B-it-int4”。
• 下載后，點擊“試用”。
• 給任何手寫的便條、收據(jù)或打印文件拍一張清晰的照片。
• 將圖像上傳到選定的視覺模型。
• 輸入提示“Extract all text from the image and summarize the key information”（從圖像中提取所有文本，并總結(jié)關鍵信息）。
• 然后，當AI花時間處理圖像并提供適當?shù)捻憫獣r，如果你對響應不滿意，可以通過提供詳細的反饋要求AI做得更好。
• 你可以問一個后續(xù)問題：“What are the main points given in the document/Image?”（文檔/圖像中給出的要點是什么？）
• 若要測試離線功能，你可以斷開互聯(lián)網(wǎng)，然后問這些問題。
• 保存結(jié)果，供將來參考。

任務2：使用Prompt Lab重寫專業(yè)的電子郵件

該任務演示了Edge Gallery如何在完全離線的情況下支持撰寫專業(yè)的電子郵件或為我們的問題/提示提供結(jié)果。

• 從儀表板上的三個選項中選擇Prompt Lab選項。
• 從可用的選項中選擇你青睞的文本生成模型，并下載它。
• 就我們的任務而言，我們將從四個選項：“Gemma-3n-E2B-it-int4”、“Gemma-3n-E4B-it-int4”、“Gemma3-1B-IT-q4”和“Qwen2.5-1.5B-Instruct q8”中選擇“Gemma-3n-E2B-it-int4”。
• 下載模型后，點擊“試用”。
• 寫一個簡單的非正式的電子郵件草稿（比如“嘿，你能把那份報告發(fā)給我嗎？謝謝。”）
• 提示：“Rewrite this email in a professional, polite tone: [paste your draft].”（用專業(yè)、禮貌的語氣重寫這封電子郵件：[粘貼草稿]。）
• 生成響應并進行分析。如果你對響應不滿意，可以要求它以一種更好、更有條理的方式確定其格式。
• 你可以嘗試輸入提示：“Make it more formal and add a proper subject line suggestion.”（讓郵件更正式，并添加適當?shù)闹黝}行建議。）
• 選擇另一個模型，并輸入相同的提示，比較結(jié)果。
• 使用導出功能來存儲最佳版本。

Edge Gallery的優(yōu)點

以下是使用谷歌Edge Gallery具有的一些優(yōu)點：

• 革命性的隱私保護：它提供數(shù)據(jù)主權(quán)，這意味著信息永遠不會離開設備邊界。企業(yè)和政府監(jiān)視從技術上來說無法窺視本地處理的信息。
• 零持續(xù)運營成本：安裝后沒有訂閱費用、上下文限制或隱性成本。隨著時間的推移，用戶可以無限制地使用AI功能，無需承擔任何額外的成本。
• 完全獨立于網(wǎng)絡：即使在連接或覆蓋條件很差的環(huán)境下也能保持工作效率。這意味著與飛機模式兼容，即在旅行過程中，將在全球范圍內(nèi)提供不間斷的AI幫助。
• 模型的多樣性和靈活性：允許訪問數(shù)以千計的Hugging Face模型以處理不同的任務。根據(jù)每個特定任務的要求或用戶青睞某個模型時，可以輕松切換模型。

Edge Gallery的局限性

每當新模型發(fā)布，相比現(xiàn)有模型會有很多優(yōu)點，但也有一些局限性。以下是Edge Gallery的一些局限性：

• 依賴硬件性能：由于AI處理很耗電，舊款智能手機不再有機會。較低的處理能力意味著較慢的響應時間，并嚴重影響用戶的體驗。
• 需要龐大的存儲空間：語言模型需要設備端有足夠的存儲空間。小設備上可用的存儲空間很快會被多個模型消耗掉。因此，用戶必須有意識地分配存儲空間以獲得最佳性能。
• 模型兼容性受限制：并非每個Hugging Face模型都與移動平臺兼容。有些需要的資源比智能手機實際提供的要多。與基于云的AI服務相比，提供的模型數(shù)量有限。
• 平臺可用性受限制：目前僅限于安卓，iOS版即將推出，蘋果用戶必須等待iOS版本的正式發(fā)布日期。到目前為止，官方還沒有確定iOS應用程序的發(fā)布時間。
• 響應緩慢：由于模型在CPU上運行，與LLM相比，它在提供對提示的響應方面花費大量時間。

與其他最新本地LLM選項的比較

不妨比較如今市面上一些最流行的、最新穎的本地LLM。這些平臺允許用戶直接在其設備上運行強大的LLM，但是它們的功能因平臺而異。

結(jié)語

谷歌Edge Gallery在確保AI更具安全意識方面迎來了重大轉(zhuǎn)變。這款實驗性應用程序?qū)?/span>切實可行的生成式AI生成功能提供給了用戶。其方法既能保護用戶的隱私，又能為他們提供最先進的AI。本地處理消除了傳統(tǒng)上在用戶與先進技術之間形成的障礙。

雖然存在設備兼容性和模型選擇方面的限制，但基于價值的優(yōu)點掩蓋了這些缺點。這種注重隱私的免費解決方案使每個人都能訪問先進的AI。它對教育部門、研究人員和注重隱私的用戶都特別有用。這種方法意味著發(fā)展中地區(qū)可以平等地享用AI技術和基礎設施。

原文標題：Run LLMs Locally for Free Using Google’s Latest App!，作者：Riya Bansal