在當前的AI革命中，大模型扮演著至關(guān)重要的角色，而這背后的基礎(chǔ)便是Scaling Law。簡而言之，隨著數(shù)據(jù)、參數(shù)和計算能力的不斷提升，大模型的能力也隨之增強，展現(xiàn)出小規(guī)模模型所無法比擬的“涌現(xiàn)能力”。越來越多的AI企業(yè)紛紛推出開源大模型，按照擴展定律實現(xiàn)指數(shù)級的增長，為AI領(lǐng)域的發(fā)展注入了新的活力和動力。

然而，另一個不可忽視的趨勢是，大型模型的體積正在逐漸縮小，這為私有化部署提供了可能。這一趨勢對于個人隱私保護要求較高的場景尤為重要。通過無需聯(lián)網(wǎng)傳輸數(shù)據(jù)，直接在設(shè)備上運行的AI技術(shù)，我們可以增強用戶的信任感。盡管云服務(wù)器上的AI可能具備更高的性能，但其安全性和可靠性卻令人擔憂。因此隨著模型體積的減小，私有化部署將成為更加可行和受歡迎的選擇。

本文介紹幾個適合私有化部署的最新大模型，并提供部署指導，手把手部署到電腦及手機。

一、開源大模型

熱門的大模型如ChatGPT和Bard受限于專有閉源技術(shù)，限制了其應(yīng)用并模糊了技術(shù)透明度。相比之下，開源AI大型模型（LLMs）如Meta的Llama 3和微軟的Phi3，不僅增強了數(shù)據(jù)安全和隱私保護，還降低了成本、減少了外部依賴，并實現(xiàn)了代碼透明和模型定制。這些“小而美”的開源模型便于部署，預示著AI技術(shù)將更為開放、透明和靈活。

1、Llama 3

近期，Meta發(fā)布了開源Llama 3 8B和Llama 3 70B模型，Meta稱它們是同體量下性能最佳的開源模型?；鶞蕼y試顯示，Llama 3 400B+實力與Claude和新版GPT-4 Turbo相當，在頂尖模型中占據(jù)重要地位。

模型鏈接：https://llama.meta.com/llama-downloads/

GitHub項目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微軟AI研究院的新開源小型語言模型，專為商業(yè)環(huán)境設(shè)計，小巧高效。它包括Mini、Small和Medium三種規(guī)模。Phi-3-Mini雖有3.8B參數(shù)，但在關(guān)鍵測試中表現(xiàn)出色，與大型模型如Mixtral 8x7B和GPT-3.5相當。更大版本在擴展數(shù)據(jù)集下表現(xiàn)更佳。

Phi-3 技術(shù)報告：《一個能跑在手機上的大模型》https://arxiv.org/abs/2404.14219

小結(jié)

基準測試顯示，Llama 3 8B和Phi3 3.8B小模型表現(xiàn)優(yōu)異。在小規(guī)模參數(shù)的背后，還有相似的優(yōu)化方法。由于大型模型性能的關(guān)鍵在于框架、數(shù)據(jù)和參數(shù)。小參數(shù)下使用MOE框架意義不大，因此這兩個模型注重數(shù)據(jù)優(yōu)化，提高數(shù)量和質(zhì)量，這也為精簡大型模型指明了方向。

二、電腦部署的流程

Ollama是部署大型語言模型的強大工具，兼容Llama 3、Mistral、Gemma等模型。部署過程簡潔明了：下載并安裝Ollama，隨后運行模型。

以Windows為例，輕松從官網(wǎng)或文末獲取Ollama，一鍵安裝即可。官網(wǎng)下載鏈接 https://github.com/ollama/ollama

安裝好Ollama后，在命令行中輸入【ollama run llama3】并運行，即可輕松下載并啟動llama3大型模型（其他模型的運行命令同樣適用）。初次下載模型可能需要一些時間，完成后，就可以開始與模型愉快地對話了。

Ollama還支持其他功能如，圖片等多模態(tài)輸入、傳入提示詞調(diào)教模型等，具體可以看下文檔。

三、手機部署的流程

與電腦相比，手機在部署大模型方面展現(xiàn)出更大的意義。這是因為手機與我們的日常生活聯(lián)系得更為緊密，且手機中儲存著大量的個人數(shù)據(jù)，為后續(xù)交互提供了極大的便利。當前，許多人手頭都有閑置的手機，如果其性能足夠強大，那么運行大模型便成為了一個不錯的選擇。以我的舊手機小米8為例，可以應(yīng)對這一需求。

要在手機上部署大模型，使用Termux+Ollama就成了。

盡管在手機上部署稍顯繁瑣，類似于電腦的安裝配置過程，但需要搭建Linux環(huán)境。盡管安卓系統(tǒng)的底層建立在Linux內(nèi)核之上，但重新裝載Linux并非易事。然而，我偶然發(fā)現(xiàn)了一款名為Termux的出色工具，它能在Android設(shè)備上流暢運行眾多Linux命令和應(yīng)用程序。只需訪問F-Droid官方網(wǎng)站，便能輕松下載安裝Termux，為您的移動設(shè)備增添強大的Linux功能。

官網(wǎng)下載鏈接：https://github.com/termux/termux-app/releases

安裝后打開Termux如下圖。（如有要打開多個Linux窗口，左上角右滑點擊New session就可以。）

第一步，利用Termux的proot-distro功能，可便捷安裝Linux系統(tǒng)如Ubuntu、Debian或Arch Linux。

// 先來安裝proot-distro
pkg install proot-distro


//使用proot-distro安裝一個debian
proot-distro install debian


// 安裝成功后通過login命令就直接進入debian，為發(fā)行版啟動一個root shell
proot-distro login debian

//進入之后再來安裝ollama
curl -fsSL https://ollama.com/install.sh | sh


// 安裝完畢可以查看ollama版本進行驗證，出現(xiàn)版本號之后就可以使用ollama
ollama -v




// 后臺開啟ollama服務(wù)
nohup ollama serve &


//運行大模型（其他模型的命令如下圖，可通過ollama list查看模型） 
ollama run phi3

第一次安裝軟件和大模型首次可能會花費較長時間，大約需要一小時。但安裝完成后，后續(xù)使用便捷。只需運行debian系統(tǒng)的login、Ollama服務(wù)以及大模型，即可開始使用。

在手機上編寫代碼有其獨特魅力，輸入代碼并看到屏幕上的輸出感覺很酷。然而，安裝遠程軟件如Tailscale或todesk，用電腦編寫代碼更有趣。但需注意，算力受限會影響大模型的響應(yīng)速度，同時會增加手機電量消耗。

四、本地大模型的體驗

模型表現(xiàn)：大模型表現(xiàn)權(quán)威的數(shù)據(jù)可以看一些相關(guān)的測評，比如下圖。

經(jīng)過我初步的測試與體驗，手機本地部署的兩大模型llama3和Phi3各有千秋。llama3展現(xiàn)出了穩(wěn)健的性能，而Phi3則在反應(yīng)速度上占據(jù)優(yōu)勢，給我的綜合感受帶來了不小的驚喜。

響應(yīng)速度方面，必須承認，無論是手機還是電腦，性能的高低都會對模型的表現(xiàn)產(chǎn)生影響。若能在配備GPU的電腦上運行，或許能得到更為流暢的體驗。但在手機上，這兩款模型的反應(yīng)速度確實略顯遲緩，有時甚至需要耐心等待幾分鐘才能得到簡短的回應(yīng)。值得一提的是，Phi3的反應(yīng)速度明顯超過了llama3，這在模型規(guī)模上形成了有趣的對比——llama3的8B模型幾乎是Phi3的3.8B模型的兩倍。

對于中文處理能力，這些開源模型確實存在一些不足。當面對一些不常見的問題時，模型有時會在回答中突然轉(zhuǎn)向英文。此外，很多中文表達含糊不清，導致笑話內(nèi)容顯得有些尷尬。這背后的原因在于，高質(zhì)量的中文數(shù)據(jù)集與英文數(shù)據(jù)集相比仍有較大差距，這一數(shù)據(jù)層面的差異在未來或許會愈發(fā)明顯。在中文任務(wù)的處理上，llama的表現(xiàn)似乎更勝一籌。如有興趣，不妨嘗試llama的中文版——llama3-Chinese，或許會帶來不一樣的驚喜。

llama3

phi3

代碼能力：看著都有模有樣的，但還是可以看出來Phi3有一些語法錯誤。

llama3

phi3

數(shù)學推理：看著都還不錯，Phi3感覺更好些。

llama3

phi3

安全性：都有不錯的合規(guī)意識

llama3

phi3

五、結(jié)語

我們不禁感慨，雖然目前AI的實際應(yīng)用仍顯得零星，但技術(shù)的發(fā)展確實需要時間的積累。大型模型的昂貴推理成本無疑限制了其廣泛的推廣和應(yīng)用。

然而，正是像Llama 3和Phi3這樣的小模型的嶄露頭角，讓我們看到了大型模型實用化的希望。雖然小模型的訓練成本相對較高，但它們低廉的推理成本為整體經(jīng)濟帶來了顯著的節(jié)省，尤其是在為海量用戶提供服務(wù)時，高性能的小模型讓AI擺脫了成本的束縛，更加靈活地應(yīng)用于各種場景。想象一下，如果我們能夠根據(jù)自己的需求在本地部署定制化的AI，那種魅力將是無法言喻的！

展望未來，相信隨著模型的不斷優(yōu)化和定制AI芯片等技術(shù)的快速發(fā)展，更多“小而美”的AI大模型將逐漸融入我們的日常生活，讓我們更加深入地感受到AI帶來的巨大變革！