大模型爆火伊始，很多廠商提的最多的就是自家的模型（云端大模型）參數(shù)有多大，性能有多好。但近兩年，相較云端大模型外，端側(cè)大模型的熱度被炒的越來越高。

很重要的原因在于，越來越多的廠商開始布局端側(cè)大模型賽道。具體表現(xiàn)在，終端設(shè)備廠商，如蘋果、榮耀、小米、OV等，AI公司如商湯科技，都推出了自研的純端側(cè)大模型。

如今，各大手機廠商會說自己的AI本地運行，芯片硬件廠商也會強調(diào)自己的邊緣計算能力有多強大。

端側(cè)大模型為何能火？

簡單來說，端側(cè)大模型是能夠在你的手機、電腦、汽車這些"端設(shè)備"上直接運行的大語言模型，區(qū)別于依賴云端服務(wù)器進(jìn)行大規(guī)模計算的大型語言模型。

平時用ChatGPT或其他云端大模型的場景是這樣的：打開網(wǎng)頁或APP，輸入問題，等待幾秒鐘，輸出答案。這個過程中，你的問題被發(fā)送到云端服務(wù)器，在云端的大型GPU集群上處理，然后把結(jié)果傳回給你。

所以端側(cè)大模型與云端大模型的核心區(qū)別在于“計算發(fā)生的地點”：

云端大模型：你的設(shè)備負(fù)責(zé)輸入和輸出，將問題上傳到云端的超算中心，計算完成后，再將結(jié)果返回給你的設(shè)備。

端側(cè)大模型：模型本身已經(jīng)預(yù)裝或下載到你的設(shè)備上，計算過程完全在設(shè)備自身的芯片（如CPU、GPU、NPU）上完成。

從定義來說，也就能解釋為何云端大模型能在短時間內(nèi)殺出重圍?？梢詮亩藗?cè)大模型的弊端拆解，其一，云端大模型對網(wǎng)絡(luò)高度依賴，在沒有網(wǎng)絡(luò)或者網(wǎng)絡(luò)差的情況下，是不能運行的；其二，隱私安全問題難保證，用戶在各種平臺的記錄，甚至個人隱私都可能被上傳到網(wǎng)上，很可能因隱私泄露釀成大禍；其三，很難滿足個性化需求，云端模型服務(wù)的是全球用戶，很難針對個人的使用習(xí)慣和需求進(jìn)行深度定制。

反觀端側(cè)大模型，首先，對于用戶最關(guān)心的隱私問題能做到最優(yōu)。用戶的所有數(shù)據(jù)始終在本地設(shè)備上，永遠(yuǎn)不會被上傳到服務(wù)器。這徹底杜絕了數(shù)據(jù)在傳輸和云端存儲過程中可能存在的泄露風(fēng)險，對于企業(yè)機密、個人隱私信息、金融數(shù)據(jù)等敏感場景至關(guān)重要。

其次，超低延遲與實時響應(yīng)。由于無需網(wǎng)絡(luò)傳輸往返云端，端側(cè)模型的響應(yīng)速度極快，幾乎可以做到“瞬時回答”。對于需要實時交互的應(yīng)用至關(guān)重要，如AI語音助手、實時翻譯、會議摘要、游戲NPC交互等。

再者，離線可用性極強。在沒有網(wǎng)絡(luò)連接或信號差的環(huán)境下，端側(cè)大模型依然能夠正常工作，提供了無縫的、不間斷的AI體驗。

更值得一體的是，端側(cè)大模型不僅可以根據(jù)每位用戶的不同需求提供定制化服務(wù)，還能在很大程度上降低成本：對用戶而言，節(jié)省了流量；對廠商而言，將計算負(fù)載分散到海量終端設(shè)備上，能極大地減輕云端服務(wù)器的壓力和運營成本。

端側(cè)大模型，任重道遠(yuǎn)

但這并不意味著擁有了端側(cè)大模型就能一勞永逸，仍存在很大的困難挑戰(zhàn)。一方面是技術(shù)挑戰(zhàn)，為了在終端運行，模型必須經(jīng)過大幅度的壓縮、剪枝、量化和蒸餾，這通常會帶來模型性能的下降。如何在小體積下保持強大的能力，是研發(fā)的核心。

另一方面是商業(yè)挑戰(zhàn)，端側(cè)模型需要深度優(yōu)化和適配不同芯片平臺，開發(fā)門檻極高，需要算法、軟件和硬件團(tuán)隊的緊密協(xié)同。

面對端側(cè)部署的嚴(yán)峻挑戰(zhàn)，產(chǎn)業(yè)界和學(xué)術(shù)界正在從多個維度尋求技術(shù)突破，核心目標(biāo)是在有限的硬件資源下，盡可能保留模型的核心能力。

模型壓縮與量化就是最直接的手段。通過剪枝移除模型中不重要的權(quán)重；通過量化將模型參數(shù)從32位或16位浮點數(shù)轉(zhuǎn)換為8位甚至4位整數(shù)，大幅減少模型體積和內(nèi)存占用。例如，將70億參數(shù)的模型從FP16（16GB）量化到INT4（僅需約4GB），使其能夠在高端手機上運行。

在架構(gòu)的選擇上，研發(fā)人員傾向于設(shè)計更輕量、更高效的模型結(jié)構(gòu)。比如，采用混合專家模型，在推理時只激活部分參數(shù)，從而在總參數(shù)量巨大的情況下，實際計算成本卻很低。

當(dāng)然在軟硬件協(xié)同優(yōu)化方面，不少廠商也下足了功夫。部分芯片廠商在其SoC中集成更強大的專用NPU。同時，軟件框架提供了高度優(yōu)化的運行時庫，能將模型指令高效地映射到硬件底層，最大化發(fā)揮每一分算力。

“云端協(xié)同” ——AI應(yīng)用的主流架構(gòu)

盡管端側(cè)大模型發(fā)展迅猛，但它并非要取代云端大模型，而是其必要的補充和延伸。它代表了AI發(fā)展的下一個重要方向：從集中式、通用的“超級大腦”，走向分布式、個性化的“貼身智慧”。

但未來，“云端協(xié)同” 才是AI應(yīng)用的主流架構(gòu)。

端側(cè)作為前沿哨站：處理即時、高頻、高隱私要求的任務(wù)。如本地的語音識別、照片編輯、初步理解用戶意圖等，提供快速、安全的第一響應(yīng)。

云端作為中央大腦：處理復(fù)雜、耗資源的深度計算任務(wù)。當(dāng)端側(cè)模型遇到無法解決的復(fù)雜問題時，可以匿名化、脫敏后向云端超級模型求助，將最終結(jié)果返回給設(shè)備。同時，云端負(fù)責(zé)持續(xù)訓(xùn)練和更新，再將更優(yōu)秀的輕量化模型下發(fā)至終端。

這種架構(gòu)完美平衡了用戶體驗、隱私安全和計算效率。例如，當(dāng)你用手機AI助手規(guī)劃旅行時，端側(cè)模型本地處理你的日歷和偏好，而查詢機票酒店、生成復(fù)雜攻略等任務(wù)則悄然由云端完成，整個過程渾然一體。

結(jié)語

端側(cè)大模型的興起，標(biāo)志著AI的發(fā)展從追求絕對的“大而全”，進(jìn)入了務(wù)實落地的“精而巧”的新階段。它將智能從云端的神壇推下，嵌入到我們生活的每一個角落，讓AI變得真正觸手可及、安全可靠。

雖然前路仍充滿挑戰(zhàn)，但在巨頭押注、生態(tài)協(xié)同的趨勢下，端側(cè)大模型必將與云端模型雙翼齊飛，共同推動我們加速邁向一個真正智能化的未來。下一次換機的理由，或許不再是攝像頭像素的高低，而是你的手機，是否擁有一個足夠智慧的“本地大腦”。