小型語(yǔ)言模型（SLM）在效率、隱私和適應(yīng)性之間實(shí)現(xiàn)了卓越的平衡，使其成為各種應(yīng)用的理想選擇。

譯自GenAI Meets SLMs: A New Era for Edge Computing，作者 Pankaj Mendki。

讓我們想象一個(gè)場(chǎng)景：一家醫(yī)院的患者擁有自己的醫(yī)療記錄。醫(yī)院希望在其個(gè)人監(jiān)控設(shè)備上安裝支持 AI 的醫(yī)療保健助手，以便醫(yī)療保健專(zhuān)業(yè)人員可以監(jiān)控和分析數(shù)據(jù)，并提供實(shí)時(shí)反饋，以確保常規(guī)和緊急藥物治療，但該系統(tǒng)必須符合區(qū)域醫(yī)療法規(guī)。在這種情況下，邊緣計(jì)算方法對(duì)于準(zhǔn)確性和數(shù)據(jù)安全性是可靠的——并且可以在本地工作；不需要云。

現(xiàn)在，想象一下當(dāng)邊緣計(jì)算由GenAI提供支持時(shí)的可能性。這種融合不僅使解決方案更智能，而且使解決方案更具自主性，并為開(kāi)發(fā)個(gè)性化的智能醫(yī)療保健開(kāi)辟了新的可能性。但邊緣計(jì)算的影響不僅限于醫(yī)療保健領(lǐng)域。它還可以改變投資等行業(yè)，在這些行業(yè)中，實(shí)時(shí)數(shù)據(jù)處理對(duì)于交易決策至關(guān)重要，并加強(qiáng)網(wǎng)絡(luò)安全，以防止數(shù)據(jù)落入壞人之手。

如今，開(kāi)發(fā)人員主要使用大型語(yǔ)言模型(LLM) 來(lái)開(kāi)發(fā) GenAI 應(yīng)用程序，因?yàn)樗鼈兙哂忻黠@的優(yōu)勢(shì)。但 LLM 的規(guī)模和復(fù)雜性使其對(duì)資源受限的邊緣設(shè)備提出了挑戰(zhàn)。SLM 接受針對(duì)特定案例的文獻(xiàn)訓(xùn)練，與 LLM 相比，它們可以更快、更高效地做出實(shí)時(shí)決策。

作為新興技術(shù)主管，我和我的團(tuán)隊(duì)已經(jīng)多次測(cè)試了 SLM。本文探討了在邊緣計(jì)算系統(tǒng)中使用 SLM 的一些挑戰(zhàn)和潛在策略。

用 SLM 替換 LLM 用于邊緣應(yīng)用

切換到 SLM 在醫(yī)療保健領(lǐng)域具有顯著優(yōu)勢(shì)，在該領(lǐng)域，個(gè)人設(shè)備的使用很普遍。由于性能限制，個(gè)人設(shè)備通常缺乏有效運(yùn)行 LLM 所需的資源。由于 SLM 針對(duì)特定案例，因此它們提供了一個(gè)解決這些限制的理想解決方案。

使用模型蒸餾、參數(shù)剪枝和量化等技術(shù)可以輕松地將 LLM 轉(zhuǎn)換為 SLM。模型蒸餾涉及訓(xùn)練一個(gè)更小的模型來(lái)模擬更大的模型，從而保留原始模型的大部分性能。參數(shù)剪枝消除了模型中不必要的權(quán)重和連接，以簡(jiǎn)化其架構(gòu)，而不會(huì)犧牲準(zhǔn)確性。量化通過(guò)降低權(quán)重?cái)?shù)值表示的精度來(lái)壓縮模型，從而產(chǎn)生更小的占用空間和更快的推理時(shí)間。

現(xiàn)在，讓我們重新審視醫(yī)院的例子。不同組的患者可能需要持續(xù)監(jiān)測(cè)，并針對(duì)神經(jīng)內(nèi)科、腎臟內(nèi)科、心血管內(nèi)科、自身免疫性疾病、傳染病甚至事故相關(guān)的疾病和病癥采取立即行動(dòng)?？梢葬槍?duì)這些醫(yī)療狀況分別訓(xùn)練 SLM。他們可以實(shí)時(shí)分析這些患者的數(shù)據(jù)，并啟動(dòng)所需的治療或提醒醫(yī)療保健專(zhuān)業(yè)人員及時(shí)采取行動(dòng)。

根據(jù)開(kāi)發(fā)人員的需求，他們可以從頭開(kāi)始構(gòu)建 SLM，也可以使用預(yù)訓(xùn)練模型作為其項(xiàng)目的基礎(chǔ)工具，并加快開(kāi)發(fā)過(guò)程。開(kāi)放市場(chǎng)（例如 GitHub Models 和 Hugging Face）擁有預(yù)訓(xùn)練的 SLM。這些工具還有助于在邊緣更廣泛地采用生成式 AI。SLM 的上下文功能可以改變多個(gè)行業(yè)。在智慧城市中，SLM 可以構(gòu)建更好的支持邊緣的物聯(lián)網(wǎng)設(shè)備，以提供針對(duì)擁堵或道路封閉等情況量身定制的上下文相關(guān)方向。這種組合可以提高效率，最大限度地減少延誤，并改善整體城市交通體驗(yàn)。

解決平臺(tái)多樣性和資源需求

邊緣設(shè)備之間的平臺(tái)異構(gòu)性可能會(huì)使部署 SLM 具有挑戰(zhàn)性。個(gè)人監(jiān)控設(shè)備可以在多個(gè)平臺(tái)上運(yùn)行，例如 iOS 和 Android。但是，諸如 Open Neural Network Exchange (ONNX)、MediaPipe、WASI-NN、Rust 和 WebAssembly 之類(lèi)的堆棧和框架可以幫助構(gòu)建一個(gè)邊緣應(yīng)用程序生態(tài)系統(tǒng)，以使用 SLM。它們支持各種硬件和操作系統(tǒng)，并確保跨平臺(tái)支持和資源優(yōu)化的應(yīng)用程序。

諸如開(kāi)放神經(jīng)網(wǎng)絡(luò)交換 (ONNX) 運(yùn)行時(shí)之類(lèi)的框架提供了一個(gè)抽象層，簡(jiǎn)化了跨多個(gè)平臺(tái)對(duì) SLM 的支持，從而緩解了這個(gè)問(wèn)題。開(kāi)發(fā)人員可以使用 ONNX 工具包針對(duì)特定硬件目標(biāo)優(yōu)化模型，以確保無(wú)論底層設(shè)備架構(gòu)如何，都能實(shí)現(xiàn)高效的性能。MediaPipe 框架簡(jiǎn)化了將 SLM 遷移到輕量級(jí)邊緣設(shè)備（包括移動(dòng)平臺(tái)）的過(guò)程。其模塊化框架和高效的硬件加速器支持預(yù)優(yōu)化的跨平臺(tái)解決方案，并簡(jiǎn)化了在資源受限環(huán)境中部署復(fù)雜的 AI 模型。

此外，WebAssembly 可以利用包括 GPU 在內(nèi)的底層硬件功能來(lái)優(yōu)化性能并加速推理任務(wù)。由于它將輕量級(jí)執(zhí)行與強(qiáng)大的計(jì)算資源相結(jié)合，因此非常適合 SLM 應(yīng)用程序。它還有助于可持續(xù)發(fā)展計(jì)劃，通過(guò)支持在功耗和發(fā)熱量較低的邊緣設(shè)備上開(kāi)發(fā)強(qiáng)大的 AI 解決方案。WASI-NN 為 WebAssembly 提供機(jī)器學(xué)習(xí)推理 API。它支持利用 SLM 功能的 WebAssembly 多語(yǔ)言開(kāi)發(fā)應(yīng)用程序。

Rust 編程語(yǔ)言堆棧進(jìn)一步增強(qiáng)了這個(gè)生態(tài)系統(tǒng)。與ML 環(huán)境中使用的 Python 堆棧不同，Rust 支持小至 30 MB 的應(yīng)用程序運(yùn)行時(shí)，從而實(shí)現(xiàn)適用于資源受限邊緣環(huán)境的輕量級(jí)、高性能應(yīng)用程序。

通過(guò)增強(qiáng)的安全性在邊緣進(jìn)行協(xié)作學(xué)習(xí)

醫(yī)療保健和許多其他領(lǐng)域都在隱私敏感的環(huán)境中運(yùn)作。然而，與邊緣應(yīng)用程序進(jìn)行受控的數(shù)據(jù)共享可以幫助建立知識(shí)庫(kù)，以使用 SLM 和其他醫(yī)療保健服務(wù)改進(jìn)治療程序。在這種情況下，聯(lián)邦學(xué)習(xí)等技術(shù)可以確保在多個(gè)設(shè)備上對(duì) SLM 進(jìn)行訓(xùn)練和微調(diào)。使用聯(lián)邦學(xué)習(xí)，維護(hù)數(shù)據(jù)隱私和安全性更加簡(jiǎn)單。這種方法有助于模型從本地化數(shù)據(jù)中學(xué)習(xí)，而無(wú)需共享敏感信息。

讓我們回到醫(yī)院的例子。醫(yī)院已決定加入與其他醫(yī)院的合作計(jì)劃，旨在建立一個(gè)更復(fù)雜的模型，以根據(jù)來(lái)自各種醫(yī)療記錄的見(jiàn)解來(lái)改善預(yù)測(cè)和護(hù)理結(jié)果。但有一個(gè)問(wèn)題：醫(yī)院不能公開(kāi)這些文件，因?yàn)榉ㄒ?guī)指定患者為其數(shù)據(jù)的所有者。

這就是聯(lián)邦學(xué)習(xí)與 SLM 結(jié)合可以改變游戲規(guī)則的地方。每家醫(yī)院都可以使用其患者記錄來(lái)訓(xùn)練自己的 SLM。然后，它只能將學(xué)習(xí)到的參數(shù)上傳到共享數(shù)據(jù)庫(kù)，從而使所有貢獻(xiàn)者受益，同時(shí)保持隱私。然后，服務(wù)器根據(jù)收到的更新構(gòu)建全局模型，而無(wú)需訪問(wèn)單個(gè)文件。

同樣的原則適用于所有涉及敏感數(shù)據(jù)的情況。例如，在客戶(hù)數(shù)據(jù)需要嚴(yán)格安全性的投資領(lǐng)域，來(lái)自投資模式共享參數(shù)的見(jiàn)解可以幫助銀行業(yè)開(kāi)發(fā)更有效的計(jì)劃。聯(lián)邦學(xué)習(xí)促進(jìn)了貢獻(xiàn)者（無(wú)論是個(gè)人、設(shè)備還是組織）之間的協(xié)作。它通過(guò)提供數(shù)據(jù)而不損害數(shù)據(jù)隱私來(lái)改進(jìn)模型。該技術(shù)還確保符合隱私法規(guī)。

開(kāi)發(fā)人員可以使用開(kāi)源項(xiàng)目進(jìn)行聯(lián)邦學(xué)習(xí)，例如 Flower、Substra、NVFlare 等。這些框架實(shí)施數(shù)據(jù)安全，并通過(guò)差異隱私、同態(tài)加密和機(jī)密計(jì)算等技術(shù)確保隱私。

結(jié)論

小型語(yǔ)言模型 (SLM) 在效率、隱私和適應(yīng)性之間實(shí)現(xiàn)了出色的平衡，使其成為各種應(yīng)用的理想選擇。在醫(yī)療保健領(lǐng)域，快速的設(shè)備上癥狀診斷也可能成為遠(yuǎn)程醫(yī)療（一個(gè)新興的醫(yī)療保健子領(lǐng)域）的差異化因素。

工業(yè)物聯(lián)網(wǎng)、國(guó)防和金融科技等行業(yè)可以利用 SLM 進(jìn)行實(shí)時(shí)分析、增強(qiáng)安全性和定制解決方案。這些行業(yè)可以進(jìn)一步受益于其對(duì)多語(yǔ)言和多模式輸入的適應(yīng)性。例如，金融科技行業(yè)可以使用 SLM 進(jìn)行多語(yǔ)言客戶(hù)支持和用于各種數(shù)據(jù)集的本地化模型。由于 SLM 在本地部署，因此它們更安全且更易于解釋?zhuān)@在監(jiān)管合規(guī)性是優(yōu)先事項(xiàng)的領(lǐng)域提供了透明度。