01、概述

在生成式AI的浪潮中，我們見證了人與技術(shù)交互方式的顛覆性變革。然而，強(qiáng)大的自然語言處理能力與內(nèi)容生成技術(shù)背后，也隱藏著不容忽視的安全隱患。如何確保生成內(nèi)容符合倫理、避免不當(dāng)信息傳播，成為技術(shù)發(fā)展的關(guān)鍵挑戰(zhàn)。而Meta推出的Llama Guard 3-1B-INT4模型，正是在這一背景下應(yīng)運(yùn)而生。

生成式AI的安全挑戰(zhàn)

生成式AI能夠快速生成海量內(nèi)容，但其輸出可能包含不安全或違反政策的內(nèi)容。為此，安全審查工具的研發(fā)顯得尤為重要。然而，傳統(tǒng)的安全審查模型多為大型語言模型（LLM），其高昂的計(jì)算和內(nèi)存需求，使得在硬件受限的移動(dòng)設(shè)備上部署成為難題。

問題核心：

• 模型體積與性能矛盾：大型模型雖然強(qiáng)大，但其計(jì)算資源需求高，難以在移動(dòng)設(shè)備等邊緣設(shè)備上高效運(yùn)行。
• 運(yùn)行瓶頸：設(shè)備內(nèi)存有限、處理能力不足，導(dǎo)致運(yùn)行大型模型時(shí)頻頻出現(xiàn)卡頓甚至崩潰。

02、解決之道：模型壓縮技術(shù)

在應(yīng)對(duì)上述挑戰(zhàn)時(shí)，研究者們將目光投向了模型壓縮技術(shù)。壓縮的核心在于瘦身不減效，通過剪枝（pruning）、量化（quantization）等手段在減小模型規(guī)模的同時(shí)，盡可能保留其性能。

• ?剪枝：通過移除低重要性的模型參數(shù)，減少計(jì)算復(fù)雜度。
• 量化：?將模型權(quán)重從高精度浮點(diǎn)數(shù)（如16位）降至低精度格式（如4位），大幅降低存儲(chǔ)需求。

盡管這些技術(shù)已經(jīng)取得了不錯(cuò)的進(jìn)展，但在小型設(shè)備上的部署仍面臨性能與安全標(biāo)準(zhǔn)之間的微妙平衡。

03、Llama Guard 3-1B-INT4

2024年Meta Connect大會(huì)上，Meta正式發(fā)布了Llama Guard 3-1B-INT4，這款模型以其僅440MB的超小體積引起廣泛關(guān)注。與前代Llama Guard 3-1B相比，新版模型在體積上縮小了7倍，但性能絲毫不遜色。

關(guān)鍵技術(shù)優(yōu)化

1）高級(jí)剪枝技術(shù)：

• 解碼器塊從16個(gè)減少到12個(gè)。
• 多層感知機(jī)（MLP）隱藏層維度從8192縮小至6400。
• 總參數(shù)量由1.5億降至1.1億。

2）量化技術(shù)：

• 權(quán)重精度降為INT4，激活值降為INT8。
• 模型體積較16位基線模型減少了四倍。

3）蒸餾技術(shù)：從更大的Llama Guard 3-8B模型中提取知識(shí)，彌補(bǔ)壓縮過程中可能的性能損失。

4）輸出層優(yōu)化：通過只保留20個(gè)必要token的嵌入層，進(jìn)一步壓縮輸出尺寸。

出色的性能表現(xiàn)

即便在如此大幅壓縮后，Llama Guard 3-1B-INT4依然表現(xiàn)卓越：

• 高效運(yùn)行：在普通Android手機(jī)CPU上，模型能以每秒30個(gè)token的速度生成內(nèi)容，首個(gè)token響應(yīng)時(shí)間低于2.5秒。
• 多語言支持：在五種非英語語言（包括法語、西班牙語和德語）的測試中，性能與更大模型持平或更優(yōu)。
• 安全性超越：與GPT-4相比，該模型在七種語言的安全審查任務(wù)中表現(xiàn)更佳。

更令人印象深刻的是，這一小型模型已成功部署在Moto-Razor手機(jī)上，標(biāo)志著生成式AI在移動(dòng)端應(yīng)用邁出了堅(jiān)實(shí)一步。

04、研究總結(jié)與啟示

Llama Guard 3-1B-INT4的誕生，不僅為移動(dòng)設(shè)備上的安全審查帶來了全新可能，也為生成式AI的未來發(fā)展提供了寶貴的經(jīng)驗(yàn)。

核心亮點(diǎn)：

• 壓縮技術(shù)的潛力：剪枝和量化等方法能夠顯著降低模型體積，同時(shí)維持高精度。
• 性能與安全的雙重平衡：在模型大幅壓縮的前提下，依然實(shí)現(xiàn)了卓越的F1得分（0.904），超過同類模型。
• 邊緣設(shè)備友好：優(yōu)化后的模型能在普通移動(dòng)設(shè)備上流暢運(yùn)行，為規(guī)?；渴痄伷降缆贰?/li>
• 多語言兼容：支持多語言安全審查任務(wù)，展示了廣泛的應(yīng)用前景。

05、AI安全的未來

Llama Guard 3-1B-INT4的推出，為生成式AI的安全審查設(shè)立了新標(biāo)桿。憑借先進(jìn)的壓縮技術(shù)和精細(xì)的性能優(yōu)化，該模型不僅實(shí)現(xiàn)了小體積與高性能的完美結(jié)合，還為移動(dòng)端AI應(yīng)用開辟了新路徑。

隨著技術(shù)的不斷進(jìn)步，類似的輕量化、高效能模型將越來越多地出現(xiàn)在我們的日常生活中，從而推動(dòng)更廣泛、更安全的AI普及應(yīng)用。未來已來，讓我們共同期待！

參考：

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/Za6z8eC-A4MREhGKhNZyJg??