編譯丨諾亞

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

大語(yǔ)言模型（LLM）作為年度熱詞，已經(jīng)充分向我們證明了其影響力。如今，一場(chǎng)無(wú)聲卻極具開(kāi)創(chuàng)性的變革正在興起。小語(yǔ)言模型（SLM）的興起正逐步挑戰(zhàn)著大預(yù)言模型的主導(dǎo)地位。相較大模型，小模型對(duì)于訓(xùn)練數(shù)據(jù)、內(nèi)存、算力的要求較少，但高質(zhì)量的“小數(shù)據(jù)”同樣能夠讓小模型表現(xiàn)出良好的語(yǔ)言理解和推理性能。

當(dāng)前，很多公司都在關(guān)注小模型，因?yàn)樗鼈冊(cè)诳稍L問(wèn)性、計(jì)算效率和適應(yīng)性方面的特性，使它們非常適合部署在邊緣設(shè)備和云環(huán)境中，進(jìn)而開(kāi)創(chuàng)一個(gè)人機(jī)交互的新時(shí)代。在今年Ignite大會(huì)上，微軟CEO薩蒂亞·納德拉在會(huì)上宣布將自研小模型 Phi-2 完全開(kāi)源，并表示：“微軟熱愛(ài)SLM”。這也為此后其他小模型的推出開(kāi)了個(gè)好頭?；仡?023年，我們來(lái)看看今年出現(xiàn)了哪些值得關(guān)注的小模型。

1、Llama 2 7B

今年7月發(fā)布的Meta AI第二代開(kāi)源大型語(yǔ)言模型Llama 2擁有令人印象深刻的340億個(gè)參數(shù)，較小的70億參數(shù)模型是專(zhuān)門(mén)為研究目的而制作的。與它的前身相比，它顯著地增強(qiáng)了模型的性能、效率和可訪問(wèn)性。

通過(guò)演示文本生成、翻譯和代碼生成的改進(jìn)，Llama 2迎合了廣泛的NLP任務(wù)。該模型的多語(yǔ)言功能和針對(duì)特定任務(wù)(如Code Llama)的微調(diào)版本的可用性，將其應(yīng)用范圍從機(jī)器翻譯擴(kuò)展到聊天機(jī)器人和內(nèi)容創(chuàng)建。

當(dāng)前的許多開(kāi)源模型都是建立在Llama系列模型之上的。

1、Phi2 和 Orca

在Ignite 2023大會(huì)上，微軟宣布了其在小型語(yǔ)言模型方面的最新進(jìn)展，推出了Phi-2和Orca。Phi-2是Phi小型語(yǔ)言模型(SLM)系列的最新迭代，擁有令人印象深刻的130億個(gè)參數(shù)容量，并為提高效率和可擴(kuò)展性而量身定制。Phi-2是為邊緣設(shè)備和云定制的，在文本生成、語(yǔ)言翻譯和信息性問(wèn)答方面表現(xiàn)出色。

Orca模型則是一個(gè)只有13億參數(shù)但具有大模型推理能力的小模型。Orca在ChatGPT 生成的五百萬(wàn)數(shù)據(jù)集上初步訓(xùn)練，然后再在 GPT-4 生成的一百萬(wàn)數(shù)據(jù)集上進(jìn)一步訓(xùn)練，它主要學(xué)習(xí)GPT-4對(duì)結(jié)果逐步解釋的能力和循序漸進(jìn)的思考過(guò)程以及對(duì)其他復(fù)雜指令的響應(yīng)能力，并由ChatGPT當(dāng)助教協(xié)助指導(dǎo)。

Phi-2和Orca是微軟致力于推進(jìn)小型語(yǔ)言模型的一個(gè)縮影，有望在自然和可訪問(wèn)的計(jì)算領(lǐng)域帶來(lái)一場(chǎng)革命。

3、Stable Beluga 7B    

這是由Stability AI 公司推出的一個(gè)70億參數(shù)的語(yǔ)言模型，利用來(lái)自Meta AI的Llama模型基礎(chǔ)，并在Orca風(fēng)格的數(shù)據(jù)集上進(jìn)行微調(diào)，在各種NLP任務(wù)中表現(xiàn)出強(qiáng)大的性能，包括文本生成、翻譯、問(wèn)答和代碼完成。

Stable Beluga 7B能夠理解并響應(yīng)多種語(yǔ)言，增強(qiáng)了其全球影響力和適用性。該模型的未來(lái)承諾進(jìn)一步增強(qiáng)性能，增加采用和集成，開(kāi)發(fā)專(zhuān)用版本，并繼續(xù)為開(kāi)源社區(qū)做出貢獻(xiàn)。

4、X Gen

X Gen是一個(gè)由Salesforce AI首創(chuàng)的70億參數(shù)的小模型，主要專(zhuān)注于對(duì)話(huà)和各種任務(wù)，如文本生成、翻譯和代碼完成。憑借70億參數(shù)的緊湊尺寸，X Gen提供了計(jì)算效率，促進(jìn)了更廣泛的部署。

擁有多語(yǔ)言功能和Salesforce AI的持續(xù)開(kāi)發(fā)努力，X Gen成為一個(gè)有價(jià)值的工具，應(yīng)用范圍從創(chuàng)意寫(xiě)作、內(nèi)容創(chuàng)作到軟件開(kāi)發(fā)和語(yǔ)言學(xué)習(xí)。

5、QWen系列

阿里巴巴今年發(fā)布的Qwen系列，作為一個(gè)強(qiáng)大的語(yǔ)言模型家族脫穎而出。該系列具有參數(shù)大小和功能不同的各種模型，可用于文本生成、翻譯、問(wèn)答、視覺(jué)和語(yǔ)言任務(wù)以及音頻處理等各種應(yīng)用。

這些模型的關(guān)鍵特性包括高性能、多語(yǔ)言支持和開(kāi)源可用性，使研究人員和開(kāi)發(fā)人員可以訪問(wèn)它們。阿里巴巴的Qwen系列包括Qwen-1.8 b, Qwen- 7b, Qwen- 14b和Qwen- 72b。

6、Alpaca 7B

Alpaca 7B是 LLaMA-7B 的微調(diào)版本，以其卓越的緊湊性和成本效益而聞名，建造成本不到600美元。盡管Alpaca 7B的體積很小，但它表現(xiàn)出了相當(dāng)不錯(cuò)的性能，在某些任務(wù)中可以與更大的模型相媲美。

這種可負(fù)擔(dān)性和效率使Alpaca 7B成為各種應(yīng)用程序的可訪問(wèn)選項(xiàng)，展示了在預(yù)算友好的框架內(nèi)對(duì)自然語(yǔ)言處理產(chǎn)生影響的發(fā)展?jié)摿Α?/p>

7、MPT

這是創(chuàng)業(yè)公司Mosaic ML推出的70億參數(shù)小型語(yǔ)言模型，位于代碼生成和創(chuàng)造性文本格式的交叉點(diǎn)，為程序員和藝術(shù)家提供專(zhuān)業(yè)功能。MPT旨在提高生產(chǎn)力，擅長(zhǎng)生成精確的代碼片段，自動(dòng)化任務(wù)，并通過(guò)各種創(chuàng)造性的文本格式激發(fā)藝術(shù)表達(dá)。

它的潛在應(yīng)用跨越了軟件開(kāi)發(fā)、創(chuàng)意寫(xiě)作、內(nèi)容創(chuàng)建、教育和可訪問(wèn)性工具，展示了MPT在技術(shù)和創(chuàng)意領(lǐng)域的適應(yīng)性和承諾。

8、Falcon 7B

由阿聯(lián)酋技術(shù)創(chuàng)新研究所(TII)制作的Falcon 7B是Falcon系列自回歸語(yǔ)言模型的杰出補(bǔ)充，因其出色的性能而著稱(chēng)。為了提高聊天和問(wèn)答等簡(jiǎn)單任務(wù)的效率，這個(gè)70億參數(shù)的模型進(jìn)行了優(yōu)化，以處理大量文本數(shù)據(jù)語(yǔ)料庫(kù)，包括大約1萬(wàn)億token。自發(fā)布以來(lái)，F(xiàn)alcon模型已經(jīng)在Hugging Face排行榜上停留了很長(zhǎng)一段時(shí)間。

9、Zephyr 7B

Zephyr由Hugging Face設(shè)計(jì)，是一個(gè)70億參數(shù)的小型語(yǔ)言模型。實(shí)際上是在公共數(shù)據(jù)集上訓(xùn)練的 Mistral-7B 的微調(diào)版本，但也通過(guò)知識(shí)蒸餾技術(shù)進(jìn)行了優(yōu)化。

專(zhuān)注于對(duì)話(huà)交互被證明是聊天機(jī)器人、虛擬助手和各種交互式應(yīng)用程序的理想選擇。其緊湊的尺寸確保了計(jì)算效率，使其可部署在不同的平臺(tái)上。Zephyr在多樣化數(shù)據(jù)集上的訓(xùn)練使其能夠理解和響應(yīng)多種語(yǔ)言，從而擴(kuò)大了其全球適用性。

參考鏈接：https://analyticsindiamag.com/9-best-small-language-models-released-in-2023/