生成式人工智能的未來可能依賴于企業(yè)使用的每個(gè)應(yīng)用程序的更小的語言模型，這些模型既靈活又可定制，也更安全。

隨著組織繼續(xù)采用生成式人工智能(GenAI)工具和平臺，并探索它們?nèi)绾蝿?chuàng)造效率和提高員工生產(chǎn)力，他們也在努力應(yīng)對這項(xiàng)技術(shù)的高成本和復(fù)雜性。

生成式人工智能和人工智能的基礎(chǔ)是語言模型、算法和神經(jīng)網(wǎng)絡(luò)，它們?yōu)镺penAI公司的ChatGPT和谷歌的Bard等聊天機(jī)器人提供動(dòng)力。目前最流行和廣泛使用的模型被稱為大型語言模型(LLM)。

大型語言模型(LLM)的規(guī)?？赡芎艽?。該技術(shù)與大量不同的信息庫聯(lián)系在一起，模型包含數(shù)十億(有時(shí)甚至是數(shù)萬億)個(gè)參數(shù)(或變量)，這些參數(shù)(或變量)可能使它們既不準(zhǔn)確，也不適合領(lǐng)域任務(wù)或垂直行業(yè)使用。

小型語言模型(slm)得到了迅速的發(fā)展，有些人甚至認(rèn)為它已經(jīng)成為主流的企業(yè)技術(shù)。slm被設(shè)計(jì)為能夠很好地執(zhí)行較簡單的任務(wù);對于資源有限的組織來說，它們更容易訪問和使用;他們天生更安全，因?yàn)樗麄兩钤谝粋€(gè)完全自我管理的環(huán)境中;它們可以針對特定領(lǐng)域和數(shù)據(jù)安全進(jìn)行微調(diào);而且比型語言模型(LLM)更便宜。

IDC人工智能研究小組副總裁Ritu Jyoti表示，小型語言模型(slm)非常適合那些希望構(gòu)建可在本地設(shè)備上運(yùn)行的應(yīng)用程序(而不是在云端)的組織。Jyoti說?！霸谌蝿?wù)不需要大量推理或需要快速響應(yīng)的情況下?！?/p>

與其相反，大型語言模型(LLM)更適合那些需要協(xié)調(diào)復(fù)雜任務(wù)的應(yīng)用，這些任務(wù)涉及高級推理、數(shù)據(jù)分析和更好地理解場景。

小型語言模型(slm)可以使用開源人工智能框架從零開始構(gòu)建，這意味著組織可以為任何目的創(chuàng)建高度可定制的人工智能工具，而無需獲得許可，它可以研究系統(tǒng)如何工作并檢查其組件，它可以為任何目的修改系統(tǒng)，包括改變其輸出。

開源提供了更多的自由和定制

人工智能原型開發(fā)商N(yùn)ewtupleTechnologies公司首席執(zhí)行官DhirajNambiar表示，小型語言模型(slm)的采用率正在增長，因?yàn)樗鼈兛梢赃M(jìn)行微調(diào)或定制訓(xùn)練，并且在狹窄的任務(wù)范圍內(nèi)表現(xiàn)出色，有時(shí)可以與大型llm相媲美?！?/p>

例如，他說，現(xiàn)在有一些小型語言模型(slm)在光學(xué)字符識別(OCR)類型的任務(wù)和文本到SQL的任務(wù)上做得“很好”。Nambiar說，“一些開源軟件顯示出與型語言模型(LLM)相當(dāng)?shù)男阅?。?/p>

事實(shí)上，目前最流行的型語言模型(slm)都是開源的，IDC的Jyoti指出。它們包括:

• meta的Llama3
• 微軟的Phi-3
• 谷歌的杰瑪
• mitralAI的Mixtral8x7B
• 蘋果的OpenELM

最流行的非開源slm(專有的，不能免費(fèi)供公眾使用)包括:

• DeepSeekAI的編碼器
• 微軟的Phi-2
• 微軟的Orca-2

Jyoti說:“這些模型通常在特定組織中使用，或者作為商業(yè)服務(wù)的一部分提供，在提供高級功能的同時(shí)保持對其分發(fā)和使用的控制?！?/p>

人工智能模型從輸入推斷出它將產(chǎn)生的輸出，例如預(yù)測、內(nèi)容、建議或可以影響物理或虛擬環(huán)境的決策。不同的人工智能系統(tǒng)在部署后的自主性和適應(yīng)性水平各不相同。

用最簡單的術(shù)語來說，小型語言模型(SLM)是輕量級的生成式人工智能模型。管理咨詢和軟件開發(fā)公司Version1人工智能實(shí)驗(yàn)室的高級技術(shù)研究員羅斯RosemaryThomas表示，這里的“小”指的是模型神經(jīng)網(wǎng)絡(luò)的大小、參數(shù)的數(shù)量和用于訓(xùn)練的數(shù)據(jù)量。她說，雖然一些小型語言模型(SLM)實(shí)現(xiàn)可能需要大量的計(jì)算和內(nèi)存資源，但有幾個(gè)可以在單個(gè)GPU上運(yùn)行，并且有超過50億個(gè)參數(shù)。

Thomas在最近的一篇文章中指出，其中包括谷歌雙子座納米，微軟的Orca-2-7b和Orca-2-13b,Meta的Llama-2–13b等。

Thomas表示，由于對更高效模型的需求以及對模型的訓(xùn)練和設(shè)置速度的需求，小型語言模型(slm)的采用正在增長。她說:“由于計(jì)算資源、訓(xùn)練時(shí)間和特定應(yīng)用需求等實(shí)際考慮，小型語言模型(slm)越來越受歡迎。在過去的幾年里，小型語言模型(slm)變得越來越重要，特別是在可持續(xù)性和效率至關(guān)重要的情況下?！?/p>

與llm相比，最關(guān)鍵的區(qū)別在于規(guī)模。較大的模型在來自不同來源的大量數(shù)據(jù)上進(jìn)行訓(xùn)練，使它們能夠捕獲廣泛的語言模式，而小型語言模型(slm)更緊湊，并且在較小的(通常是專有的)上進(jìn)行訓(xùn)練。數(shù)據(jù)集。這允許更快的訓(xùn)練和推理時(shí)間。

大型語言模型(LLM)還需要更多的計(jì)算資源和更長的訓(xùn)練時(shí)間。Thomas說:“這使得小型語言模型(slm)成為資源有限或需要快速實(shí)現(xiàn)的應(yīng)用程序的更實(shí)用的選擇?！?/p>

Thomas表示，盡管型語言模型(LLM)在內(nèi)容生成、語言翻譯和理解復(fù)雜查詢等任務(wù)上表現(xiàn)出色，但如果進(jìn)行了正確的微調(diào)，小型模型也可以達(dá)到類似的性能。

她說，“小型語言模型(slm)對于特定領(lǐng)域的任務(wù)特別有效，因?yàn)樗鼈兊某叽绺。评頃r(shí)間更快。”

建造還是購買?

考慮使用開源框架從零開始構(gòu)建自己的人工智能模型的組織應(yīng)該明白，調(diào)整現(xiàn)有模型既昂貴又耗時(shí)，Nambiar說?！皹?gòu)建自己的人工智能模型有很多方法，從從頭開始構(gòu)建到對現(xiàn)有開源模型進(jìn)行微調(diào);前者需要精心設(shè)置GPU、TPU，需要訪問大量數(shù)據(jù)，還需要大量的專業(yè)知識。所需的軟件和硬件堆棧是可用的，然而，主要的障礙將是剩余的組件。

我強(qiáng)烈建議，對于特定領(lǐng)域的用例，最好‘微調(diào)’現(xiàn)有的小型語言模型(slm)或LLM，而不是從頭開始構(gòu)建一個(gè)。現(xiàn)在有許多開源小型語言模型(slm)可用，其中許多都有非常允許的許可證。這是目前構(gòu)建自己的模型的方法。這廣泛適用于所有變壓器型號?！?/p>

紅帽公司高級副總裁兼首席營收官AndrewBrown,說，這不應(yīng)該是一個(gè)孤注一擲的SLM戰(zhàn)略。首先，訓(xùn)練一個(gè)單一的通用AI模型需要大量的資源。

他說，“一些最大的型號可能需要大約10,000個(gè)gpu，而這些型號可能已經(jīng)過時(shí)了。事實(shí)上，研究表明，到2026年，訓(xùn)練人工智能的成本將相當(dāng)于美國的GDP，即22萬億美元。一般的首席信息官沒有美國GDP水平的IT預(yù)算，也沒有成千上萬的閑置GPU。那么，答案是什么?由開源創(chuàng)新驅(qū)動(dòng)的專業(yè)化、小型人工智能模型?！?/p>

根據(jù)Nambiar的說法，比較不同人工智能提供商的成本面臨的一大挑戰(zhàn)是使用不同的術(shù)語進(jìn)行定價(jià)——OpenAI使用令牌，谷歌使用字符，Cohere使用“代”、“分類”和“總結(jié)單位”的組合。Nambiar的公司為商業(yè)自動(dòng)化構(gòu)建人工智能。

Nambiar確定了“每1000個(gè)代幣的價(jià)格”來評估不同的價(jià)格。

為業(yè)務(wù)目的微調(diào)LLM意味著組織依賴AI提供商來托管基礎(chǔ)設(shè)施。Nambiar說，企業(yè)應(yīng)該根據(jù)基礎(chǔ)設(shè)施和人力資源來規(guī)劃一個(gè)兩到四個(gè)月的項(xiàng)目。Nambiar說，成本通常起價(jià)在5萬美元以上。

微調(diào)小型語言模型(slm)通常會更昂貴，因?yàn)槿绻粋€(gè)組織托管開源模型，它將需要啟動(dòng)基礎(chǔ)設(shè)施（GPU和/或TPU服務(wù)）以及在微調(diào)和人工成本上花費(fèi)精力。他說，“假設(shè)它會比大型語言模型(LLM)更貴?！?/p>

干凈的數(shù)據(jù)帶來可靠的結(jié)果

無論是構(gòu)建自己的SLM還是使用基于云的小型語言模型(slm)，數(shù)據(jù)質(zhì)量對于準(zhǔn)確性至關(guān)重要。與大型語言模型(LLM)一樣，小模特仍然可能成為幻覺的受害者;當(dāng)人工智能模型產(chǎn)生錯(cuò)誤或誤導(dǎo)性信息時(shí)，通常是由于有缺陷的訓(xùn)練數(shù)據(jù)或算法。但是，它們可以更容易地進(jìn)行調(diào)整，并且更有可能更深入地了解組織的專有數(shù)據(jù)。

與大型語言模型(LLM)一樣，檢索增強(qiáng)生成(RAG)技術(shù)可以通過定制模型來減少幻覺的可能性，從而使響應(yīng)變得更加準(zhǔn)確。

同時(shí)，由于它們的規(guī)模和數(shù)據(jù)集較小，與大型語言模型(LLM)相比，小型語言模型(slm)不太可能捕獲更廣泛的語言模式，這可能會降低它們的有效性。雖然小型語言模型(slm)可以針對特定任務(wù)進(jìn)行微調(diào)，但llm往往擅長于更復(fù)雜、定義不太明確的查詢，因?yàn)樗鼈兛梢詮闹刑崛〈罅繑?shù)據(jù)。

Thomas說:“簡而言之，小型語言模型(slm)為特定領(lǐng)域和任務(wù)提供了更高效、更經(jīng)濟(jì)的替代方案，特別是在微調(diào)以充分發(fā)揮其潛力的情況下，而大型語言模型(LLM)仍然是廣泛應(yīng)用的強(qiáng)大模型。”

Digital.ai公司北美地區(qū)首席技術(shù)官AdamKentosh,表示，小型語言模型(slm)對于清理數(shù)據(jù)和微調(diào)數(shù)據(jù)存儲非常重要，以獲得更好的性能、可持續(xù)性、降低業(yè)務(wù)風(fēng)險(xiǎn)和偏見。

根據(jù)Kentosh的說法，人工智能計(jì)劃已經(jīng)陷入了“幻滅的低谷”，這是可以通過解決數(shù)據(jù)質(zhì)量問題來避免的。

到2028年，由于成本、復(fù)雜性和部署中的技術(shù)債務(wù)，超過50%的從頭開始構(gòu)建大型語言模型(LLM)的企業(yè)將放棄他們的努力。

Kentosh說:“我們繼續(xù)面對現(xiàn)有客戶的最大挑戰(zhàn)之一是數(shù)據(jù)源的多樣化，甚至在軟件開發(fā)的共同領(lǐng)域也是如此。例如，大多數(shù)公司擁有兩個(gè)或更多的敏捷規(guī)劃解決方案。此外，在發(fā)布軟件方面幾乎沒有一致性。這使得數(shù)據(jù)預(yù)處理變得非常重要，這是許多公司歷來不擅長的事情?！?/p>

根據(jù)Nambiar的說法，為微調(diào)模型獲得精心策劃的、特定于領(lǐng)域的數(shù)據(jù)并不是一項(xiàng)微不足道的任務(wù)。他說，“變壓器模型需要一種特定類型的快速響應(yīng)對數(shù)據(jù)，而這種數(shù)據(jù)很難獲得?！?/p>

Nambiar說，一旦一個(gè)組織決定對自己的小型語言模型(slm)進(jìn)行微調(diào)，它就必須不斷投資，以保持來自最先進(jìn)模型的基準(zhǔn)。隨著每一個(gè)新的大型語言模型(LLM)模型的發(fā)布，推理能力的標(biāo)準(zhǔn)都在提高，因此，如果你要?jiǎng)?chuàng)建自己的微調(diào)小型語言模型(slm)，也必須提高這個(gè)模型的推理能力，否則你的模型就沒有用例了?！?/p>

Brown,表示，開源人工智能模型現(xiàn)在并不罕見，今年早些時(shí)候Meta等行業(yè)巨頭都在倡導(dǎo)其Llama模型開源的重要性。他說:“這對組織來說是個(gè)好消息，因?yàn)檫@些開源模型提供了很多好處，比如防止供應(yīng)商鎖定，允許廣泛的合作伙伴生態(tài)系統(tǒng)，性能的可承受性等等。但不幸的是，如果你沒有數(shù)據(jù)科學(xué)家來處理這個(gè)模型，這些都不重要?！?/p>

大多數(shù)組織最多只能雇傭少數(shù)數(shù)據(jù)科學(xué)家，無論是由于合格人才的稀缺，還是由于雇傭他們的成本。Brown說，“這在有效訓(xùn)練和調(diào)整模型方面造成了瓶頸?！?/p>

轉(zhuǎn)向混合部署?

Brown指出，首席信息官們長期以來一直在遠(yuǎn)離單一技術(shù)——從21世紀(jì)初從UNIX向Linux的轉(zhuǎn)變開始。他認(rèn)為人工智能正處于類似的轉(zhuǎn)折點(diǎn)，并認(rèn)為類似于混合云的混合戰(zhàn)略對部署人工智能模型最有利。雖然大型的，有些不固定的大型語言模型(LLM)是當(dāng)今的焦點(diǎn)，但未來的IT環(huán)境是50%的應(yīng)用程序和50%的小型語言模型(slm)。

Brown說，“數(shù)據(jù)無處不在，無論是內(nèi)部部署、云端還是邊緣。因此，數(shù)據(jù)本質(zhì)上是混合的，因?yàn)槿斯ぶ悄苄枰谀愕臄?shù)據(jù)所在的地方運(yùn)行，它也必須是混合的。事實(shí)上，我們經(jīng)常告訴客戶和合作伙伴:人工智能是最終的混合工作負(fù)載?！?/p>

他繼續(xù)說道，“從本質(zhì)上講，首席信息官將擁有與應(yīng)用程序一樣多的人工智能模型。這意味著訓(xùn)練需要更快，調(diào)優(yōu)需要加快，成本需要降低。這一挑戰(zhàn)的關(guān)鍵在于開源。就像它使計(jì)算民主化一樣，開源將為人工智能帶來民主化?！?/p>