譯者 | 布加迪

審校 | 重樓

LLM生態(tài)環(huán)境漸漸充斥著一群更小巧的專(zhuān)用模型。

AI大語(yǔ)言模型（LLM）市場(chǎng)已達(dá)到了成熟階段，即將通過(guò)碎片化迎來(lái)轉(zhuǎn)變。LLM時(shí)代以強(qiáng)大的海量數(shù)據(jù)處理能力而令人矚目，已帶領(lǐng)世界由前生成式AI（GenAI）時(shí)代邁入了生成式AI時(shí)代，并幫助個(gè)人和組織了解這項(xiàng)技術(shù)以及如何利用該技術(shù)為自己謀利。現(xiàn)在，更多的人希望將GenAI應(yīng)用于更多領(lǐng)域，以解決他們以前無(wú)法解決的問(wèn)題。

如今我們正處于懸崖邊，這是新興技術(shù)生命周期中很自然的演變過(guò)程。LLM的規(guī)模已如此龐大，以至于它們已經(jīng)消耗了所有可用的訓(xùn)練數(shù)據(jù)，但它們?nèi)匀豢释@得更多的數(shù)據(jù)來(lái)持續(xù)創(chuàng)新。一些模型甚至在創(chuàng)建合成數(shù)據(jù)以供學(xué)習(xí)。雖然這些龐大的智能系統(tǒng)具有變革性，但最大最新的模型并不總是正確的解決方案。以一位遠(yuǎn)程維修新型飛機(jī)的飛機(jī)機(jī)械師為例——他們不需要LLM的全部能力，LLM會(huì)告訴他們莎士比亞如何編寫(xiě)手冊(cè)；他們只需要圖像、視頻、操作說(shuō)明，或許還有語(yǔ)言翻譯。他們可能還需要能夠在沒(méi)有互聯(lián)網(wǎng)連接的情況下通過(guò)手機(jī)訪問(wèn)這些信息。

為了實(shí)現(xiàn)下一個(gè)演進(jìn)，LLM市場(chǎng)將效仿所有其他廣泛實(shí)施的技術(shù)，細(xì)分為一個(gè)由更專(zhuān)業(yè)化的模型組成的“xLM”市場(chǎng)，其中x代表各種模型。語(yǔ)言模型正部署在需求取決于具體的應(yīng)用和用例的更多地方，比如降低功耗或提高安全和保障措施。規(guī)模是另一個(gè)因素，但我們也將看到各種功能和模型，它們具有可移植性、遠(yuǎn)程性、混合性以及針對(duì)特定的領(lǐng)域和區(qū)域。伴隨這種發(fā)展，用例將更加靈活多樣，定價(jià)、安全和延遲方面會(huì)有更多的選擇。

重新構(gòu)思模型訓(xùn)練和數(shù)據(jù)管理

我們必須重新思考AI模型的訓(xùn)練方式，以便為xLM市場(chǎng)做好充分準(zhǔn)備并積極擁抱它。未來(lái)更具創(chuàng)新性的AI模型以及對(duì)通用人工智能的追求取決于高級(jí)推理能力（正如 OpenAI 的o3模型所展示的早期階段），但這需要重新構(gòu)建數(shù)據(jù)管理實(shí)踐。當(dāng)前的方法過(guò)于依賴(lài)靜態(tài)數(shù)據(jù)，限制了準(zhǔn)確性和實(shí)時(shí)響應(yīng)能力。

系統(tǒng)將被設(shè)計(jì)成能夠靈活地實(shí)時(shí)處理結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和流數(shù)據(jù)，同時(shí)遵守治理和安全政策。適應(yīng)性至關(guān)重要，因?yàn)殡S著語(yǔ)言模型變得更復(fù)雜，它們將被嵌入到一些目前似乎沒(méi)有意義的功能中。因此，設(shè)計(jì)靈活的管道將減少未來(lái)重建平臺(tái)的需求。這可以通過(guò)利用獨(dú)特管理的數(shù)據(jù)的兩個(gè)領(lǐng)域來(lái)實(shí)現(xiàn)：符合法規(guī)的精選訓(xùn)練數(shù)據(jù)，以及針對(duì)穩(wěn)健性、成本、延遲和安全進(jìn)行優(yōu)化的實(shí)時(shí)數(shù)據(jù)。

應(yīng)對(duì)實(shí)時(shí)數(shù)據(jù)挑戰(zhàn)

為xLM時(shí)代準(zhǔn)備實(shí)時(shí)數(shù)據(jù)管道必然會(huì)增加數(shù)據(jù)工程資源的壓力，尤其是對(duì)于目前依賴(lài)靜態(tài)批量數(shù)據(jù)上傳和微調(diào)的組織而言。在過(guò)去，實(shí)時(shí)準(zhǔn)確性要求專(zhuān)業(yè)團(tuán)隊(duì)在保持?jǐn)?shù)據(jù)準(zhǔn)確性的同時(shí)完成定期批量上傳，這帶來(lái)了成本和資源方面的障礙。隨著更多的組織力求獲得即時(shí)準(zhǔn)確性，數(shù)量有限的熟練工程師面臨的壓力隨之加大。然而目前有解決方案。

實(shí)時(shí)管道革命

隨著模型市場(chǎng)不斷發(fā)展，實(shí)時(shí)AI（Live AI）成了一項(xiàng)顛覆行業(yè)的創(chuàng)新。將批處理與實(shí)時(shí)數(shù)據(jù)連接器或基于API的數(shù)據(jù)源相結(jié)合的混合數(shù)據(jù)管道提高了模型準(zhǔn)確性，因?yàn)樗鼈兛梢圆粩鄬W(xué)習(xí)和忘掉學(xué)習(xí)。這不僅改善了AI輸出，還減輕了數(shù)據(jù)工程負(fù)擔(dān)，因?yàn)樗麄儾辉傩枰獪?zhǔn)備數(shù)據(jù)、不斷地連接管道。

未來(lái)，大多數(shù)數(shù)據(jù)管道都將成為AI管道，所有AI應(yīng)用系統(tǒng)都將含有實(shí)時(shí)要素。組織和數(shù)據(jù)團(tuán)隊(duì)必須了解這一點(diǎn)，并為此做好準(zhǔn)備，以免日后重建平臺(tái)。管道必須從一開(kāi)始就設(shè)計(jì)成能夠自動(dòng)集成、轉(zhuǎn)換數(shù)據(jù)并將其饋入模型，無(wú)需持續(xù)的人工干預(yù)。越來(lái)越多的工具和數(shù)據(jù)基礎(chǔ)設(shè)施讓組織不需要大量的評(píng)估和訓(xùn)練周期，可以在短短數(shù)小時(shí)內(nèi)啟動(dòng)并運(yùn)行現(xiàn)代化的數(shù)據(jù)源，立即減少了對(duì)數(shù)據(jù)團(tuán)隊(duì)的需求。這些更靈活的解決方案使試驗(yàn)更容易實(shí)現(xiàn)，并鼓勵(lì)組織選擇能夠無(wú)縫適應(yīng)未來(lái)應(yīng)用和用例變化的工具。

采用支持自動(dòng)化和智能數(shù)據(jù)管理的智能框架為更具創(chuàng)新性的模型奠定了基礎(chǔ)。當(dāng)數(shù)據(jù)工程團(tuán)隊(duì)的工作量中不再含有重復(fù)且繁重的任務(wù)時(shí)，他們就可以探索新的模型，創(chuàng)造性地解決問(wèn)題，并幫助領(lǐng)導(dǎo)者了解哪些類(lèi)型的模型能夠提高效率，并擴(kuò)大組織影響力。

為更智能的模型更新改造數(shù)據(jù)管理

邁向多元化的xLM市場(chǎng)將是AI發(fā)展的關(guān)鍵階段。擁抱這些更智能、更專(zhuān)業(yè)的模型，并更新改造其背后的數(shù)據(jù)基礎(chǔ)設(shè)施，將使AI生態(tài)系統(tǒng)在面臨當(dāng)前發(fā)展瓶頸的情況下蓬勃發(fā)展，開(kāi)拓更多的用例，并激發(fā)徹底改變行業(yè)的創(chuàng)新。

原文標(biāo)題：The Rise of xLMs: Why One-Size-Fits-All AI Models Are Fading，作者：Victor Szczerba