譯者 | 布加迪

審校 | 重樓

一、基礎(chǔ)模型的定義

基礎(chǔ)模型是立足于大量數(shù)據(jù)上的預(yù)訓(xùn)練機(jī)器學(xué)習(xí)模型。這是人工智能（AI）領(lǐng)域的突破性進(jìn)展。由于能夠從大量數(shù)據(jù)中學(xué)習(xí)并適應(yīng)各種任務(wù)，因此基礎(chǔ)模型充當(dāng)了各種AI應(yīng)用的基石。這些模型是拿龐大的數(shù)據(jù)集預(yù)先訓(xùn)練的，經(jīng)過(guò)微調(diào)后可以執(zhí)行特定的任務(wù)，從而使它們具有用途廣、效率高的優(yōu)點(diǎn)。

典型的基礎(chǔ)模型包括用于自然語(yǔ)言處理的GPT-3和用于計(jì)算機(jī)視覺(jué)的CLIP。我們在這篇文章中將探討基礎(chǔ)模型是什么、它們?nèi)绾喂ぷ?/span>以及它們對(duì)不斷發(fā)展的AI領(lǐng)域的影響。

二、基礎(chǔ)模型如何工作？

GPT-4之類(lèi)的基礎(chǔ)模型的工作原理是，拿龐大的數(shù)據(jù)資料庫(kù)預(yù)訓(xùn)練一個(gè)大型的神經(jīng)網(wǎng)絡(luò)，然后針對(duì)特定任務(wù)對(duì)模型進(jìn)行微調(diào)，使它們能夠用針對(duì)特定任務(wù)的少量訓(xùn)練數(shù)據(jù)執(zhí)行廣泛的語(yǔ)言任務(wù)。

預(yù)訓(xùn)練和微調(diào)

• 拿大規(guī)模無(wú)監(jiān)督數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練：基礎(chǔ)模型一開(kāi)始從大量無(wú)監(jiān)督數(shù)據(jù)中學(xué)習(xí)，比如來(lái)自互聯(lián)網(wǎng)的文本或一大堆圖像。這個(gè)預(yù)訓(xùn)練階段使模型能夠掌握數(shù)據(jù)中的底層結(jié)構(gòu)、模式以及關(guān)系，幫助它們構(gòu)建強(qiáng)大的知識(shí)庫(kù)。
• 拿針對(duì)特定任務(wù)的標(biāo)記數(shù)據(jù)進(jìn)行微調(diào)：在預(yù)訓(xùn)練之后，使用針對(duì)特定任務(wù)（比如情感分析或?qū)ο髾z測(cè)）定制的更小標(biāo)記數(shù)據(jù)集對(duì)基礎(chǔ)模型進(jìn)行微調(diào)。這個(gè)微調(diào)過(guò)程允許模型磨練技能，并針對(duì)目標(biāo)任務(wù)提供高性能。

遷移學(xué)習(xí)和零樣本學(xué)習(xí)能力

基礎(chǔ)模型在遷移學(xué)習(xí)方面表現(xiàn)出色，這是指它們能夠將從一個(gè)任務(wù)中獲得的知識(shí)運(yùn)用到新的相關(guān)任務(wù)。一些模型甚至展示出零樣本學(xué)習(xí)能力，這意味著它們可以在未經(jīng)任何微調(diào)的情況下處理任務(wù)，完全依賴在預(yù)訓(xùn)練期間獲得的知識(shí)。

模型架構(gòu)和技術(shù)

• NLP中的Transformer（比如GPT-3和BERT）：Transformer通過(guò)其創(chuàng)新的架構(gòu)徹底改變了自然語(yǔ)言處理（NLP），這種架構(gòu)允許高效靈活地處理語(yǔ)言數(shù)據(jù)。典型的NLP基礎(chǔ)模型包括GPT-3（擅長(zhǎng)生成連貫一致的文本）和BERT（在處理各種語(yǔ)言理解任務(wù)時(shí)表現(xiàn)出色）。
• 視覺(jué)Transformer和多模態(tài)模型（比如CLIP和DALL-E）：在計(jì)算機(jī)視覺(jué)領(lǐng)域，視覺(jué)Transformer已經(jīng)成為處理圖像數(shù)據(jù)的一種高效方法。CLIP是一種典型的多模態(tài)基礎(chǔ)模型，它能夠理解圖像和文本。另一種多模態(tài)模型DALL-E展示了從文本描述生成圖像的能力，表明了基礎(chǔ)模型結(jié)合NLP和計(jì)算機(jī)視覺(jué)技術(shù)的潛力。

三、基礎(chǔ)模型的應(yīng)用

自然語(yǔ)言處理

• 情感分析：事實(shí)已證明，基礎(chǔ)模型可以高效處理情感分析任務(wù)。它們基于情感對(duì)文本進(jìn)行分類(lèi)，比如積極的、消極的或中立的情感。該功能已被廣泛應(yīng)用于社交媒體監(jiān)控、客戶反饋分析和市場(chǎng)研究等領(lǐng)域。
• 文本摘要：這些模型還可以生成長(zhǎng)篇文檔或文章的簡(jiǎn)明摘要，使用戶更容易快速掌握要點(diǎn)。文本摘要應(yīng)用廣泛，包括新聞聚合、內(nèi)容管理和研究協(xié)助。

計(jì)算機(jī)視覺(jué)

• 對(duì)象檢測(cè)：基礎(chǔ)模型擅長(zhǎng)識(shí)別和定位圖像中的對(duì)象。這種能力在自動(dòng)駕駛汽車(chē)、安全和監(jiān)控系統(tǒng)以及機(jī)器人等應(yīng)用領(lǐng)域尤其有價(jià)值，精確的實(shí)時(shí)對(duì)象檢測(cè)在這類(lèi)應(yīng)用領(lǐng)域至關(guān)重要。
• 圖像分類(lèi)：另一種常見(jiàn)的應(yīng)用是圖像分類(lèi)，即基礎(chǔ)模型根據(jù)內(nèi)容對(duì)圖像進(jìn)行分類(lèi)。該功能已應(yīng)用于各種領(lǐng)域，從組織龐大的照片庫(kù)到使用醫(yī)學(xué)成像數(shù)據(jù)診斷疾病，不一而足。

多模態(tài)任務(wù)

• 圖像字幕：通過(guò)對(duì)文本和圖像的理解，多模態(tài)基礎(chǔ)模型可以為圖像生成描述性字幕。圖像字幕在面向視障用戶、內(nèi)容管理系統(tǒng)和教學(xué)材料的可訪問(wèn)性工具中具有潛在的用途。
• 視覺(jué)問(wèn)題回答：基礎(chǔ)模型還可以處理視覺(jué)問(wèn)題回答任務(wù)，其中它們提供關(guān)于圖像內(nèi)容的問(wèn)題的答案。這種能力為客戶支持、交互式學(xué)習(xí)環(huán)境和智能搜索引擎等應(yīng)用帶來(lái)了新的可能性。

未來(lái)展望及發(fā)展

• 模型壓縮和效率方面的進(jìn)展：隨著基礎(chǔ)模型變得越來(lái)越龐大、越來(lái)越復(fù)雜，研究人員在探索壓縮和優(yōu)化模型的方法，以便能夠部署在資源有限的設(shè)備上，并減少能耗。
• 解決偏誤和公平問(wèn)題的改良版技術(shù)：解決基礎(chǔ)模型中的偏誤對(duì)于確保公平、道德的AI應(yīng)用至關(guān)重要。未來(lái)研究可能會(huì)側(cè)重于研發(fā)識(shí)別、測(cè)量和減少訓(xùn)練數(shù)據(jù)和模型行為中偏誤的方法。
• 開(kāi)源基礎(chǔ)模型的協(xié)作努力：AI社區(qū)越來(lái)越多地加強(qiáng)合作，以創(chuàng)建開(kāi)源基礎(chǔ)模型，促進(jìn)協(xié)作、知識(shí)共享和廣泛獲取尖端AI技術(shù)。

四、結(jié)論

基礎(chǔ)模型是AI領(lǐng)域的重大進(jìn)步，它帶來(lái)了能夠運(yùn)用于各個(gè)領(lǐng)域的多用途高性能模型，比如NLP、計(jì)算機(jī)視覺(jué)和多模態(tài)任務(wù)。

隨著基礎(chǔ)模型不斷發(fā)展，它們可能會(huì)重塑AI研究，并推動(dòng)眾多領(lǐng)域的創(chuàng)新。它們?cè)?/span>支持新應(yīng)用和解決復(fù)雜問(wèn)題方面大有潛力，未來(lái)AI會(huì)越來(lái)越融入到我們的生活當(dāng)中。

原文標(biāo)題：What Are Foundation Models and How Do They Work?，作者：Saturn Cloud