一、生成式模型商業(yè)化

現(xiàn)如今，生成式AI賽道火熱。根據(jù)PitchBook統(tǒng)計數(shù)據(jù)，2022年生成式AI賽道總共獲得約14億美元的融資，幾乎達到了過去5年的總和。OpenAI、Stability AI等明星公司，其他初創(chuàng)企業(yè)如Jasper、Regie.AI、Replika等均獲得資本青睞。

融資金額與時間關(guān)系圖

2022年10月，Stability AI獲得約1億美元融資，發(fā)布的開源模型Stable Diffusion，可以根據(jù)用戶輸入的文字描述生成圖片，引爆AI作畫領(lǐng)域。2022年11月30日，ChatGPT在宣布公測之后，上線5天，全球用戶數(shù)量已突破百萬。上線不到40天，日活用戶已突破千萬。2023年3月15日凌晨，OpenAI發(fā)布目前最強的GPT系列模型——GPT-4，提供大規(guī)模的多模態(tài)模型，可以接受圖像和文本輸入，產(chǎn)生文本輸出，在業(yè)內(nèi)產(chǎn)生顛覆性的影響。2023年3月17日，微軟舉辦了Microsoft 365 Copilot發(fā)布會，正式把OpenAI的GPT-4 模型裝進了Office套件，推出了全新的AI功能Copilot。它不僅會做PPT，寫文案，還會做分析，生成視頻。此外，國內(nèi)各個大廠也宣布陸續(xù)推出類ChatGPT的產(chǎn)品。2月8日，阿里巴巴專家爆料，達摩院正在研發(fā)類ChatGPT對話機器人，已開放給公司內(nèi)員工測試?？赡軐I大模型技術(shù)與釘釘生產(chǎn)力工具深度結(jié)合。2月8日，京東集團副總裁何曉冬坦言：京東在ChatGPT領(lǐng)域擁有豐富的場景和高質(zhì)量的數(shù)據(jù)。2月9日，騰訊相關(guān)人士稱：騰訊目前也有ChatGPT相似產(chǎn)品和AI生成內(nèi)容的計劃，專項研究也在有序推進。網(wǎng)易表示，教育業(yè)務(wù)將整合AI生成的內(nèi)容，包括但不限于AI口語老師、作文打分和評價等。3月16日，百度百度正式發(fā)布大語言模型、生成式AI產(chǎn)品“文心一言”，發(fā)布兩天，已有12家企業(yè)完成首批簽約合作，申請百度智能云文心一言API調(diào)用服務(wù)測試的企業(yè)達9萬。

目前，大模型已經(jīng)逐漸滲透我們的生活。未來，各行各業(yè)都有可能出現(xiàn)翻天覆地的變化。以ChatGPT為例，包括以下幾個方面：

• ChatGPT+傳媒：可以實現(xiàn)新聞智能寫作，提升新聞實效性；
• ChatGPT+影視：根據(jù)大眾興趣定制影視內(nèi)容，獲得更高收視率，票房和口碑降低影視制作團隊在內(nèi)容創(chuàng)作的成本，提高創(chuàng)作效率。
• ChatGPT+營銷：充當(dāng)虛擬客服，助力產(chǎn)品營銷。例如24小時的產(chǎn)品介紹和在線服務(wù)，降低營銷成本；可以快速了解客戶需求，緊跟科技潮流；提供穩(wěn)定可靠的咨詢服務(wù)，可控性和安全性強。
• ChatGPT+娛樂：實時的聊天對象，增強陪伴性和趣味性。
• ChatGPT+教育：提供全新的教育工具，通過自助提問來快速查缺補漏。
• ChatGPT+金融：實現(xiàn)金融資訊，金融產(chǎn)品的自動化生產(chǎn)，塑造虛擬理財顧問。
• ChatGPT+醫(yī)療：快速了解患者病情且及時反饋，第一時間情感支持。

需要說明的是，這里雖然主要討論的是大語言模型的落地，但是實際上其他多模態(tài)（音頻、視頻、圖片）的大模型一樣存在廣闊的應(yīng)用場景。

二、生成式模型介紹

1、主流的大語言模型：LaMDA

由google公司發(fā)布。LaMDA模型基于transformer框架，擁有1370億模型參數(shù)，具備文本中長距離依賴的建模能力。該模型是通過對話來訓(xùn)練的。主要包括預(yù)訓(xùn)練和微調(diào)兩個過程：在預(yù)訓(xùn)練階段，他們使用了多達1.56T的公共對話數(shù)據(jù)集和網(wǎng)頁文本，以語言模型（LM）作為訓(xùn)練的目標(biāo)函數(shù)，即目標(biāo)是預(yù)測下一個字符（token）。在微調(diào)階段，他們設(shè)計來多個任務(wù)，例如給回復(fù)進行屬性打分（敏感度、安全性等等），使語言模型對其人類的偏好。下圖展示了其中一類的微調(diào)任務(wù)。

LaMDA模型預(yù)訓(xùn)練階段

LaMDA模型微調(diào)階段任務(wù)之一

LaMDA模型專注于對話生成任務(wù)，但常犯事實性的錯誤。谷歌今年發(fā)布了Bard（一項試驗性的對話式AI服務(wù)）便是由LaMDA模型來提供支持。然而Bard在發(fā)布會上，Bard犯下事實性錯誤，這令谷歌周三股價大跌，盤中跌超8%，刷新日低至約98美元，市值蒸發(fā)1100億美元，讓人唏噓。

2、主流的大語言模型：InstructGPT

InstructGPT模型基于GPT架構(gòu)，主要由有監(jiān)督的微調(diào)（Supervise Fune-Tuning, SFT）和人類反饋的強化學(xué)習(xí)(Reinforce Learning Human Fune-tuning, RLHF)訓(xùn)練得到。以InstructGPT為技術(shù)支持的對話產(chǎn)品——ChatGPT專注于生成語言文本，也可以生成代碼和進行簡單數(shù)學(xué)運算。具體的技術(shù)細(xì)節(jié)已經(jīng)在上兩期進行過詳細(xì)探討，讀者可前往閱讀，此處不再贅述。

InstructGPT模型訓(xùn)練流程圖

3、主流的大語言模型：Cluade

Cluade模型訓(xùn)練流程圖

Cluade是Anthropic公司的對話型產(chǎn)品。Cluade與ChatGPT一樣，都是基于GPT框架，是單向的語言模型。然而，不同于ChatGPT，它主要由有監(jiān)督的微調(diào)和AI反饋的強化學(xué)習(xí)訓(xùn)練得到。在有監(jiān)督的微調(diào)階段，它先制定了一系列規(guī)則（Constitution），例如不能生成有害信息，不能生成種族偏見等等，然后根據(jù)這些規(guī)則獲得有監(jiān)督數(shù)據(jù)。隨后，讓AI來判斷分辨回復(fù)的優(yōu)劣，自動訓(xùn)練用于強化學(xué)習(xí)的數(shù)據(jù)集。

相比于ChatGPT而言，Claude 能更清晰地拒絕不恰當(dāng)請求，句子之間銜接的也更自然。當(dāng)遇到超出能力范圍的問題時，Claude 會主動坦白。目前，Cluade當(dāng)前還處于內(nèi)測階段。不過根據(jù) Scale Sepllbook 團隊成員內(nèi)部測試結(jié)果顯示，相比 ChatGPT，Claude在測試的12 項任務(wù)中有 8 項更強。

三、大語言模型的能力

我們統(tǒng)計了國內(nèi)外的大語言模型以及模型能力、開源情況等。

國內(nèi)流行的大語言模型

國外流行的大語言模型

可以看出，大語言模型表現(xiàn)的能力多種多樣，包括但不限于少樣本學(xué)習(xí)、零樣本遷移等等。那么有個很自然但問題產(chǎn)生了，這些能力都是怎么樣產(chǎn)生的呢？大語言模型的能力究竟來自于哪里？接下來，我們試圖解答上述的疑惑。

下圖展示了一些成熟大語言模型和進化過程。歸納出來，大多數(shù)模型會經(jīng)歷三個階段：預(yù)訓(xùn)練，指令微調(diào)和對齊。代表模型有Deepmind的Sparrow和OpenAI的ChatGPT。

流行大語言模型的進化圖

那么，在這每一步的背后，模型究竟可以獲得什么樣的能力呢？愛丁堡大學(xué)的符堯博士總結(jié)了他認(rèn)為的步驟和能力的對應(yīng)關(guān)系，給我們一些啟發(fā)。

1. 預(yù)訓(xùn)練階段，該階段的目標(biāo)是獲得一個強大的基礎(chǔ)模型。相應(yīng)地，在此階段模型展現(xiàn)出來的能力有：語言生成，上下文學(xué)習(xí)能力，具備世界的知識，推理能力等等。此階段的代表性模型有GPT-3，PaLM等。

2. 指令微調(diào)階段。該階段的目標(biāo)是解鎖一些涌現(xiàn)能力（emergent ability）。這里的涌現(xiàn)能力是特指小模型沒有，大模型才有的能力。經(jīng)歷過指令微調(diào)后的模型，出現(xiàn)了基礎(chǔ)模型所沒有的能力。例如，通過構(gòu)造新的指令，模型能夠解決新任務(wù)；再比如，思維鏈的能力，即通過展示給模型推理過程，模型也能仿照進行正確推理等，代表模型有InstructGPT，F(xiàn)lan等。

對齊階段。該階段的目標(biāo)是使模型具備人類的價值觀，比如要產(chǎn)生有信息量的回復(fù)，不能產(chǎn)生歧視類的發(fā)言等等?？梢哉J(rèn)為，對齊階段賦予了模型們“個性化”。這類的代表模型有ChatGPT。

大語言模型三階段。圖片來自《符堯：論大語言模型能力的來源》

總地來說，上述三個階段相輔相成，缺一不可。只有預(yù)訓(xùn)練階段得到了一個足夠強大的基礎(chǔ)模型，才有可能通過指令微調(diào)激發(fā)（或者增強）語言模型的其他能力。對齊階段賦予模型一定“性格”，更好地符合人類社會的一些要求。

四、生成式模型鑒別

大語言模型技術(shù)在帶來便利的同時，也包含著風(fēng)險和挑戰(zhàn)。在技術(shù)層面，GPT生成的內(nèi)容不能保證真實性，如會產(chǎn)生有害言論等。在使用層面，用戶可能在教育、科研等領(lǐng)域濫用 AI產(chǎn)生的文本。目前，多家公司和機構(gòu)開始對ChatGPT的使用施加限制。微軟和亞馬遜因擔(dān)心泄露機密信息，禁止公司員工向ChatGPT分享敏感數(shù)據(jù)；香港大學(xué)禁止在港大所有課堂、作業(yè)和評估中使用ChatGPT或其他人工智能工具。我們主要介紹工業(yè)界的相關(guān)工作。

GPTZero：GPTZero是最早出現(xiàn)的文本生成鑒別工具。它是由Edward Tian（美國普林斯頓CS專業(yè)本科生）發(fā)布的在線網(wǎng)站（https://gptzero.me/）。它的原理靠文本困惑度（perplexity，PPL）作為指標(biāo)來判斷所給內(nèi)容到底是誰寫的。其中，困惑度用以評價語言模型的好壞指標(biāo)，本質(zhì)上是計算句子出現(xiàn)的概率。

GPTZero網(wǎng)站界面

（這里我們使用ChatGPT產(chǎn)生一段新聞報道，讓GPTZero判斷是否是生成的文本。）

GPT2 Output Detector：該工具由OpenAI發(fā)布。它利用“GPT2-生成內(nèi)容”和Reddit數(shù)據(jù)集，在RoBerta上進行微調(diào)，學(xué)習(xí)一個檢測分類器。即“用魔法打敗魔法”。官網(wǎng)也提示說，只有當(dāng)文本超過50個字符（token）時，預(yù)測結(jié)果才更加可信。

GPT2 Output Detector網(wǎng)站界面

AI Text Classifier: 該工具由OpenAI發(fā)布。原理是收集在同一個話題下人類寫作文本和AI寫作文本。將每一個文本都劃分成提示和回復(fù)對，讓GPT微調(diào)后產(chǎn)生答案（例如，讓GPT產(chǎn)生Yes/No）的概率作為結(jié)果閾值。該工具的劃分非常細(xì)致，結(jié)果包括5類：非常不可能是AI生成的（閾值<0.1），不太可能是AI生成的（閾值0.1~0.45），不清楚是否是AI寫的（閾值0.45~0.9），可能是AI生成的(閾值0.9-0.98)，很可能是AI生成的(閾值>0.98)。

AI Text Classifier網(wǎng)站界面

五、總結(jié)&展望

大語言模型擁有小模型沒有的涌現(xiàn)能力，例如優(yōu)秀的零樣本學(xué)習(xí)、領(lǐng)域遷移、思維鏈能力。大模型的能力實際上來自于預(yù)訓(xùn)練、指令微調(diào)和對齊，這三個過程密切相關(guān)，成就了現(xiàn)在超強的大語言模型。

大語言模型（GPT系列）目前還不具備置信更新、形式推理、互聯(lián)網(wǎng)檢索等能力，有專家認(rèn)為，如果可以將知識卸載到模型之外，參數(shù)量會大大減少，大語言模型才能真正的更進一步。

只有在合理的監(jiān)管和治理之下，人工智能技術(shù)才能更好地為人服務(wù)。國內(nèi)發(fā)展大模型任重而道遠(yuǎn)！

參考文獻

[1] https://stablediffusionweb.com

[2] https://openai.com/product/gpt-4

[3] LaMDA: Language Models for Dialog Applications, Arxiv 2022.10

[4] Constitutional AI: Harmlessness from AI Feedback，Arxiv 2022.12

[5] https://scale.com/blog/chatgpt-vs-claude#Calculation

[6] 國聯(lián)證劵：《ChatGPT 風(fēng)口已至，商業(yè)化落地加速》

[7] 國泰君安證券：《ChatGPT研究框架2023》

[8] 符堯：預(yù)訓(xùn)練、指令微調(diào)、對齊、專業(yè)化：論大語言模型能力的來源https://www.bilibili.com/video/BV1Qs4y1h7pn/?spm_id_from=333.880.my_history.page.click&vd_source=da8bf0b993cab65c4de0f26405823475

[9] 萬字長文解析！復(fù)現(xiàn)和使用GPT-3/ChatGPT，你所應(yīng)該知道的https://mp.weixin.qq.com/s/ILpbRRNP10Ef1z3lb2CqmA