ChatGPT的橫空出世，可能是2022年下半年最引人注目的AI突破，雖然可能不是技術(shù)含量最高的。

前不久，在新奧爾良舉行的2022 NeurIPS上，關(guān)于GPT-4的傳言不絕于耳，與此同時(shí)，OpenAI也成為全場(chǎng)新聞媒體的焦點(diǎn)。

OpenAI宣布了GPT-3系列AI大型語言模型中的一個(gè)新模型：text-davinci-003，這是其「GPT-3.5系列」的一部分，可以通過處理更復(fù)雜的指令和產(chǎn)生更高質(zhì)量、更長(zhǎng)形式的內(nèi)容來改進(jìn)性能。

新模型建立在InstructGPT的基礎(chǔ)上，使用帶有人類反饋的強(qiáng)化學(xué)習(xí)，使語言模型與人類指令更好地保持一致。

達(dá)芬奇-003是一個(gè)真正的帶有人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）模型，它在人類的演示和高分的模型樣本上使用監(jiān)督微調(diào)來提高生成質(zhì)量。"

而作為「GPT-3.5系列」的另一部分，OpenAI發(fā)布了ChatGPT的早期演示，該公司宣稱，這個(gè)交互式的對(duì)話模型，不僅可以回答大量的后續(xù)問題，還會(huì)承認(rèn)錯(cuò)誤，對(duì)不正確的提問前提提出質(zhì)疑，拒絕不適當(dāng)?shù)奶釂栒?qǐng)求。

OpenAI在博客中表示，ChatGPT的研究發(fā)布是「OpenAI迭代部署越來越安全和有用的AI系統(tǒng)的最新步驟。它吸取了從GPT-3和Codex等早期模型部署中的許多經(jīng)驗(yàn)教訓(xùn)，在利用人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）時(shí)，有害和不真實(shí)的輸出結(jié)果大幅減少。

另外，ChatGPT在訓(xùn)練中強(qiáng)調(diào)，它是一個(gè)機(jī)器學(xué)習(xí)模型，這可能是出于避免前不久谷歌的聊天機(jī)器人LaMDA引發(fā)的「AI是否有意識(shí)」的爭(zhēng)議。

當(dāng)然，ChatGPT也有局限性。

在博客文章中，OpenAI詳細(xì)介紹了它的局限性，包括有時(shí)答案聽起來似乎很有道理，但實(shí)際上是不正確或無意義的事實(shí)。

「解決這個(gè)問題是很有挑戰(zhàn)性的，因?yàn)?(1) 在強(qiáng)化學(xué)習(xí)訓(xùn)練期間，目前沒有保證一定有可靠的來源；(2) 訓(xùn)練模型更加謹(jǐn)慎，會(huì)拒絕可能正確回答的問題；(3) 監(jiān)督訓(xùn)練可能誤導(dǎo)模型，因?yàn)槔硐氲拇鸢溉Q于模型知道什么，而不是人類演示者知道什么?！?/span>

Open AI表示，ChatGPT 「有時(shí)會(huì)對(duì)有害的指令做出反應(yīng)或表現(xiàn)出有偏見的行為。我們正在使用API來警告或阻止某些類型的不安全內(nèi)容，但預(yù)計(jì)目前會(huì)有一些錯(cuò)誤的否定和肯定。我們非常愿意收集用戶的反饋，幫助我們正在進(jìn)行的工作，改善這個(gè)模型」。

雖然ChatGPT可能還有很多亟待改進(jìn)的問題，但我們不可否認(rèn)，在GPT-4登場(chǎng)前，ChatGPT仍然是目前大型語言模型的頂流。

不過，最近的社群中，又有一個(gè)新的模型點(diǎn)燃了大家的討論熱情。最關(guān)鍵的是，它還是開源的。

本周， 負(fù)責(zé)對(duì)包括Meta的Make-A-Video在內(nèi)的閉源 AI系統(tǒng)進(jìn)行逆向工程的開發(fā)人員Philip Wang發(fā)布了PaLM + RLHF，這是一種文本生成模型，其行為類似于ChatGPT。

代碼地址：https://github.com/lucidrains/PaLM-rlhf-pytorch

該系統(tǒng)結(jié)合了谷歌的大型語言模型PaLM和強(qiáng)化學(xué)習(xí)與人類反饋（RLHF）技術(shù)，創(chuàng)建了一個(gè)幾乎可以完成ChatGPT任何任務(wù)的系統(tǒng)，包括起草電子郵件和建議計(jì)算機(jī)代碼。

PaLm + RLHF的力量

自發(fā)布以來，ChatGPT因能夠生成高清晰度的類人文本，并能以對(duì)話方式對(duì)用戶問題做出回應(yīng)，因此在科技界掀起了一場(chǎng)風(fēng)暴。

這雖然是聊天機(jī)器人發(fā)展初期的重大進(jìn)步，但人工智能領(lǐng)域的許多擁躉對(duì)ChatGPT的封閉性表示擔(dān)憂。

時(shí)至今日，ChatGPT模型仍然是專有的，這意味著公眾無法查看其底層代碼。只有OpenAI真正知道它的工作原理以及它處理的數(shù)據(jù)。這種缺乏透明度可能會(huì)產(chǎn)生深遠(yuǎn)的影響，并可能長(zhǎng)期影響用戶的信任。

許多開發(fā)人員一直渴望構(gòu)建一個(gè)開源替代方案，現(xiàn)在，它終于到來了。PaLM + RLHF是專門為Python語言構(gòu)建的，可以為PyTorch實(shí)現(xiàn)。

開發(fā)人員可以像訓(xùn)練自回歸transformer一樣輕松訓(xùn)練 PaLM，然后使用人類反饋訓(xùn)練獎(jiǎng)勵(lì)模型。

和ChatGPT一樣，PaLM + RLHF本質(zhì)上是一種預(yù)測(cè)單詞的統(tǒng)計(jì)工具。當(dāng)從訓(xùn)練數(shù)據(jù)中輸入大量示例時(shí)——如來自Reddit的帖子、新聞文章和電子書——PaLM + RLHF會(huì)根據(jù)諸如周圍文本的語義上下文等模式，學(xué)習(xí)單詞出現(xiàn)的可能性。

真有這么完美？

當(dāng)然，理想和現(xiàn)實(shí)之間還存在著不小的差距。PaLM + RLHF看似完美，卻也存在各種問題。其中最大的問題就是，人們現(xiàn)在還不能使用它。

要啟動(dòng)PaLM + RLHF，用戶需要編譯從博客、社交媒體、新聞文章、電子書等各種來源獲取的千兆字節(jié)文本。

這些數(shù)據(jù)被提供給經(jīng)過微調(diào)的PaLm模型，該模型將生成幾個(gè)回應(yīng)。例如，如果詢問模型「經(jīng)濟(jì)學(xué)的基礎(chǔ)知識(shí)是什么」，PaLm會(huì)給出諸如「經(jīng)濟(jì)學(xué)是研究……的社會(huì)科學(xué)」之類的回答。

之后，開發(fā)者會(huì)請(qǐng)人對(duì)模型生成的回答從好到差進(jìn)行排名，并創(chuàng)建一個(gè)獎(jiǎng)勵(lì)模型。最后，排名用于訓(xùn)練「獎(jiǎng)勵(lì)模型」，該模型采用原始模型的回應(yīng)并按偏好順序?qū)λ鼈冞M(jìn)行排序，過濾出給定提示的最佳答案。

然而，這是一個(gè)昂貴的過程。收集訓(xùn)練數(shù)據(jù)和訓(xùn)練模型本身并不便宜。PaLM有5400億個(gè)參數(shù)，即語言模型從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的部分。2020年的一項(xiàng)研究表明，開發(fā)一個(gè)只有15億個(gè)參數(shù)的文本生成模型的費(fèi)用高達(dá)160萬美元。

今年7月，為了訓(xùn)練擁有1760億個(gè)參數(shù)的開源模型Bloom，Hugging Face的研究人員耗時(shí)三個(gè)月，使用了384個(gè)英偉達(dá)A100 GPU。每個(gè)A100的價(jià)格高達(dá)數(shù)千美元，這不是任何普通用戶所能承受的成本。

此外，即使完成了對(duì)模型的訓(xùn)練，運(yùn)行PaLM + RLHF大小的模型也不是件易事。Bloom配備了八個(gè)A100 GPU的專用PC，而OpenAI的文本生成GPT-3（具有大約 1750 億個(gè)參數(shù)）的運(yùn)行成本約為每年87,000美元。

AI研究人員Sebastian Raschka在一篇關(guān)于PaLM + RLHF的文章中指出，擴(kuò)大必要的開發(fā)工作流程也可能是一個(gè)挑戰(zhàn)。

「即使有人為你提供500個(gè)GPU來訓(xùn)練這個(gè)模型，你仍然需要處理基礎(chǔ)設(shè)施并擁有可以處理的軟件框架，」他說?！高@雖然可行，但目前來看，需要付出很大的努力?！?/span>

下一個(gè)開源ChatGPT

高昂的費(fèi)用和龐大的規(guī)模都表明，如果沒有資金雄厚的企業(yè)或個(gè)人不厭其煩地訓(xùn)練模型，PaLM + RLHF目前還沒有取代ChatGPT的能力。

到目前為止，沒有任何關(guān)于PaLM + RLHF確切的發(fā)布日期。作為參照，Hugging Face訓(xùn)練Bloom花了三個(gè)月的時(shí)間。相比之下，擁有5400億參數(shù)的PaLM + RLHF可能需要等待6-8 個(gè)月的時(shí)間才能誕生一個(gè)有意義的版本。

好消息是，到目前為止，我們有三個(gè)已知的玩家在開發(fā)這個(gè)開源版ChatGPT的替代方案：

• CarperAI
• LAION
• Yannic Kilcher

CarperAI計(jì)劃與EleutherAI和初創(chuàng)公司Scale AI和Hugging Face合作，發(fā)布第一個(gè)可立即運(yùn)行的、類似ChatGPT的AI模型，該模型經(jīng)過人類反饋訓(xùn)練。

代碼地址：https://github.com/CarperAI/trlx

LAION是為Stable Diffusion提供初始數(shù)據(jù)集的非營利組織，它還率先開展了一個(gè)使用最新機(jī)器學(xué)習(xí)技術(shù)復(fù)制ChatGPT的項(xiàng)目。

代碼地址：https://github.com/LAION-AI/Open-Assistant

LAION旨在打造一個(gè)「未來助手」，不僅能寫電子郵件和求職信，還能「做有意義的工作、使用 API、動(dòng)態(tài)研究信息等」。它處于早期階段，但是幾周前，一個(gè)包含相關(guān)資源的項(xiàng)目已在GitHub上線。

而由油管網(wǎng)紅、AI研究人員Yannic Kilcher創(chuàng)建的GPT-4chan，更像是「出淤泥而全染」的嘴臭達(dá)人。

該模型中的「4chan」是一個(gè)美國在線匿名論壇，因網(wǎng)友身份皆為匿名，很多人便無所畏懼，發(fā)表各種政治不正確的言論。而Kilcher正式用4chan上的帖子對(duì)模型進(jìn)行訓(xùn)練，其結(jié)果可想而知。

與論壇總基調(diào)類似，GPT-4chan的回答充斥著種族歧視、性別歧視和反猶太主義。不僅如此，Kilcher還將其底層模型發(fā)布到Hugging Face供他人下載。不過在很多AI研究人員的聲討下，官方很快限制了網(wǎng)友對(duì)該模型的訪問。

在我們期待更多開源語言模型出現(xiàn)的同時(shí)，現(xiàn)在我們能做的只有等待。當(dāng)然，繼續(xù)免費(fèi)使用ChatGPT 也是個(gè)好主意。

值得注意的是，在任何開源版本正式登場(chǎng)之前，OpenAI在開發(fā)方面仍遙遙領(lǐng)先。而2023年，GPT-4無疑是全世界AI愛好者翹首以盼的對(duì)象。

無數(shù)AI大佬都對(duì)其做出了自己的預(yù)測(cè)，這些預(yù)測(cè)或好或壞，但就像OpenAI首席運(yùn)營官Sam Altman所言：「通用人工智能的建成會(huì)比大多數(shù)人想象得更快，并且它會(huì)改變大多數(shù)人想象中的一切?！?/span>