· 我無(wú)法知曉歷史書(shū)會(huì)對(duì) GPT 的各個(gè)版本怎么評(píng)價(jià)。但如果非要我挑出一個(gè)至今看到的關(guān)鍵節(jié)點(diǎn)，我認(rèn)為仍然是ChatGPT。GPT-4并沒(méi)有太令我驚訝，ChatGPT則讓我有些喜出望外。

· 從某種程度上來(lái)說(shuō)，GPT-4 系統(tǒng)增強(qiáng)了人類(lèi)智能，可以被應(yīng)用于各種各樣的場(chǎng)景。

· 系統(tǒng)的易用性本身有時(shí)比基礎(chǔ)模型的能力更重要。

· GPT-4 還不具備意識(shí)，也無(wú)法取代優(yōu)秀的程序員。真正具有意識(shí)的人工智能應(yīng)該能夠告訴別人自己有意識(shí)，能表達(dá)自己的痛苦等情緒，理解自己的處境，有自己的記憶，并且能與人交互。

· 人工智能將對(duì)人類(lèi)的生活質(zhì)量帶來(lái)巨大提升，我們可以治愈疾病、創(chuàng)造財(cái)富、增加資源、讓人類(lèi)感到快樂(lè)......看似人類(lèi)不需要工作了，但是人類(lèi)還需要社會(huì)地位、需要激情、需要?jiǎng)?chuàng)造、需要感受到自己的價(jià)值。因此，人工智能時(shí)代來(lái)臨后，我們需要做的是找到新的工作、生活方式，擁抱新技術(shù)帶來(lái)的巨大提升。

Sam Altman，OpenAI創(chuàng)始人之一，現(xiàn)任Y Combinator總裁、美國(guó)人工智能實(shí)驗(yàn)室OpenAI首席執(zhí)行官。帶領(lǐng)人工智能實(shí)驗(yàn)室OpenAI開(kāi)發(fā)出聊天機(jī)器人程序ChatGPT，被媒體稱為「ChatGPT之父」。

（L指代Lex Fridman，S代指Sam Altman）

如果在維基百科上書(shū)寫(xiě)AI的歷史，ChatGPT仍是最關(guān)鍵的節(jié)點(diǎn)

Q1

L：什么是 GPT-4？它是怎樣工作的？它最神奇的地方是什么？

S：現(xiàn)在回頭來(lái)看，它還是很很初級(jí)的人工智能系統(tǒng)，其工作效率較低、存在一些小毛病，許多事完成得也不盡人意。盡管如此，它仍然為未來(lái)真正重要的技術(shù)指出了一條發(fā)展路徑（即使該過(guò)程花費(fèi)了幾十年的時(shí)間）。

Q2?

L：50 年后，當(dāng)人回首早期的智能系統(tǒng)，GPT-4 會(huì)是一個(gè)真正巨大的飛躍嗎，這是否是一個(gè)關(guān)鍵時(shí)刻？當(dāng)人們?cè)诰S基百科上書(shū)寫(xiě)人工智能的歷史，會(huì)寫(xiě)上哪個(gè)版本的 GPT？

S：這個(gè)進(jìn)步的過(guò)程是持續(xù)的，很難明確指定出一個(gè)歷史性的時(shí)刻。我無(wú)法知曉歷史書(shū)會(huì)對(duì) GPT 的各個(gè)版本怎么評(píng)價(jià)。但如果非要我挑出一個(gè)至今看到的關(guān)鍵節(jié)點(diǎn)，我認(rèn)為是 ChatGPT。ChatGPT 真正重要的并不是它的底層模型本身，而是如何利用底層模型，這涉及到基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF）及其接口。

Q3?

L：RLHF 如何使 ChatGPT 有如此驚艷的性能？

S：我們用大量的文本數(shù)據(jù)訓(xùn)練了這些模型。在此過(guò)程中，他們學(xué)到了一些底層表征相關(guān)的知識(shí)，從而可以做一些驚艷眾人的事情。但是在剛完成訓(xùn)練時(shí)，如果我們馬上使用這個(gè)基礎(chǔ)模型，盡管它可以在測(cè)試集上有很好的性能，但是它還并不太易于使用。為此，我們引入了一些人類(lèi)反饋，實(shí)現(xiàn)了 RLHF。最簡(jiǎn)單的 RLHF 是：向模型給出兩個(gè)版本的輸出，讓它判斷人類(lèi)評(píng)價(jià)者會(huì)更喜歡哪一個(gè)，然后通過(guò)強(qiáng)化學(xué)習(xí)將該信息反饋給模型。RLHF 出奇地有效，我們可以用極少的數(shù)據(jù)使模型更實(shí)用，我們通過(guò)該技術(shù)讓模型與人類(lèi)需求對(duì)齊，更容易給出對(duì)人有幫助的正確答案。無(wú)論基礎(chǔ)的模型能力如何，系統(tǒng)的易用性十分關(guān)鍵。

Q4

L：如何理解通過(guò)使用 RLHF 技術(shù)，我們不再需要那么多的人類(lèi)監(jiān)督？

S：公平地說(shuō)，相較于最初創(chuàng)建預(yù)訓(xùn)練大模型的科學(xué)研究，我們對(duì)這一部分的研究還處于早期，但是需要的數(shù)據(jù)確實(shí)更少了。

L：對(duì)于人類(lèi)指導(dǎo)的研究十分有趣，也十分重要。我們通過(guò)這類(lèi)研究理解如何讓系統(tǒng)更實(shí)用、更智能、符合道德規(guī)范和人類(lèi)的意圖。引入人類(lèi)反饋的過(guò)程也十分重要。

Q5

L：預(yù)訓(xùn)練數(shù)據(jù)集的大概有多么巨大？

S：我們費(fèi)了很大力氣與合作伙伴一起從互聯(lián)網(wǎng)上的各個(gè)開(kāi)源的數(shù)據(jù)庫(kù)上抓取到了這些預(yù)訓(xùn)練數(shù)據(jù)，構(gòu)建了龐大的數(shù)據(jù)集。實(shí)際上，除了 Reddit、報(bào)紙等媒體，世界上還有很多內(nèi)容是大多數(shù)人意想不到的。清洗數(shù)據(jù)、過(guò)濾數(shù)據(jù)比收集數(shù)據(jù)更困難。

Q6

L：構(gòu)建 ChatGPT 需要解決很多問(wèn)題，例如：模型架構(gòu)規(guī)模的設(shè)計(jì)，數(shù)據(jù)的選擇，RLHF。這些部分結(jié)合起來(lái)有何神奇之處？

S：GPT-4 是我們真正推出的 ChatGPT 最終產(chǎn)品內(nèi)部的版本，創(chuàng)造它所需的零部件數(shù)量還很難知曉，工作量很大。在早期的每個(gè)階段，我們需要想出新的思路，或者很好地執(zhí)行現(xiàn)有的想法。

L：GPT-4 中的一些技術(shù)步驟已經(jīng)相對(duì)成熟，例如：在完成完整的訓(xùn)練模型之前，預(yù)測(cè)模型將會(huì)達(dá)到的性能。如何根據(jù)少量的訓(xùn)練就能知道訓(xùn)練完整的系統(tǒng)的特殊特性？就好比看到一個(gè)一歲的嬰兒，就能知道他在高考中獲得多少分。

S：這一成就令人驚訝，背后涉及許多的科學(xué)因素，最終達(dá)到人類(lèi)所期待的智力水平。這一實(shí)現(xiàn)過(guò)程比我能夠想象的要科學(xué)的多。正如所有新的科學(xué)分支一樣，我們會(huì)發(fā)現(xiàn)一些無(wú)法擬合數(shù)據(jù)的新東西，并對(duì)此給出更好的解釋，這正是科學(xué)發(fā)展的過(guò)程。盡管我們已經(jīng)在社交媒體上發(fā)布了 GPT-4 的一些信息，但是我們?nèi)匀粦?yīng)該對(duì)其神奇之處心存敬畏。

GPT-4系統(tǒng)地增強(qiáng)了人類(lèi)智能

Q7

L：GPT-4 這類(lèi)語(yǔ)言模型可以學(xué)習(xí)或引用各個(gè)領(lǐng)域的素材。OpenAI 內(nèi)部的研究者和工程師對(duì)語(yǔ)言模型的神奇之處是否有越來(lái)越深的理解？

S：我們可以通過(guò)各種方式評(píng)價(jià)模型，可以在訓(xùn)練好模型后在各類(lèi)任務(wù)上對(duì)其進(jìn)行測(cè)試，我們?cè)?Github 上也開(kāi)精力源了模型的測(cè)試過(guò)程，這很有幫助。重要的是，我們耗費(fèi)了大量的人力、財(cái)力、時(shí)間來(lái)分析模型的實(shí)用性、模型如何為人們帶來(lái)快樂(lè)和幫助、如何創(chuàng)造一個(gè)更好的世界、產(chǎn)生新的產(chǎn)品和服務(wù)。當(dāng)然，我們至今仍然不能完全理解模型完成任務(wù)的全部?jī)?nèi)在過(guò)程，但我們會(huì)繼續(xù)朝著這個(gè)方面努力。

Q8

L：GPT-4 將互聯(lián)網(wǎng)上海量的信息壓縮到了黑盒模型中「相對(duì)較少」的參數(shù)中，形成了人類(lèi)智慧。請(qǐng)問(wèn)從事實(shí)到智慧產(chǎn)生了怎樣的飛躍？

S：我們將模型作為數(shù)據(jù)庫(kù)吸取了人類(lèi)知識(shí)，而不是將其用作推理引擎，系統(tǒng)的處理能力得到了神奇的提升。這樣一來(lái)，系統(tǒng)實(shí)際上也能實(shí)現(xiàn)一定程度的推理，盡管某些學(xué)者可能認(rèn)為這一說(shuō)法并不嚴(yán)謹(jǐn)。從某種程度上來(lái)說(shuō)，GPT-4 系統(tǒng)增強(qiáng)了人類(lèi)智能，可以被應(yīng)用于各種各樣的場(chǎng)景。

L：ChatGPT 似乎在與人類(lèi)的連續(xù)交互中「擁有」了智能，它在這種對(duì)話的方式中承認(rèn)自己錯(cuò)誤的假設(shè)，否定不合適的請(qǐng)求。

GPT-4不具有意識(shí)，也不會(huì)取代優(yōu)秀的程序員

Q9

L：有些人很享受與 GPT 一起編程，有些人則害怕變成工作會(huì)被 GPT 取代。你怎么看待這一現(xiàn)象？

S：有一些關(guān)鍵的編程工作仍然需要人類(lèi)的創(chuàng)造因素。GPT 類(lèi)的模型會(huì)自動(dòng)完成一些編程工作，但仍然無(wú)法取代優(yōu)秀的程序員。有一些程序員會(huì)對(duì)未來(lái)的不確定性產(chǎn)生焦慮，但是更多的人會(huì)覺(jué)得它提升了自己的工作效率。

二三十年前，當(dāng)「深藍(lán)」擊敗了國(guó)際象棋大師卡斯帕羅夫后，也曾有人認(rèn)為沒(méi)有繼續(xù)下國(guó)際象棋的必要了。但是國(guó)際象棋至今仍風(fēng)靡全球。

人工智能將對(duì)人類(lèi)的生活質(zhì)量帶來(lái)巨大提升，我們可以治愈疾病、創(chuàng)造財(cái)富、增加資源、讓人類(lèi)感到快樂(lè)......看似人類(lèi)不需要工作了，但是人類(lèi)還需要社會(huì)地位、需要激情、需要?jiǎng)?chuàng)造、需要感受到自己的價(jià)值。因此，人工智能時(shí)代來(lái)臨后，我們需要做的是找到新的工作、生活方式，擁抱新技術(shù)帶來(lái)的巨大提升。

Q10

L：Eliezer Yudkowsky 警告人工智能可能傷害人類(lèi)，并給出了一些例子，我們幾乎不可能一直讓超級(jí)人工智能與人類(lèi)意圖「對(duì)齊」。你是否贊同他的觀點(diǎn)？

S：這是有可能的。如果我們不談?wù)撨@一潛在的可能性，我們就不會(huì)投入足夠的努力研發(fā)新技術(shù)來(lái)解決此類(lèi)問(wèn)題。很多新興領(lǐng)域都存在此類(lèi)問(wèn)題，現(xiàn)在人們關(guān)心人工智能的能力和安全性。Elizer 的文章寫(xiě)得很好，但是人們很難跟進(jìn)它的一些工作，存在一些邏輯問(wèn)題，我并不完全支持他的看法。

早在人們相信深度學(xué)習(xí)、大語(yǔ)言模型的能力之前，就有很多有關(guān)人工智能安全的工作，我不認(rèn)為這一領(lǐng)域有足夠多的更新。理論確實(shí)很重要，但是需要不斷地學(xué)習(xí)技術(shù)軌跡的變化，這種循環(huán)需要更加緊湊。我認(rèn)為現(xiàn)在是研究人工智能安全的良好時(shí)機(jī)，可以探究這些新工具新技術(shù)與人類(lèi)意圖的「對(duì)齊」。

Q11

L：人工智能技術(shù)發(fā)展日新月異，有人說(shuō)我們現(xiàn)在又進(jìn)入了人工智能「騰飛」的階段。當(dāng)有人真正構(gòu)建了通用人工智能，我們?cè)鯓又獣赃@種變化？

S：GPT-4 并沒(méi)有太令我驚訝，ChatGPT 則稍稍讓我有些喜出望外。盡管 GPT-4 令人印象深刻，但是它還并不是 AGI。AGI 的真正定義越來(lái)越重要，但我認(rèn)為這距離我還很遙遠(yuǎn)。

Q12

L：你認(rèn)為 GPT-4 有意識(shí)嗎？

S：不，我認(rèn)為它還沒(méi)有意識(shí)。

L：我認(rèn)為真正具有意識(shí)的人工智能應(yīng)該能夠告訴別人自己有意識(shí)，能表達(dá)自己的痛苦等情緒，理解自己的處境，有自己的記憶，并且能與人交互。而我覺(jué)得這些能力都是接口的能力，而不是底層知識(shí)。

S：我們 OpenAI 的首席科學(xué)家 Ilya Sutskever 曾經(jīng)與我討論過(guò)「如何知道模型是否有意識(shí)」。他認(rèn)為，如果我們?cè)跀?shù)據(jù)集上小心地訓(xùn)練一個(gè)模型，不提及與意識(shí)或任何相關(guān)概念的主觀體驗(yàn)，然后我們向模型描述這種意識(shí)的主觀體驗(yàn)，看模型是否能領(lǐng)會(huì)我們傳達(dá)的信息。

通用人工智能，我們走到了哪一步？

Q13

L：?jiǎn)棠匪够热藢?duì)「大語(yǔ)言模型」能實(shí)現(xiàn)通用人工智能持批判態(tài)度。對(duì)此，你怎么看？大語(yǔ)言模型是否是通往通用人工智能的正確道路？

S：我認(rèn)為大語(yǔ)言模型是通往 AGI 的道路中的一環(huán)，我們還需要其它非常重要的部分。

L：你認(rèn)為智能體需要一個(gè)感受世界的「身體」嗎？

S：我對(duì)此持謹(jǐn)慎態(tài)度。但在我看來(lái)，無(wú)法很好地融入已知的科學(xué)知識(shí)的系統(tǒng)不能稱之為「超級(jí)智能」，它就像發(fā)明新的基礎(chǔ)科學(xué)。為了實(shí)現(xiàn)「超級(jí)智能」，我們需要繼續(xù)拓展 GPT 類(lèi)的范式，這還有很長(zhǎng)的路要走。

L：我認(rèn)為通過(guò)改變訓(xùn)練 GPT 的數(shù)據(jù)，就已經(jīng)可以獲得各種巨大的科學(xué)突破。

Q14

L：隨著提示（Prompt）鏈越來(lái)越長(zhǎng)，這些交互本身就會(huì)成為人類(lèi)社會(huì)的一部分，并互為基礎(chǔ)。如何看待這一現(xiàn)象？

S：與 GPT 系統(tǒng)能完成某些任務(wù)相比，更讓我激動(dòng)的是人類(lèi)參與到了這一工具的反饋回路中，我們可以從多輪交互的軌跡中學(xué)到更多的東西。AI 將拓展、放大人類(lèi)的意圖和能力，這也將塑造人們使用它的方式。也許，我們永遠(yuǎn)不會(huì)建造出 AGI，但是讓人類(lèi)變得更好這件事本身就是巨大的勝利。