ChatGPT 是 OpenAI 開發(fā)的一項(xiàng)新技術(shù)，它非常擅長(zhǎng)模仿人類交流，以至于很多人認(rèn)為它將很快接管世界——以及其中的所有工作。

在 2 月 8 日由布朗大學(xué)卡尼腦科學(xué)研究所組織的交流中，兩位來自不同研究領(lǐng)域的學(xué)者討論了人工智能與人類智能之間的相似之處。

關(guān)于 ChatGPT 神經(jīng)科學(xué)的討論讓與會(huì)者得以一窺當(dāng)下機(jī)器學(xué)習(xí)模型的內(nèi)幕。

計(jì)算機(jī)科學(xué)助理教授兼 Google AI 研究科學(xué)家 Ellie Pavlick 表示，盡管圍繞新技術(shù)的所有討論很多，但該模型并沒有那么復(fù)雜，甚至都不是新的。

她解釋說，在最基本的層面上，ChatGPT 是一種機(jī)器學(xué)習(xí)模型，旨在預(yù)測(cè)句子中的下一個(gè)單詞，下一個(gè)表達(dá)等。

Pavlick 說，這種類型的預(yù)測(cè)學(xué)習(xí)模型已經(jīng)存在了幾十年。長(zhǎng)期以來，計(jì)算機(jī)科學(xué)家一直在嘗試構(gòu)建表現(xiàn)出這種行為并可以用自然語言與人類交談的模型。為此，模型需要訪問傳統(tǒng)計(jì)算組件的數(shù)據(jù)庫(kù)，使其能夠“推理”過于復(fù)雜的想法。

新的是 ChatGPT 的訓(xùn)練或開發(fā)方式。它可以訪問深不可測(cè)的大量數(shù)據(jù)——正如 Pavlick 所說，“互聯(lián)網(wǎng)上的所有句子”。

“ChatGPT 本身并不是拐點(diǎn)，”Pavlick 說?！肮拯c(diǎn)是在過去五年的某個(gè)時(shí)候，基本相同的結(jié)構(gòu)模型有所增加，但它們變得越來越大。正在發(fā)生的事情是，隨著它們變得越來越大，它們的表現(xiàn)也越來越好。”

ChatGPT 及其競(jìng)爭(zhēng)產(chǎn)品可供公眾免費(fèi)使用的方式也很新穎。Pavlick 說，即使在一年前，要與像 ChatGPT 這樣的系統(tǒng)進(jìn)行交互，一個(gè)人也需要訪問像 Brown 的 Compute Grid 這樣的系統(tǒng)，這是一種只有獲得特定權(quán)限才能供學(xué)生、教職員工使用的專用工具，并且還需要一個(gè)公平的精通技術(shù)的數(shù)量。

但是，現(xiàn)在，任何人，無論其技術(shù)能力如何，都可以使用 ChatGPT 時(shí)尚、流線型的界面。

CHATGPT 真的像人一樣思考嗎?

Pavlick 說，用如此龐大的數(shù)據(jù)集訓(xùn)練計(jì)算機(jī)系統(tǒng)的結(jié)果是，它似乎可以識(shí)別出一般模式，并且看起來能夠生成非常逼真的文章、故事、詩(shī)歌、對(duì)話、戲劇等。

它可以產(chǎn)生假新聞報(bào)道和假科學(xué)發(fā)現(xiàn)，并產(chǎn)生各種令人驚訝的有效結(jié)果——或“輸出”。

他們結(jié)果的有效性促使許多人相信機(jī)器學(xué)習(xí)模型可以像人類一樣思考。但是他們呢?

ChatGPT 是一種人工神經(jīng)網(wǎng)絡(luò)，認(rèn)知、語言和心理科學(xué)以及計(jì)算機(jī)科學(xué)教授 Thomas Serre 解釋說。這意味著硬件和編程是基于一組相互關(guān)聯(lián)的節(jié)點(diǎn)，其靈感來自大腦中神經(jīng)元的簡(jiǎn)化。

Serre 說，在計(jì)算機(jī)大腦和人腦學(xué)習(xí)新信息并使用它來執(zhí)行任務(wù)的方式上確實(shí)存在許多引人入勝的相似之處。

“有研究開始表明，至少?gòu)谋砻嫔峡?，?ChatGPT 這樣的算法使用和利用來處理語言信息的單詞和句子表示類型與大腦似乎在做什么之間可能存在某種聯(lián)系，”他說。

例如，ChatGPT 的主干是一種稱為 Transformer 網(wǎng)絡(luò)的最先進(jìn)的人工神經(jīng)網(wǎng)絡(luò)。這些源自自然語言處理研究的網(wǎng)絡(luò)最近開始主宰整個(gè)人工智能領(lǐng)域。

Transformer 網(wǎng)絡(luò)有一種特殊的機(jī)制，計(jì)算機(jī)科學(xué)家稱之為“自我注意”，這與已知發(fā)生在人腦中的注意機(jī)制有關(guān)。

Serre 說，與人腦的另一個(gè)相似之處是使該技術(shù)變得如此先進(jìn)的一個(gè)關(guān)鍵方面。

他解釋說，過去，訓(xùn)練計(jì)算機(jī)的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和使用語言或執(zhí)行圖像識(shí)別需要科學(xué)家執(zhí)行繁瑣、耗時(shí)的手動(dòng)任務(wù)，例如建立數(shù)據(jù)庫(kù)和標(biāo)記對(duì)象類別。

現(xiàn)代大型語言模型，例如 ChatGPT 中使用的模型，無需這種明確的人工監(jiān)督即可進(jìn)行訓(xùn)練。而這似乎與 Serre 所說的一種被稱為預(yù)測(cè)編碼理論的有影響力的大腦理論有關(guān)。這是假設(shè)當(dāng)一個(gè)人聽到某人說話時(shí)，大腦會(huì)不斷地做出預(yù)測(cè)并對(duì)接下來會(huì)說什么產(chǎn)生預(yù)期。

雖然這個(gè)理論是幾十年前提出的，但塞爾說它還沒有在神經(jīng)科學(xué)中得到充分的檢驗(yàn)。然而，它目前正在推動(dòng)大量的實(shí)驗(yàn)工作。

“我想說，至少在這兩個(gè)層面上，這個(gè)網(wǎng)絡(luò)的核心引擎的注意力機(jī)制一直在預(yù)測(cè)將要說的內(nèi)容，這似乎在非常粗略的層面上與與神經(jīng)科學(xué)相關(guān)的想法，”Serre 評(píng)論道。

最近有一項(xiàng)研究將大型語言模型使用的策略與實(shí)際的大腦過程聯(lián)系起來，他指出：“我們?nèi)匀恍枰私夂芏鄸|西，但是神經(jīng)科學(xué)研究中越來越多的研究表明這些大型語言的作用模型和視覺模型 [在計(jì)算機(jī)中] 所做的與我們處理自然語言時(shí)大腦所做的事情并不完全無關(guān)?！?/p>

從更黑暗的角度來看，就像人類學(xué)習(xí)過程容易受到偏見或腐敗的影響一樣，人工智能模型也是如此。Serre 說，這些系統(tǒng)通過統(tǒng)計(jì)關(guān)聯(lián)進(jìn)行學(xué)習(xí)。數(shù)據(jù)集中占主導(dǎo)地位的任何信息都將接管并推出其他信息。

“這是人工智能非常關(guān)注的一個(gè)領(lǐng)域，它并不特定于語言，”Serre 說。他列舉了互聯(lián)網(wǎng)上白人男性的過度代表如何使一些面部識(shí)別系統(tǒng)產(chǎn)生偏見，以至于他們無法識(shí)別看起來不是白人或男性的面孔。

“系統(tǒng)的好壞取決于我們提供給它們的訓(xùn)練數(shù)據(jù)，而且我們知道訓(xùn)練數(shù)據(jù)一開始并不是那么好，”Serre 說。

數(shù)據(jù)也不是無限的，他補(bǔ)充說，特別是考慮到這些系統(tǒng)的規(guī)模和它們的貪婪胃口。

Pavlick 說，ChatCPT 的最新版本包括強(qiáng)化學(xué)習(xí)層，這些層起到護(hù)欄的作用，有助于防止產(chǎn)生有害或仇恨內(nèi)容。但這些仍在進(jìn)行中。

“部分挑戰(zhàn)在于……你不能給模型一個(gè)規(guī)則——你不能只是說，'永遠(yuǎn)不要生成這樣那樣的東西，'”Pavlick 說。

“它通過例子學(xué)習(xí)，所以你給它很多事情的例子，然后說，‘不要做這樣的事情。做這樣的事情。因此，總是有可能找到一些小技巧讓它做壞事?！?/p>

CHATGPT 不會(huì)做夢(mèng)

人類大腦和神經(jīng)網(wǎng)絡(luò)的一個(gè)不同領(lǐng)域是在睡眠中——具體來說，是在做夢(mèng)時(shí)。盡管 AI 生成的文本或圖像看起來超現(xiàn)實(shí)、抽象或荒謬，但 Pavlick 表示，沒有證據(jù)支持生物做夢(mèng)過程與生成 AI 的計(jì)算過程之間存在功能相似性的概念。

她說，重要的是要了解像 ChatGPT 這樣的應(yīng)用程序是穩(wěn)態(tài)系統(tǒng)——換句話說，它們不會(huì)在網(wǎng)上實(shí)時(shí)發(fā)展和變化，盡管它們可能會(huì)在離線時(shí)不斷完善。

“這不像 [ChatGPT] 重播和思考，并試圖以新的方式組合事物，以鞏固它所知道的或大腦中發(fā)生的任何事情，”帕夫利克說。

“這更像是：完成了。這就是系統(tǒng)。我們稱之為通過網(wǎng)絡(luò)的前向傳遞——沒有來自它的反饋。它沒有反思它剛剛做了什么，也沒有更新它的方式?！?/p>

Pavlick 說，當(dāng) AI 被要求制作，例如，關(guān)于克雷布斯循環(huán)的說唱歌曲，或者某人的狗的迷幻圖像時(shí)，輸出可能看起來很有創(chuàng)意，但實(shí)際上它只是系統(tǒng)已經(jīng)完成的任務(wù)的混搭被訓(xùn)練去做。

與人類語言使用者不同，每個(gè)輸出不會(huì)自動(dòng)改變每個(gè)后續(xù)輸出，或增強(qiáng)功能，或以人們認(rèn)為夢(mèng)想起作用的方式工作。

Serre 和 Pavlick 強(qiáng)調(diào)，任何關(guān)于人類智能或人工智能的討論都需要注意的是，科學(xué)家們對(duì)這兩個(gè)系統(tǒng)仍有很多需要了解的地方。

至于關(guān)于 ChatGPT 的炒作，特別是神經(jīng)網(wǎng)絡(luò)在創(chuàng)建幾乎比人類更人性化的聊天機(jī)器人方面的成功，Pavlick 說這是當(dāng)之無愧的，特別是從技術(shù)和工程的角度來看。

“這是非常令人興奮!” 她說。“我們長(zhǎng)期以來一直想要這樣的系統(tǒng)。”