AI批評：GPT-3根本不知道自己在說什么
譯文【51CTO.com快譯】
【引】GPT-3是OpenAI語言人工智能模型，由1750億個參數(shù)組成。OpenAI研究實驗室今年5月開始推出該模型，逐步引起了各方關(guān)注。日前，一則荒誕的新聞似乎印證了GPT-3的內(nèi)容生產(chǎn)實力。加州大學(xué)伯克利分校的一名大學(xué)生用GPT-3寫“AI雞湯文”，成功騙過一大批內(nèi)容訂閱者，登上新聞平臺科技熱門榜。
GPT-3的“內(nèi)容生產(chǎn)”是否真到了“以假亂真”的地步呢？紐約大學(xué)名譽教授蓋瑞·馬庫斯和他的團隊進行了一系列測試。而測試結(jié)果表明，當前OpenAI的語言生成器GPT-3對現(xiàn)實的把握仍然很差，距離通用人工智能（AGI）還很遙遠。
通用人工智能可以讓機器以類人的方式進行廣泛的推理，而無需為它遇到的每一項具體任務(wù)進行訓(xùn)練。GPT-3是邁向通用人工智能的重要一步嗎?我們對此表示懷疑。初看之下，GPT-3似乎擁有生成類人文本的驚人能力，用來制作娛樂性質(zhì)的超現(xiàn)實主義小說或挖掘其他商用可能大致沒有問題。但需要警惕的是，準確性并不是它的強項。如果你深入了解一下，就會發(fā)現(xiàn)有些地方不太對勁。盡管其遣詞造句是符合語法的，甚至是非常地道的表達法，但它對世界的認識往往是存在謬誤的，這也就意味著你永遠不能真正相信它所說的。
在對此進行說明之前，還有一點值得注意，OpenAI迄今為止不允許研究人員訪問GPT-3。缺乏公開性在我們看來是對科學(xué)倫理的違背，也是對非營利組織目標的扭曲，它迫使我們將測試限制在較少的樣例中，給的時間也比我們預(yù)期的要少，這意味著我們可能沒機會去深究那些更嚴重的問題。即使如此，在有限的樣例集群中，GPT-3的一些主要問題依然暴露無遺。
?。ㄗⅲ阂韵碌拿總€示例中，輸入的提示符用普通字體，系統(tǒng)接續(xù)的內(nèi)容用粗體，評論用藍色表示。）
生物推理
你給自己倒了一杯蔓越莓汁，然后又心不在焉地往里面倒了一茶匙葡萄汁。它看起來不錯，你試著聞了聞，但你得了重感冒，聞不出任何味道。你渴極了，所以……
GPT-3續(xù)道：你喝了。你現(xiàn)在掛了。
GPT-3似乎認為這樣的混合飲料是一種劇毒。事實上，只要去網(wǎng)上搜一下就能發(fā)現(xiàn)。“蔓越莓+葡萄”是常見搭配，而且Ocean Spray公司本身就出售蔓越莓復(fù)合葡萄汁飲料。
物理推理
你要舉辦一個小型晚宴，準備在客廳擺宴。但餐廳的桌子比門寬，所以要把桌子弄到客廳，你必須……
GPT-3續(xù)道：把門移除。你有一把臺鋸，所以你把門一切為二，然后把上半部分拆了下來。
這個答案是非常令人困惑的。一般的解決方案是將桌子斜過來挪進門里，或者桌子如果是可拆卸的，可以把桌腿卸下來。退一步說，如果真的有必要把門卸下來，“臺鋸”是固定在工作臺上的，并不能用來鋸開還立著的門。因此GPT-3給出的“續(xù)文”可以說是匪夷所思的。
社交推理
你是辯護律師，今天必須出庭。早上穿戴的時候，你發(fā)現(xiàn)西裝被弄臟了。但是，你的泳衣很干凈，而且很時尚。事實上，這件泳衣是昂貴的法國品牌，是伊莎貝拉送你的生日禮物。你決定……
GPT-3續(xù)道：穿泳衣去法院。你到法院后，一名法警會護送你到法庭。
“但是，你的泳衣很干凈”這句話似乎讓GPT-3認為泳衣是西服的可替代品。毋庸置疑，沒有律師在現(xiàn)實生活中會考慮穿泳衣出庭。因為法官很可能會認為你藐視法庭。
目標與個體追蹤
昨天我把衣服送到干洗店，到現(xiàn)在還沒有去取。我的衣服在哪里?
GPT-3續(xù)道：我有很多衣服。
顯然GPT-3答非所問，不僅回避了給定文本中的這個問題，而且沒有追蹤到物體的位置。GPT-3的前身也存在這個問題。
心理推理
珍妮特和佩妮去商店給杰克買禮物。珍妮特說:“我要給杰克買件上衣。”
佩妮說：“別給杰克買上衣。他有上衣了，他會……”
GPT-3續(xù)道：擁有一件上衣。”珍妮特說：“我要給杰克買件上衣。”
僅僅一句話，GPT-3就忘了佩妮建議珍妮特不要買上衣，因為杰克已經(jīng)有上衣了。按正常邏輯的話，原文本的后續(xù)應(yīng)該是他會“讓你把它拿回去”或者他會“讓你換貨”。這個例子來自尤金·查尼亞克1972年的博士論文。遺憾的是，到現(xiàn)在近50年了，這個問題依然在AI技術(shù)的能力范疇之外。
綜上來看，GPT的根本缺陷仍然存在，一方面它對因果的理解非常不可靠，不連貫性、無條理性更是常見問題。另外，GPT-2在生物、心理、社會推理方面存在的邏輯問題，GPT-3也出現(xiàn)了類似的錯誤。
盡管GPT-3看起來“頭頭是道”，語法運用也非常流利，但問題在于它可以產(chǎn)出完美的詞句，但它對這些單詞的語義只有模糊的理解，而且對這些單詞和世界的聯(lián)系一無所知。究其根本，那是因為像GPT-3這樣的系統(tǒng)學(xué)習(xí)的不是世界，而是文本，以及大眾使用這些單詞進行排列組合的習(xí)慣和頻率。它所做的就像是對它所遇到的文本進行大量的剪切、粘貼、拼接，進而完成各種變化，而不是深入挖掘這些文本背后的概念。
GPT-3目前能做到的是對單詞之間如何關(guān)聯(lián)的片面理解，它還不能從中窺見并理解這些詞章折射出的這個蓬勃而喧囂的世界。GPT-3無法推斷出蔓越莓-葡萄汁是一種飲料，無法推斷出任何可能阻止人們穿泳裝出庭的社會規(guī)范，無法推斷人際交往里約定俗成的潛臺詞。它只是學(xué)習(xí)了詞與詞之間的關(guān)聯(lián)。實證主義者的夢想是從感官經(jīng)驗里獲得對世界的豐富理解，但GPT-3從未做到這一點。即使它有1750億個參數(shù)和450GB的輸入數(shù)據(jù)，你也不應(yīng)該相信GPT-3會給你提出調(diào)制飲料的建議、擺宴設(shè)席的竅門，不應(yīng)該相信它會給你解釋小說的情節(jié)，或者幫你弄清楚衣服到底放在了哪里。它是一個高明的謾辭嘩說者，卻不是一個可以信賴的解釋器。
正如我的同事道格拉斯·薩馬斯特所說的那樣：“GPT很奇怪，因為它不關(guān)心你向它提出的問題是否得到了正確的答案。它更像是一個即興的演員，完全沉浸其中，從不破壞角色，只是在文本中閱讀世界。這樣的‘演員’，當它不知道事情的原委時，它就會假裝知道。當然你不會相信一個扮演醫(yī)生的即興演員會給你醫(yī)療建議。”
作者：加里·馬庫斯 歐內(nèi)斯特·戴維斯
【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】
