10月26日，在X上有三萬(wàn)訂閱的Dwarkesh Podcast（矮人播客）主持人Dwarkesh Patel采訪了谷歌DeepMind的創(chuàng)始人兼首席AGI科學(xué)家Shane Legg。

他們討論了AGI出現(xiàn)的時(shí)間節(jié)點(diǎn)、可能的AGI新架構(gòu)、作為下一個(gè)行業(yè)標(biāo)桿的多模態(tài)、如何讓超越人類的模型進(jìn)行對(duì)齊以及Deepmind在模型能力和安全之間的抉擇。

而在前不久，《華爾街日?qǐng)?bào)》與OpenAI的CEO Sam Altman和CTO Mira Murati共同探討了有關(guān)AGI的未來(lái)（鏈接）。

一場(chǎng)又一場(chǎng)的AGI討論盛宴接連不斷，曾經(jīng)只存在于科幻作品中的AGI，似乎近在眼前了。

AGI的定義以及發(fā)生節(jié)點(diǎn)

在衡量AGI的進(jìn)展之前，需要先對(duì)AGI進(jìn)行定義。

AGI，即通用人工智能。但對(duì)于什么是「通用」的，卻有很多不同的定義，這讓回答AGI是什么變得非常困難。

Shane Legg認(rèn)為，能夠執(zhí)行一般人類完成的認(rèn)知任務(wù)、甚至超越這個(gè)范圍以上的，就可以認(rèn)為是AGI。

由此可以得到，要測(cè)試AI是否正在接近或達(dá)到這個(gè)閾值，我們需要對(duì)其進(jìn)行不同類型的、涵蓋人類認(rèn)知廣度的測(cè)量。

但這非常困難，因?yàn)槲覀冇肋h(yuǎn)不會(huì)擁有人們「能做到的事」的完整集合，這個(gè)范圍太過(guò)于龐大而且還在不斷更新。

因此，在判斷是否為AGI時(shí)，如果一個(gè)人工智能系統(tǒng)在所有能提出的人類認(rèn)知任務(wù)上達(dá)到了人類的表現(xiàn)水平，就可以認(rèn)為這就是AGI。

在通常的理解中，可能存在有一些事情是人類可以做到但機(jī)器做不到的。但當(dāng)我們窮盡各種嘗試也找不到這樣的「事情」后，人類就擁有了通用人工智能。

但在實(shí)際的測(cè)量中我們?nèi)圆荒芴岢霭祟惾空J(rèn)知水平的任務(wù)，如著名的基準(zhǔn)測(cè)試：測(cè)量大規(guī)模多任務(wù)語(yǔ)言理解（Measuring Massive Multitask Language Understanding，MMLU）盡管包含了多項(xiàng)人類知識(shí)領(lǐng)域，但缺少語(yǔ)言模型對(duì)流視頻的理解。

此類任務(wù)的缺失也指出了一個(gè)問(wèn)題：現(xiàn)在的語(yǔ)言模型不像人類擁有情景記憶。

我們的記憶包括工作記憶，即最近發(fā)生的事情；皮層記憶存在于大腦皮層中。在工作記憶到皮層記憶之間還有一個(gè)系統(tǒng)，即情景記憶，由海馬體負(fù)責(zé)。

情景記憶主要用于快速學(xué)習(xí)和記住特定的事件或信息，它允許我們?cè)诓煌瑫r(shí)間點(diǎn)回想起過(guò)去發(fā)生的事情，就像你可以回憶起畢業(yè)典禮的場(chǎng)景，包括穿著學(xué)士袍的樣子、畢業(yè)帽的顏色、畢業(yè)典禮演講者的言辭，以及與同學(xué)們一起慶祝的情景。

情節(jié)記憶在幫助我們建立個(gè)人經(jīng)歷和學(xué)習(xí)新信息方面起著重要作用。

但模型并不具備這樣的功能，只是通過(guò)增加上下文窗口的長(zhǎng)度（更像是工作記憶）來(lái)彌補(bǔ)模型記憶的缺陷。

從另一種角度來(lái)說(shuō)，情景記憶幫助人類擁有非常高的樣本效率，可以從較少的樣本中學(xué)到更多的信息。

對(duì)于大型語(yǔ)言模型而言，它們也可以在上下文窗口中利用信息，以實(shí)現(xiàn)某種程度的樣本效率，但這與人類的學(xué)習(xí)方式略有不同。

模型能夠在它們的上下文窗口中迅速學(xué)習(xí)信息，這是一種快速的、局部的學(xué)習(xí)過(guò)程，可以幫助它們?cè)谔囟ㄉ舷挛闹羞m應(yīng)。

但在實(shí)際的模型訓(xùn)練時(shí)，它們會(huì)經(jīng)歷一個(gè)更長(zhǎng)的過(guò)程，處理數(shù)萬(wàn)億個(gè)標(biāo)記的數(shù)據(jù)，以更全面地學(xué)習(xí)語(yǔ)言的結(jié)構(gòu)和規(guī)律。

而這兩個(gè)階段之間可能會(huì)存在某些學(xué)習(xí)機(jī)制或過(guò)程的缺失，這可能導(dǎo)致模型在某些情況下無(wú)法很好地理解或處理信息。

但Shane Legg并不認(rèn)為模型不具備情景記憶會(huì)是一種基礎(chǔ)限制。

相較于過(guò)去，大型語(yǔ)言模型發(fā)生了根本性的變化?，F(xiàn)在，我們知道如何構(gòu)建具有一定理解程度的模型，擁有可擴(kuò)展的方法來(lái)實(shí)現(xiàn)這一點(diǎn)，從而為解鎖許多全新的可能性打開(kāi)了大門。

「現(xiàn)在我們有相對(duì)清晰的前進(jìn)路徑，可以解決現(xiàn)有模型中大部分不足之處，無(wú)論是關(guān)于妄想、事實(shí)性、它們所具備的記憶和學(xué)習(xí)方式，還是理解視頻等各種各樣的事情。

我們只需要更多的研究和工作，所有這些問(wèn)題都將得到改善，或迎刃而解。」

回到一開(kāi)始的問(wèn)題：如何衡量人工智能何時(shí)達(dá)到或超越人類水平？

Shane Legg表示，「這不是一個(gè)單一的因素就可以解決的，而這就是問(wèn)題的本質(zhì)。

因?yàn)樗婕暗搅送ㄓ弥悄?。我們必須確保它可以完成很多不同的任務(wù)，并且不會(huì)出現(xiàn)哪怕一個(gè)漏洞?！?/span>

我們已經(jīng)擁有可以在某些領(lǐng)域表現(xiàn)非常令人印象深刻，甚至超越人類水平的系統(tǒng)。

Shane Legg表示，他想要一整套非常全面的測(cè)試，當(dāng)有人想要用對(duì)抗的方式提出機(jī)器無(wú)法做到、人類卻能做到的事，在這些人無(wú)法成功時(shí)我們就到達(dá)了AGI。

在DeepMind的早期研究中，很多任務(wù)都涉及到了人工智能在開(kāi)放環(huán)境中的操作。

這符合Shane Legg試圖提出的對(duì)智力的定義和測(cè)量，即能夠在不同的領(lǐng)域和不同的任務(wù)中表現(xiàn)良好。

這與模型性能的能力和性能的廣度有關(guān)。

在評(píng)估智能時(shí)，存在一種框架能夠根據(jù)任務(wù)和環(huán)境的復(fù)雜性進(jìn)行加權(quán)。

這種權(quán)衡有點(diǎn)像奧卡姆剃刀原理，傾向于加權(quán)那些更簡(jiǎn)單、更重要的任務(wù)和環(huán)境。

柯?tīng)柲缏宸驈?fù)雜度（Kolmogorov complexity ）中，存在一個(gè)自由參數(shù)，即參考機(jī)器（reference machine）。

參考機(jī)器的選擇可以影響智能度量的結(jié)果，它可以改變不同任務(wù)和環(huán)境在度量中的權(quán)重和分布。

但選擇合適的參考機(jī)器仍然是一個(gè)未解決的問(wèn)題，因?yàn)闆](méi)有一種通用的參考機(jī)器，通常情況下，人們會(huì)使用圖靈機(jī)作為參考。

Shane Legg認(rèn)為，解決這個(gè)問(wèn)題最自然的做法是思考對(duì)人類而言智能的含義。

人類智能在我們生活的環(huán)境中意義重大，它確實(shí)存在、并對(duì)世界產(chǎn)生了深遠(yuǎn)的影響，具有強(qiáng)大的力量。

如果AI能夠達(dá)到人類水平的智能，這將在經(jīng)濟(jì)和哲學(xué)層面產(chǎn)生重要的影響，如改變經(jīng)濟(jì)結(jié)構(gòu)，并涉及到我們對(duì)智能的哲學(xué)理解。

而從歷史角度來(lái)看，這也是一個(gè)重要的轉(zhuǎn)折點(diǎn)。

因此，以人類智能作為參考機(jī)器的選擇在多個(gè)方面都具有合理性。

另一個(gè)原因則是純粹的科爾莫哥洛夫復(fù)雜性定義實(shí)際上是不可計(jì)算的。

我們需要新的AI架構(gòu)嗎？

關(guān)于AI的情境記憶的缺陷問(wèn)題，Shane Legg認(rèn)為這涉及到了模型的架構(gòu)問(wèn)題。

當(dāng)前的LLMs架構(gòu)主要依賴于上下文窗口和權(quán)重，但這不足以滿足復(fù)雜的認(rèn)知任務(wù)。

大腦在處理情景記憶時(shí)采用了不同的機(jī)制，可以快速學(xué)習(xí)特定信息，這與緩慢學(xué)習(xí)深層次的通用性概念不同。

然而，一個(gè)綜合的智能系統(tǒng)應(yīng)該能夠同時(shí)處理這兩種任務(wù)，因此我們需要對(duì)架構(gòu)進(jìn)行改進(jìn)。

以人類智能作為參考機(jī)器觀點(diǎn)出自于Shane Legg2008年的論文。

他在當(dāng)時(shí)提出了一種用于衡量智能的方法，即壓縮測(cè)試（compression test），它涉及填充文本樣本中的單詞以衡量智能。

這種方法與當(dāng)前LLMs的訓(xùn)練方式非常吻合，即基于大量數(shù)據(jù)進(jìn)行序列預(yù)測(cè)。

這涉及到Marcus Hutter的AIXI理論以及Solomonoff歸納。

Solomonoff歸納是一種理論上非常優(yōu)雅且樣本效率極高的預(yù)測(cè)系統(tǒng)，雖然它無(wú)法在實(shí)際計(jì)算中應(yīng)用。

但Shane Legg表示，使用Solomonoff歸納作為基礎(chǔ)，就可以構(gòu)建一個(gè)通用代理，并通過(guò)添加搜索和強(qiáng)化信號(hào)來(lái)使其成為通用人工智能，這就是AIXI的原理。

如果我們擁有一個(gè)出色的序列預(yù)測(cè)器，或者是Solomonoff歸納的某種近似，那么，從這一點(diǎn)出發(fā)構(gòu)建一個(gè)非常強(qiáng)大、通用的AGI系統(tǒng)只是另一個(gè)步驟。

Shane Legg說(shuō)，這正是我們今天所看到的情況：

這些極其強(qiáng)大的基礎(chǔ)模型實(shí)際上是非常出色的序列預(yù)測(cè)器，它們根據(jù)所有這些數(shù)據(jù)對(duì)世界進(jìn)行了壓縮。

然后我們將能夠以不同的方式擴(kuò)展這些模型，并構(gòu)建非常強(qiáng)大的代理。

DeepMind的「超級(jí)對(duì)齊」

「對(duì)齊」（Alignment）指的是確保AI系統(tǒng)或通用人工智能（AGI）系統(tǒng)的目標(biāo)、行為和決策與人類價(jià)值觀、倫理準(zhǔn)則和目標(biāo)一致的過(guò)程。

這是為了防止AI系統(tǒng)出現(xiàn)不符合人類價(jià)值觀或可能帶來(lái)危險(xiǎn)的行為，并確保它們?cè)谔幚韨惱韱?wèn)題時(shí)能夠做出符合道德的決策。

DeepMind在當(dāng)下流行的強(qiáng)化學(xué)習(xí)和自博弈，如如 Constitution AI 或 RLHF方面，已有數(shù)十年的深耕。

在解決具有人類智能水平的模型安全問(wèn)題上，DeepMind持續(xù)做著努力：

模型可解釋性、過(guò)程監(jiān)督、紅隊(duì)、評(píng)估模型危險(xiǎn)等級(jí)，以及與機(jī)構(gòu)和政府聯(lián)手開(kāi)展工作......

而Shane Legg認(rèn)為，當(dāng)AGI水平的系統(tǒng)出現(xiàn)時(shí)，試圖限制或遏制其發(fā)展不是一個(gè)好的選擇。

我們要做的是調(diào)整這個(gè)模型，使其與人類的倫理價(jià)值高度一致，從一開(kāi)始就具備高度道德倫理性。

這需要系統(tǒng)能夠進(jìn)行深入的世界理解，良好的道德倫理理解，以及穩(wěn)健且可靠的推理能力。

可靠的AGI不應(yīng)該像當(dāng)前的基礎(chǔ)模型那樣僅僅輸出「第一反應(yīng)」，而應(yīng)該具備「第二系統(tǒng)」的能力，進(jìn)行深入的推理和道德分析。

Shane Legg提到，要確保AGI系統(tǒng)遵循人類倫理準(zhǔn)則首先應(yīng)該對(duì)系統(tǒng)進(jìn)行廣泛的倫理培訓(xùn)，確保其對(duì)人類倫理有很好的理解。

在這個(gè)過(guò)程中，社會(huì)學(xué)家和倫理學(xué)家等各方需要共同決定系統(tǒng)應(yīng)該遵循的倫理原則和價(jià)值觀。

并且，系統(tǒng)需要被工程化，以確保其在每次決策時(shí)都會(huì)使用深刻的世界理解和倫理理解進(jìn)行倫理分析。

此外，我們也需要不斷對(duì)系統(tǒng)的決策過(guò)程和推理過(guò)程進(jìn)行審核，以確保其正確地進(jìn)行了倫理推理。

但要確保系統(tǒng)遵循倫理原則，審核同樣重要。

我們需要向系統(tǒng)明確指定應(yīng)該遵循的倫理原則，并通過(guò)對(duì)其進(jìn)行審核來(lái)確保系統(tǒng)始終如一地遵循這些原則，至少與一組人類專家一樣好。

此外，也要警惕強(qiáng)化學(xué)習(xí)可能帶來(lái)的潛在危險(xiǎn)，因?yàn)檫^(guò)度強(qiáng)化可能導(dǎo)致系統(tǒng)學(xué)習(xí)欺騙性行為。

對(duì)是否需要建立一種框架，以在系統(tǒng)達(dá)到一定能力水平時(shí)制定具體的安全標(biāo)準(zhǔn)這個(gè)問(wèn)題上，Shane Legg認(rèn)為這是意義的，但也相當(dāng)困難。

因?yàn)橹贫ㄒ粋€(gè)具體標(biāo)準(zhǔn)，本身就是一個(gè)具有挑戰(zhàn)性的任務(wù)。

安全還是性能？

在DeepMind創(chuàng)立之前，Shane Legg就一直擔(dān)心AGI的安全性。

但在早期，聘請(qǐng)專業(yè)人員從事通用人工智能安全工作是一項(xiàng)艱難的挑戰(zhàn)。

即使曾在這個(gè)領(lǐng)域發(fā)布過(guò)AGI安全性研究論文，他們也不愿意全職從事這項(xiàng)工作，因?yàn)樗麄儞?dān)心這可能會(huì)對(duì)他們的職業(yè)生涯產(chǎn)生影響。

而DeepMind一直在這個(gè)領(lǐng)域積極開(kāi)展研究，并多次強(qiáng)調(diào)了AGI安全性的重要性。

關(guān)于DeepMind對(duì)AI進(jìn)展的影響，Shane Legg表示，DeepMind是第一家專注于AGI的公司，一直擁有AGI安全性團(tuán)隊(duì)，同時(shí)多年來(lái)發(fā)表了許多關(guān)于AGI安全性的論文。

這些工作提高了AGI安全性領(lǐng)域的可信度，而在不久之前，AGI還是一個(gè)較為邊緣的術(shù)語(yǔ)。

Shane Legg承認(rèn)，DeepMind在某種程度上加速了AI的能力發(fā)展，但也存在一些問(wèn)題，例如模型幻覺(jué)。

但另一方面，DeepMind的AlphaGo項(xiàng)目確實(shí)改變了一些人的看法。

然而，Shane Legg指出AI領(lǐng)域的發(fā)展不僅僅取決于DeepMind，其他重要的公司和機(jī)構(gòu)的參與也至關(guān)重要。

Shane Legg認(rèn)為盡管DeepMind可能加速了某些方面的進(jìn)展，但很多想法和創(chuàng)新通常在學(xué)術(shù)界和工業(yè)界之間自然傳播，因此很難確定DeepMind的影響程度。

但在關(guān)于AGI安全性的問(wèn)題上，Shane Legg沒(méi)有選擇最樂(lè)觀的研究方向，而是提到了一種名為「Deliberative Dialogue」的決策方法。

它旨在通過(guò)辯論來(lái)評(píng)估代理可以采取的行動(dòng)或某些問(wèn)題的正確答案。

這種方法可以將對(duì)齊擴(kuò)展到更強(qiáng)大的系統(tǒng)中。

AGI來(lái)臨的時(shí)間點(diǎn)

2011年，Shane Legg在自己的一篇博客文章中對(duì)通用人工智能（AGI）到來(lái)的時(shí)間點(diǎn)進(jìn)行了預(yù)測(cè)：

「我之前對(duì)AGI何時(shí)到來(lái)做一個(gè)對(duì)數(shù)正態(tài)分布的預(yù)測(cè)，其中2028年是均值，2025年是眾數(shù)。我現(xiàn)在依然保持我的觀點(diǎn)，但前提是不發(fā)生核戰(zhàn)這類瘋狂的事件。」

Shane Legg解釋了他的預(yù)測(cè)基于兩個(gè)重要觀點(diǎn)：

首先，機(jī)器的計(jì)算能力將在未來(lái)幾十年內(nèi)呈指數(shù)增長(zhǎng)，同時(shí)全球數(shù)據(jù)量也將呈指數(shù)增長(zhǎng)。

當(dāng)計(jì)算和數(shù)據(jù)量都呈指數(shù)增長(zhǎng)時(shí)，高度可擴(kuò)展算法的價(jià)值會(huì)不斷提高，因?yàn)檫@些算法可以更有效地利用計(jì)算和數(shù)據(jù)。

其次，通過(guò)可擴(kuò)展算法的發(fā)現(xiàn)、模型的訓(xùn)練，未來(lái)模型的數(shù)據(jù)規(guī)模將遠(yuǎn)遠(yuǎn)超過(guò)人類一生中所經(jīng)歷的數(shù)據(jù)量。

Shane Legg認(rèn)為這將是解鎖AGI的第一步。因此，他認(rèn)為在2028年之前有50%的機(jī)會(huì)實(shí)現(xiàn)AGI。但那時(shí)人們也可能遇到現(xiàn)在預(yù)期之外的問(wèn)題。

但在Shane Legg看來(lái)，目前我們遇到的所有問(wèn)題都有望在未來(lái)幾年內(nèi)得到解決。

我們現(xiàn)有的模型將變得更完善，更真實(shí)，更及時(shí)。

多模態(tài)將會(huì)是模型的未來(lái)，這將使它們變得更加有用。

但就像硬幣的兩面，模型也可能會(huì)出現(xiàn)被濫用的情形。

多模態(tài)未來(lái)

最后，Shane Legg提到了下一個(gè)AI領(lǐng)域的里程碑將會(huì)是多模態(tài)模型。

多模態(tài)技術(shù)將會(huì)把語(yǔ)言模型所具備的理解能力擴(kuò)大到更廣泛的領(lǐng)域中。

當(dāng)未來(lái)的人們回想起我們現(xiàn)在擁有的模型，他們可能會(huì)想：「天哪，以前的模型只能算是個(gè)聊天對(duì)話框，它們只能處理文本?！?/span>

而多模態(tài)模型可以理解圖像、視頻、聲音，當(dāng)我們和它們進(jìn)行交流時(shí)，多模態(tài)模型將更了解發(fā)生了什么。

這種感覺(jué)就像是系統(tǒng)真的嵌入到了真實(shí)的世界中。

當(dāng)模型開(kāi)始處理大量視頻和其他內(nèi)容時(shí)，它們將會(huì)對(duì)世界有一個(gè)更為根本的理解，以及其他各種隱含的知識(shí)。