谷歌在2月之后突然切換到了996模式，不到一個(gè)月的時(shí)間拋出了5個(gè)模型。

而DeepMind CEO Hassabis本人也是四處為自家的產(chǎn)品站臺(tái)，曝出了很多幕后的開發(fā)內(nèi)幕。

在他看來，雖然還需要技術(shù)突破，但是現(xiàn)在人類通往AGI之路已經(jīng)出現(xiàn)。

而DeepMind和谷歌Brain的合并，標(biāo)志著AI技術(shù)發(fā)展已經(jīng)進(jìn)入了新的時(shí)代。

問：DeepMind一直站在技術(shù)的前沿。比如像AlphaZero這樣系統(tǒng)，內(nèi)部的智能體能夠經(jīng)過一系列思考，達(dá)成最終目標(biāo)。這是否意味著大型語言模型（LLM）也能夠加入這種研究的行列呢？

Hassabis：我個(gè)人認(rèn)為，這是一個(gè)非常有潛力的方向。我們需要繼續(xù)完善這些大型模型，讓它們成為更精確的世界預(yù)測(cè)器，從而構(gòu)建出更可靠的世界模型。這是必要的，但可能還不足以構(gòu)成一個(gè)通用人工智能（AGI）系統(tǒng)的全部。

在此基礎(chǔ)上，我們正在開發(fā)類似AlphaZero的規(guī)劃機(jī)制，通過世界模型來制定實(shí)現(xiàn)具體世界目標(biāo)的計(jì)劃。

這包括將不同的思維或推理鏈條串聯(lián)起來，或者利用樹搜索來探索廣闊的可能性空間。

這些都是目前我們的大型模型所缺失的環(huán)節(jié)。

問：從純粹的強(qiáng)化學(xué)習(xí)（RL）方法出發(fā)，是否有可能直接邁向 AGI 呢？

看來，大型語言模型會(huì)構(gòu)成基礎(chǔ)先驗(yàn)知識(shí)，然后在此基礎(chǔ)上進(jìn)行進(jìn)一步研究。

理論上，完全采用開發(fā)AlphaZero的方式是有可能的。

DeepMind和RL社區(qū)的一些人正在致力于這一方向，他們從零開始，不依賴任何先驗(yàn)知識(shí)或數(shù)據(jù)，完全構(gòu)建新的知識(shí)體系。

我認(rèn)為，利用現(xiàn)有的世界知識(shí)——例如網(wǎng)絡(luò)上的信息和我們已經(jīng)收集的數(shù)據(jù)——將是實(shí)現(xiàn)AGI的最快途徑。

我們現(xiàn)在已經(jīng)有了能吸收這些信息的可擴(kuò)展算法——Transformers，我們完全可以利用這些已有的模型作為先驗(yàn)知識(shí)來進(jìn)行預(yù)測(cè)和學(xué)習(xí)。

因此，我認(rèn)為，最終的AGI系統(tǒng)一定將包括現(xiàn)在的大模型作為解決方案的一部分。

但光有大模型還不足夠，我們還需要在其上加入更多的規(guī)劃和搜索的能力。

問：面對(duì)這些方法所需的巨大計(jì)算資源，我們?cè)鯓硬拍芡黄颇兀?/span>

即使是AlphaGo這樣的系統(tǒng)，由于需要在決策樹的每個(gè)節(jié)點(diǎn)上進(jìn)行計(jì)算，也是相當(dāng)昂貴的。

我們致力于開發(fā)樣本高效的方法和重復(fù)利用現(xiàn)有數(shù)據(jù)的策略，例如經(jīng)驗(yàn)回放（experience replay），以及探索更高效的方法。

實(shí)際上，如果世界模型足夠好，你的搜索就可以更高效。

以Alpha Zero為例，它在圍棋和象棋等游戲中的表現(xiàn)超過了世界冠軍水平，但其搜索的范圍遠(yuǎn)小于傳統(tǒng)的暴力搜索方法。

這表明，改進(jìn)模型可以使搜索更高效，從而達(dá)到更遠(yuǎn)的目標(biāo)。

但在定義獎(jiǎng)勵(lì)函數(shù)和目標(biāo)時(shí)，如何確保系統(tǒng)朝著正確的方向發(fā)展，將是我們面臨的挑戰(zhàn)之一。

谷歌為什么半個(gè)月能出5個(gè)模型？

問：你能談?wù)劄槭裁碐oogle和DeepMind同時(shí)研究這么多不同的模型嗎？

因?yàn)槲覀円恢痹谶M(jìn)行基礎(chǔ)研究，我們有大量的基礎(chǔ)研究工作，涵蓋各種不同的創(chuàng)新和方向。

這意味著，我們同時(shí)在構(gòu)建主要的模型軌道——核心Gemini模型，同時(shí)也有許多更具探索性的項(xiàng)目正在進(jìn)行。

當(dāng)這些探索項(xiàng)目取得一些成果時(shí)，我們會(huì)將其融入主分支，進(jìn)入下一版本的 Gemini，這就是為什么你會(huì)看到1.5緊隨1.0之后發(fā)布，因?yàn)槲覀円呀?jīng)在研究下一個(gè)版本了，因?yàn)槲覀冇卸鄠€(gè)團(tuán)隊(duì)在不同的時(shí)間尺度上工作，相互之間進(jìn)行循環(huán)，這就是我們能夠持續(xù)進(jìn)步的方式。

我希望這將成為我們的新常態(tài)，以這種高速度發(fā)布產(chǎn)品，當(dāng)然，同時(shí)還要非常負(fù)責(zé)任，牢記發(fā)布安全的模型是我們的第一要?jiǎng)?wù)。

問：我想問的是你們最近的一次重大發(fā)布，即Gemini 1.5 Pro，你們的新 Gemini Pro 1.5模型可以處理高達(dá)一百萬個(gè)token。你能解釋一下這意味著什么以及為什么上下文窗口是一個(gè)很重要的技術(shù)指標(biāo)嗎？

是的，這非常重要。長上下文可以被視為模型的工作記憶，即它一次可以記住并處理多少數(shù)據(jù)。

你擁有的上下文越長，它的準(zhǔn)確性也很重要，從長上下文中回憶事物的精確度也同樣重要，你就可以考慮到更多的數(shù)據(jù)和上下文。

因此，一百萬意味著你可以處理巨大的書籍、完整的電影、大量的音頻內(nèi)容，比如完整的代碼庫。

如果你有一個(gè)更短的上下文窗口，比如只有十萬這個(gè)級(jí)別，那么你只能處理其中的片段，模型就無法對(duì)你感興趣的整個(gè)語料庫進(jìn)行推理或檢索。

因此，這實(shí)際上為所有類型的新用例提供了可能性，這些是小上下文無法完成的。

問：我從人工智能研究人員那里聽說，這些大上下文窗口的問題是它們非常消耗計(jì)算資源。比如，如果你上傳了一整部電影或一本生物學(xué)教科書，并詢問關(guān)于它的問題，就需要更多的處理能力來處理所有這些并做出回應(yīng)。如果很多人都這樣做，成本會(huì)很快增加。Google DeepMind是否提出了一些巧妙的創(chuàng)新來使這些巨大的上下文窗口更高效，還是Google只是承擔(dān)了所有這些額外計(jì)算的成本？

是的，這是一個(gè)全新的創(chuàng)新，因?yàn)槿绻麤]有創(chuàng)新，你無法擁有這么長的上下文。

但這仍然需要花很高昂的計(jì)算成本，所以我們正在努力優(yōu)化。

如果你用滿了整個(gè)上下文窗口的話。上傳數(shù)據(jù)的初始處理可能需要幾分鐘。

但如果你考慮到這就像是在一兩分鐘內(nèi)觀看整部電影或閱讀整部《戰(zhàn)爭與和平》，那么這還不算太壞，然后你就能回答任何關(guān)于它的問題了。

然后我們想確保的是，一旦你上傳并處理了文檔、視頻或音頻，那么隨后的問題和回答應(yīng)該更快。

這就是我們目前正在努力的方向，我們非常有信心能將其縮短到幾秒鐘的時(shí)間內(nèi)。

問：你說你們已經(jīng)測(cè)試了高達(dá)一千萬token的系統(tǒng)了，效果如何？

在我們的測(cè)試中效果非常好。因?yàn)橛?jì)算成本還比較高，目前還不實(shí)際提供服務(wù)。

但在精確度和回憶方面，它的表現(xiàn)非常出色。

問：我想問你關(guān)于Gemini的問題，Gemini能做什么特別的事情，之前的Google語言模型或其他模型做不到的？

嗯，我認(rèn)為Gemini，尤其是1.5版本的激動(dòng)人心之處在于其天生的多模態(tài)特性，我們從頭開始構(gòu)建它，使其能夠處理任何類型的輸入：文本、圖像、代碼、視頻。

如果你結(jié)合長上下文，你就會(huì)看到它的潛力。比如，你可以想象你在聽一整場(chǎng)講座，或者有一個(gè)重要的概念你想了解，你想快進(jìn)到那里。

所以現(xiàn)在我們可以將整個(gè)代碼庫放入上下文窗口中，這對(duì)于新程序員的入門非常有用。假設(shè)你是星期一開始上班的新工程師，通常你需要去查閱數(shù)以十萬計(jì)的代碼行，你如何訪問某個(gè)函數(shù)？

你需要去詢問代碼庫的專家。但現(xiàn)在實(shí)際上你可以使用Gemini作為編碼助手，以這種有趣的方式。它會(huì)返回一些摘要，告訴你代碼的重要部分在哪里，你就可以開始工作了。

我認(rèn)為擁有這種能力非常有幫助，使你的日常工作流程更加高效。

我非常期待看到Gemini在像slack這樣的東西中被整合進(jìn)去后的表現(xiàn)，以及你的一般工作流程。未來的工作流程是什么樣的？我認(rèn)為我們才剛剛開始體會(huì)到變化。

谷歌開源的首要任務(wù)是保證安全

問：我現(xiàn)在想轉(zhuǎn)向 Gemma，你們剛剛發(fā)布的一系列輕量級(jí)開源模型。今天，是否通過開源發(fā)布基礎(chǔ)模型，或者將它們保持封閉，似乎是最具爭議的話題之一。到目前為止，Google一直將其基礎(chǔ)模型保持為封閉源。為什么現(xiàn)在選擇開源？你如何看待這樣一種批評(píng)，即通過開源使基礎(chǔ)模型可用，增加了它們被惡意行為者使用的風(fēng)險(xiǎn)和可能性？

是的，我實(shí)際上公開討論了這個(gè)問題很多次。

其中一個(gè)主要擔(dān)憂是，通常來說，開源和開放研究顯然是有益的。但這里有一個(gè)特定的問題，那就是與AGI和AI技術(shù)相關(guān)的問題，因?yàn)樗鼈兪峭ㄓ玫摹?/span>

一旦你發(fā)布了它們，惡意行為者就可能將它們用于有害的目的。

當(dāng)然，一旦你開源了某樣?xùn)|西，你就沒有真正的辦法再收回來了，不像API訪問之類的，如果發(fā)現(xiàn)下游有之前沒人考慮到的有害用例，你可以直接切斷訪問。

我認(rèn)為這意味著對(duì)于安全性、魯棒性和負(fù)責(zé)任性的門檻甚至更高。隨著我們接近 AGI，它們將擁有更強(qiáng)大的能力，所以我們必須更加小心，考慮它們可能被惡意行為者用于什么。

我還沒有從那些支持開源的人那里聽到一個(gè)好的論點(diǎn)，比如開源的極端主義者，他們中有很多是我在學(xué)術(shù)界尊敬的同事，他們?nèi)绾位卮疬@個(gè)問題，——符合防范開源模型對(duì)于會(huì)讓更多的惡意行為者的訪問模型的問題？

我們需要更多地考慮這些問題，因?yàn)檫@些系統(tǒng)變得越來越強(qiáng)大。

問：那么，為什么Gemma沒有讓你擔(dān)憂這個(gè)問題呢？

是的，當(dāng)然，因?yàn)槟銜?huì)注意到，Gemma只提供輕量級(jí)版本，所以它們相對(duì)較小。

實(shí)際上，較小的尺寸對(duì)開發(fā)者更有用，因?yàn)橥ǔ€(gè)人開發(fā)者、學(xué)者或小團(tuán)隊(duì)希望在他們的筆記本電腦上快速工作，所以它們?yōu)榇诉M(jìn)行了優(yōu)化。

因?yàn)樗鼈儾皇乔把啬Ｐ停鼈兪切⌒湍Ｐ?，我們覺得放心，因?yàn)檫@些模型的能力經(jīng)過了嚴(yán)格的測(cè)試，我們非常清楚它們的能力，這種尺寸的模型沒有大風(fēng)險(xiǎn)。

DeepMind為什么要和Google Brain合并

問：去年，當(dāng)Google Brain和DeepMind合并時(shí)，我在 AI 行業(yè)中認(rèn)識(shí)的一些人感到擔(dān)憂。他們擔(dān)心，Google歷來給 DeepMind相當(dāng)大的自由度，讓它工作在它認(rèn)為重要的各種研究項(xiàng)目上。

而隨著合并，DeepMind的可能會(huì)不得不被轉(zhuǎn)向到對(duì)Google短期內(nèi)有益的事情，而不是這些較長期的基礎(chǔ)研究項(xiàng)目。自從合并以來，已經(jīng)一年了，對(duì) Google 的短期利益和可能的長期 AI 進(jìn)步之間的這種緊張關(guān)系是否改變了你可以工作的內(nèi)容？

是的，你所提到的這第一年一切都非常好。一個(gè)原因是，我們認(rèn)為現(xiàn)在是合適的時(shí)機(jī)，而且我從研究者的角度認(rèn)為是時(shí)候了。

也許讓我們回溯五年或六年，當(dāng)我們做像AlphaGo這樣的事情時(shí)，在AI領(lǐng)域，我們一直在探索性地研究如何達(dá)到 AGI，需要什么突破，應(yīng)該押注什么，以及在那種情況下，你想做一系列廣泛的事情，所以我認(rèn)為那是一個(gè)非常探索性的階段。

我認(rèn)為在過去的兩三年里，AGI的主要組成部分將是什么已經(jīng)變得清晰，正如我之前提到的，雖然我們?nèi)匀恍枰碌膭?chuàng)新。

我認(rèn)為你剛剛看到了Gemini1.5的長上下文，我認(rèn)為還有很多類似的新創(chuàng)新將是必需的，所以基礎(chǔ)研究仍然像以往一樣重要。

但現(xiàn)在還需要在工程方向努力，即擴(kuò)大和利用已知技術(shù)，并將其推向極限，需要在規(guī)模上進(jìn)行非常有創(chuàng)造性的工程，從原型機(jī)級(jí)別的硬件到數(shù)據(jù)中心規(guī)模，以及涉及到的效率問題。

還有一個(gè)原因是，如果在五六年前制造一些AI驅(qū)動(dòng)的產(chǎn)品，將不得不構(gòu)建與AGI研究軌道完全不同的AI。

只能為特定產(chǎn)品做特殊場(chǎng)景下的任務(wù)，屬于一種定制的AI，「手工制作的AI」。

但今天情況不一樣了，為產(chǎn)品做AI，現(xiàn)在最好的方式是使用通用AI技術(shù)和系統(tǒng)，因?yàn)樗鼈円呀?jīng)達(dá)到了足夠的復(fù)雜性和能力水平。

所以實(shí)際上這是一個(gè)融合點(diǎn)，所以大家現(xiàn)在可以看到，研究軌道和產(chǎn)品軌道已經(jīng)融合在一起了。

比如我們現(xiàn)在要做一個(gè)AI語音助手，與之相對(duì)的是一個(gè)真正理解語言的聊天機(jī)器人，它們現(xiàn)在是一體的，所以現(xiàn)在不需要考慮那種二分法或者協(xié)調(diào)緊張的關(guān)系了。

第二點(diǎn)個(gè)原因是，研究與現(xiàn)實(shí)應(yīng)用之間有緊密的反饋循環(huán)實(shí)際上對(duì)研究非常有利。

因?yàn)楫a(chǎn)品能讓你真正了解你的模型表現(xiàn)如何的方式，你可以有學(xué)術(shù)指標(biāo)，但真正的測(cè)試是當(dāng)數(shù)百萬用戶使用你的產(chǎn)品時(shí)，他們是否覺得它有用，是否覺得它有幫助，是否對(duì)世界有益。

你顯然會(huì)得到大量的反饋，然后這將導(dǎo)致底層模型的非常快速改進(jìn)，所以我認(rèn)為我們現(xiàn)在正處于這個(gè)非常非常令人興奮的階段。