AlexNet，AlphaGo，GPT、CLIP、DALL-E和Codex，這些在AI界轟動(dòng)一時(shí)的杰作，對(duì)于任何一個(gè)AI領(lǐng)域的研究者來(lái)說(shuō)，主導(dǎo)或參與上述任何一項(xiàng)項(xiàng)目都無(wú)疑可以成就一段輝煌的職業(yè)生涯，但是，偏偏就有人就能集齊這大龍珠。

更讓人感到絕望的是，這個(gè)人的成就還不止于此。在他2012年博士畢業(yè)后的十年里，他的論文被引次數(shù)超過(guò)25萬(wàn)次，在AI學(xué)術(shù)界有著巨大影響力。此人就是OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever。

（從左至右依次為Ilya Sutskever, Alex Krizhevsky, Geoffrey Hinton）

在多倫多大學(xué)讀本科時(shí)，深度學(xué)習(xí)三巨頭之一的Geoffrey Hinton就成了他的導(dǎo)師，當(dāng)時(shí)這個(gè)領(lǐng)域一片荒蕪，但他的學(xué)習(xí)動(dòng)機(jī)非常明確，就是要對(duì)AI做出哪怕非常小但有意義的貢獻(xiàn)。Hinton一開(kāi)始給Sutskever的研究項(xiàng)目是改進(jìn)隨機(jī)鄰居嵌入算法，后者的出色表現(xiàn)給Hinton留下了深刻印象。

2012年，在多倫多大學(xué)讀博期間，在Hinton的指導(dǎo)下，他和博士生同學(xué)Alex Krizhevsky設(shè)計(jì)了AlexNet，并在當(dāng)年的ImageNet大賽上一舉奪魁。AlexNet的出現(xiàn)使得深度學(xué)習(xí)大放異彩，并讓AI在過(guò)去10年里得到突飛猛進(jìn)的發(fā)展。

博士畢業(yè)后，他加入了Hinton的新研究公司DNNResearch，2013年3月，這家只有三個(gè)人的創(chuàng)業(yè)公司被谷歌收購(gòu)，Sutskever擔(dān)任Google Brain的研究科學(xué)家。

期間，他與谷歌研究員Oriol Vinyals和Quoc Le提出了Seq2seq學(xué)習(xí)，開(kāi)啟了RNN廣泛應(yīng)用于語(yǔ)言任務(wù)的時(shí)代。他還參與開(kāi)發(fā)了機(jī)器學(xué)習(xí)框架TensorFlow，用于大規(guī)模機(jī)器學(xué)習(xí)。更重要的是，他還參與研發(fā)了DeepMind的AlphaGo，該系統(tǒng)基于深度神經(jīng)網(wǎng)絡(luò)和蒙特卡羅樹(shù)搜索方面進(jìn)行訓(xùn)練，并使用強(qiáng)化學(xué)習(xí)算法自學(xué)習(xí)，他也是AlphaGo論文的作者之一。

2015年7月，Sutskever參加了一場(chǎng)有Sam Altman（Y Combinator前總裁）、Elon Musk和Greg Brockman（現(xiàn)OpenAI首席技術(shù)官）的飯局，他們一致決定要成立一個(gè)“工程型的AI實(shí)驗(yàn)室”。同年末，Sutskever與Greg Brockman共同創(chuàng)立OpenAI，致力于創(chuàng)造出通用人工智能，并獲得了Elon Musk，Sam Altman和LinkedIn創(chuàng)始人Reid Hoffman等人的私人投資，在6年時(shí)間里，他們?nèi)缃耖_(kāi)發(fā)出了GPT、CLIP、DALL-E和Codex等震動(dòng)業(yè)界的AI項(xiàng)目。

作為一個(gè)AI前沿領(lǐng)域的探索者，縱覽其職業(yè)生涯，Sutskever的每一次轉(zhuǎn)向似乎都能恰到好處地挖到黃金。

那么，他對(duì)AI發(fā)展的敏銳度來(lái)自何處，又如何看待未來(lái)神經(jīng)網(wǎng)絡(luò)、AI的發(fā)展機(jī)遇？在Pieter Abbeel主持的The Robot Brains Podcast節(jié)目中，Ilya Sutskever分享了他在多倫多大學(xué)、谷歌、OpenAI等經(jīng)歷的研究往事，在深度學(xué)習(xí)崛起十年之際，我們將了解到這個(gè)AI革新者和引領(lǐng)者背后的思考和分析。

以下為對(duì)話內(nèi)容，OneFlow社區(qū)做了不改變?cè)獾木幾g：

 1 為何決定研究神經(jīng)網(wǎng)絡(luò)

Pieter Ab beel ：很多人認(rèn)為，新一輪AI高潮的到來(lái)是從2012年AlexNet的突破開(kāi)始的，你是促成這一時(shí)刻發(fā)生的人之一。但在那之前，別人都在研究其他各種的計(jì)算機(jī)視覺(jué)方法，你為什么卻在研究應(yīng)用于計(jì)算機(jī)視覺(jué)的神經(jīng)網(wǎng)絡(luò)？

Ilya Sutskever： 這一決定是由過(guò)去幾年一系列認(rèn)識(shí)產(chǎn)生的結(jié)果。 第一個(gè)認(rèn)識(shí)是，James Martens寫(xiě)的一篇名為《通過(guò)Hessian-Free優(yōu)化深度學(xué)習(xí)》的論文第一次證明可以從監(jiān)督數(shù)據(jù)進(jìn)行端到端訓(xùn)練深度網(wǎng)絡(luò)。

但在當(dāng)時(shí)的某些情況下，大家都覺(jué)得無(wú)法訓(xùn)練深度網(wǎng)絡(luò)。反向傳播太弱了，你需要進(jìn)行某種形式的預(yù)訓(xùn)練，然后才可能會(huì)有一些進(jìn)展。而且，即使能進(jìn)行端到端訓(xùn)練，深度網(wǎng)絡(luò)到底能做什么？

當(dāng)然，現(xiàn)在我們提到深度學(xué)習(xí)，就覺(jué)得訓(xùn)練神經(jīng)網(wǎng)絡(luò)是理所當(dāng)然，只需要一個(gè)大型神經(jīng)網(wǎng)絡(luò)，輸入數(shù)據(jù)，然后輸出很不錯(cuò)的結(jié)果。

人們真正關(guān)注的是機(jī)器學(xué)習(xí)模型，他們希望可以有一種算法完美地訓(xùn)練這些模型。但是，如果你把這個(gè)條件強(qiáng)加給自己，并且想找到一個(gè)簡(jiǎn)單優(yōu)雅的數(shù)學(xué)證明時(shí)，這最終會(huì)限制模型能力。

相比之下，神經(jīng)網(wǎng)絡(luò)基本算是小型并行計(jì)算機(jī)，盡管已經(jīng)不算小了。而訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)相當(dāng)于用反向傳播算法給這臺(tái)并行計(jì)算機(jī)進(jìn)行編程。所以當(dāng)我看到Hessian優(yōu)化的結(jié)果后，我真的很高興，這意味著現(xiàn)在可以對(duì)并行計(jì)算機(jī)編程了。你可能覺(jué)得，也許有人會(huì)雄心勃勃地訓(xùn)練這些東西，但顯然基本不可能成功，局部極小值是個(gè)大難題。但現(xiàn)在，你可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)了。

第二個(gè)認(rèn)識(shí)是，人類(lèi)的視覺(jué)速度很快，最快幾百毫秒就能識(shí)別出東西，盡管神經(jīng)元的速度很慢。這意味著甚至不需要那么多的層來(lái)實(shí)現(xiàn)多好的視覺(jué)效果。 如果有一個(gè)相當(dāng)大的神經(jīng)網(wǎng)絡(luò)，那么可以通過(guò)調(diào)參在視覺(jué)應(yīng)用上實(shí)現(xiàn)很好的效果。要是一開(kāi)始就有做訓(xùn)練用的數(shù)據(jù)集就好了。然后ImageNet、GPU出現(xiàn)了，我就想，神經(jīng)網(wǎng)絡(luò)也必然會(huì)出現(xiàn)。

然后某一次我和Alex Krizhevsky聊天，他提到自己的GPU代碼可以訓(xùn)練一個(gè)小的卷積網(wǎng)絡(luò)，在60秒內(nèi)輸出很不錯(cuò)的結(jié)果，我感到很震驚。我想如果在圖像上這么做肯定能成功。所以事情就是這樣發(fā)生的。

Pieter Abbeel：我還記得你第一次告訴我“神經(jīng)網(wǎng)絡(luò)只是一個(gè)計(jì)算機(jī)程序”的情景，這甚至比Andrej Karpathy說(shuō) 軟件2.0是用神經(jīng)網(wǎng)絡(luò)編程 還要早好幾年。但在神經(jīng)網(wǎng)絡(luò)取得成功之前，你就看到了這一點(diǎn)。你什么時(shí)候意識(shí)到神經(jīng)網(wǎng)絡(luò)在ImageNet上更有效？

Ilya Sutskever： 我一直都相信這樣做會(huì)有效。那時(shí)，Alex一直在訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到的結(jié)果越來(lái)越好，每周都有很大進(jìn)步。

但從我的角度來(lái)看，當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)都不夠大，最大的風(fēng)險(xiǎn)是我們是否有能力充分利用GPU來(lái)訓(xùn)練一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)，它應(yīng)該比其他所有的神經(jīng)網(wǎng)絡(luò)都要好。當(dāng)然我們做的遠(yuǎn)遠(yuǎn)不止這些。

我們的計(jì)算機(jī)速度更快，神經(jīng)網(wǎng)絡(luò)也更大，但我們的目標(biāo)是盡可能地利用當(dāng)時(shí)的硬件走得更遠(yuǎn)，這就是風(fēng)險(xiǎn)所在。幸運(yùn)的是，Alex用高度優(yōu)化的CUDA內(nèi)核消除了這個(gè)風(fēng)險(xiǎn)。

Pieter Abbeel：如今我們可以直接在PyTorch或TensorFlow中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，但那時(shí)，你必須自己搭建一些專(zhuān)業(yè)的工具才能正常運(yùn)行。我很好奇，當(dāng)你比其他人更早知道AlexNet的突破發(fā)生后，你在想什么？

Ilya Sutskever： 當(dāng)時(shí)在思考兩件事。首先我相信，我們已經(jīng)證明了神經(jīng)網(wǎng)絡(luò)可以解決人類(lèi)在短時(shí)間內(nèi)可以解決的問(wèn)題，我們已經(jīng)證明了可以用適量的層來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。因此，我認(rèn)為我們可以把神經(jīng)網(wǎng)絡(luò)做得足夠?qū)挘╳ide），但如果想把神經(jīng)網(wǎng)絡(luò)做得很深（deep）卻很難。如何做深還需要大量思考才可能解決。

那么我們能不能找到一些有趣的、不需要太多思考的問(wèn)題？我考慮的實(shí)際是強(qiáng)化學(xué)習(xí)，而語(yǔ)言正是人們可以快速理解的東西，翻譯也是語(yǔ)言領(lǐng)域一個(gè)著重需要解決的問(wèn)題。

另一件事也是關(guān)于AIphaGo系統(tǒng)的，使用卷積網(wǎng)絡(luò)或許會(huì)為當(dāng)時(shí)其他的非神經(jīng)網(wǎng)絡(luò)系統(tǒng)提供非常好的直覺(jué)參考。

Pieter Abbeel：神經(jīng)網(wǎng)絡(luò)如何改變了AlphaGo系統(tǒng)的行為？

Ilya Sutskever： 在深度學(xué)習(xí)之前，任何與AI有關(guān)的東西都會(huì)涉及某種搜索程序或某種硬編碼的啟發(fā)式方法。在這種情況下，真正有經(jīng)驗(yàn)的工程師需要花很多時(shí)間認(rèn)真思考：在什么情況下，他們應(yīng)該繼續(xù)做某事或停止做某事，還是擴(kuò)展資源。他們的所有時(shí)間都花在找啟發(fā)式方法上。

但是神經(jīng)網(wǎng)絡(luò)是形式化的直覺(jué)，會(huì)提供一種專(zhuān)家式的直覺(jué)。我曾經(jīng)了解到，在任何一款游戲中，專(zhuān)業(yè)級(jí)玩家只要觀察一下情況，馬上就能有一種非常強(qiáng)烈的直覺(jué)：不是這么做就是那么做。然后在剩下的時(shí)間里，他就會(huì)考慮是這兩個(gè)選擇里的哪一個(gè)。

如果你相信神經(jīng)網(wǎng)絡(luò)可以完成人類(lèi)短時(shí)間內(nèi)完成的事情，神經(jīng)網(wǎng)絡(luò)就真的能做到。圍棋這樣的游戲就是一個(gè)大的“軟柿子”（soft problem），我們是有能力做到的。

Pieter Abbeel：當(dāng)我第一次聽(tīng)說(shuō)圍棋游戲使用卷積網(wǎng)絡(luò)時(shí)， 我的第一反應(yīng)是，既然卷積以平移不變性而聞名，而圍棋棋盤(pán)上是沒(méi)辦法保證“平移不變”的，因?yàn)橐粋€(gè)特征所處的位置真的很重要。但很明顯，這并沒(méi)有阻止卷積網(wǎng)絡(luò)的成功，而且它掌握了這種特征。

Ilya Sutskever： 這又是并行計(jì)算機(jī)的力量，你能想象編寫(xiě)一個(gè)卷積網(wǎng)絡(luò)來(lái)做正確的事情嗎？這的確不可思議，但這的確是人們信念上的一次飛躍。我最后也間接參與了AlphaGo的論文。我有一個(gè)實(shí)習(xí)生叫Chris Maddison，我們一起想給Go應(yīng)用超級(jí)卷積網(wǎng)絡(luò)。

與此同時(shí)，谷歌收購(gòu)了DeepMind，所有員工都去拜訪過(guò)谷歌。我們與David Silver和Aja Huang（AlphaGo主要作者）進(jìn)行了交談，這是一個(gè)很酷的項(xiàng)目。DeepMind真的付出了很多努力，他們?cè)谶@個(gè)項(xiàng)目上執(zhí)行得非常出色。

Pieter Abbeel：AlexNet是大多數(shù)AI研究人員看到深度學(xué)習(xí)時(shí)代到來(lái)的新起點(diǎn)，而AlphaGo的面世可能讓大多數(shù)人看到AI能夠?qū)崿F(xiàn)許多不可能的時(shí)刻。世界上大多數(shù)人都在關(guān)注這一點(diǎn)，比如在自然語(yǔ)言處理方面中發(fā)生了一些非?；镜?、顛覆性的事情。

整個(gè)谷歌翻譯系統(tǒng)已經(jīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行改造，盡管當(dāng)時(shí)很多人認(rèn)為神經(jīng)網(wǎng)絡(luò)只是特征識(shí)別。而特征應(yīng)該是像語(yǔ)音或者是視覺(jué)上的信號(hào)，語(yǔ)言卻是離散的、獨(dú)立的。如何從這些連續(xù)的信號(hào)“跳轉(zhuǎn)”到離散的、獨(dú)立的語(yǔ)言上去？這兩者差異很大。

Ilya Sutskever： 如果你相信生物神經(jīng)元和人工神經(jīng)元沒(méi)什么大的不同，那么你就會(huì)認(rèn)為這個(gè)跳轉(zhuǎn)非常自然。世界上最好的專(zhuān)業(yè)翻譯應(yīng)該是極度精通至少兩種語(yǔ)言的人，他幾乎可以馬上把一種語(yǔ)言翻譯為另一種語(yǔ)言。因此，在這個(gè)人的頭腦中存在著一些層數(shù)相對(duì)較少的神經(jīng)網(wǎng)絡(luò)，可以完成這項(xiàng)任務(wù)。

如果我們?cè)陔娔X里有一個(gè)規(guī)模沒(méi)有那么大的神經(jīng)網(wǎng)絡(luò)，通過(guò)輸入、輸出多次訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)，我們肯定能得到這樣一個(gè)神經(jīng)網(wǎng)絡(luò)解決問(wèn)題。因此，世界上極度精通兩種語(yǔ)言的人類(lèi)的存在，也可以證明神經(jīng)網(wǎng)絡(luò)可以做到?，F(xiàn)在我們有了大型神經(jīng)網(wǎng)絡(luò)，我們的大腦也相當(dāng)強(qiáng)大，也許你可以大膽地說(shuō)，我們可以不斷訓(xùn)練數(shù)字神經(jīng)元，再少點(diǎn)兒噪音就可以了。

當(dāng)然，現(xiàn)在神經(jīng)網(wǎng)絡(luò)還沒(méi)有達(dá)到人類(lèi)翻譯的水平。但我們可以推斷，既然生物神經(jīng)元和人工神經(jīng)元沒(méi)有什么不同，那為什么神經(jīng)網(wǎng)絡(luò)不能做到？再等等吧。

Pieter Abbeel：你和谷歌的合作者發(fā)明了一種用神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器翻譯的方法，你能介紹下它的工作原理嗎？

Ilya Sutskever： 你所需要的只是一個(gè)大型神經(jīng)網(wǎng)絡(luò)，它能以某種方式吸收單詞的某些表征。在AI領(lǐng)域我們經(jīng)常使用“表征”這個(gè)詞。比如字母a或者是cat這個(gè)單詞，要怎么把它們傳達(dá)給計(jì)算機(jī)或者神經(jīng)網(wǎng)絡(luò)？

計(jì)算機(jī)或神經(jīng)網(wǎng)絡(luò)會(huì)在單詞或字母上建立某種映射，生成某種神經(jīng)網(wǎng)絡(luò)可以接受的形式。所以你只需要設(shè)計(jì)一本字典，然后把這些信號(hào)輸入到神經(jīng)網(wǎng)絡(luò)，然后用某種方法讓神經(jīng)網(wǎng)絡(luò)一次一個(gè)地接收這些信號(hào)，之后在翻譯過(guò)程中一個(gè)一個(gè)地輸出這些單詞。這就是現(xiàn)在很流行的所謂的自回歸建模方法。

用這個(gè)方法并不是因?yàn)樗卸嗵貏e，只是因?yàn)楸容^方便。神經(jīng)網(wǎng)絡(luò)會(huì)做所有事情，它知道如何建立內(nèi)部機(jī)制，如何構(gòu)建神經(jīng)元來(lái)正確地翻譯每個(gè)單詞的意思。

神經(jīng)元會(huì)把它們分塊、轉(zhuǎn)換、編排，一次輸出一個(gè)正確的單詞。當(dāng)然也有其他方式來(lái)設(shè)計(jì)其他的神經(jīng)網(wǎng)絡(luò)來(lái)接收這些單詞的信號(hào)，現(xiàn)在人們也正在探索，比如擴(kuò)散模型。也許神經(jīng)網(wǎng)絡(luò)能夠并行地接收單詞，做一些順序性工作，然后并行地輸出。

事實(shí)上，這并不重要。重要的是，我們只是以某種方式將單詞呈現(xiàn)給神經(jīng)網(wǎng)絡(luò)，有辦法讓神經(jīng)網(wǎng)絡(luò)可以輸出目標(biāo)單詞。

 2 大學(xué)生涯與導(dǎo)師Hinton

Pieter Abbeel：是什么讓你最終成為一名AI研究人員？

Ilya Sutskever： 我在俄羅斯出生，以色列長(zhǎng)大，16歲時(shí)移居加拿大。據(jù)我父母說(shuō)，我在很小的時(shí)候就開(kāi)始談?wù)揂I。我也清楚地記得，曾經(jīng)思考過(guò)AI的事情，還讀到有文章稱(chēng)這個(gè)領(lǐng)域是在“用蠻力下棋”的說(shuō)法。

很明顯，AI似乎可以下國(guó)際象棋。 但AI真正的核心應(yīng)該是學(xué)習(xí)，這也是AI如此糟糕的緣由。 因?yàn)樗粚W(xué)習(xí)，而人類(lèi)一直在學(xué)習(xí)，那么我們能一直做到所有的學(xué)習(xí)嗎？

自我去了多倫多大學(xué)后，我就找到了研究深度學(xué)習(xí)的教授Geoffrey Hinton。另一個(gè)原因是，他在訓(xùn)練神經(jīng)網(wǎng)絡(luò)，而神經(jīng)網(wǎng)絡(luò)似乎是更有希望的方向，因?yàn)樗鼈儧](méi)有明顯的計(jì)算限制，盡管決策樹(shù)這些在當(dāng)時(shí)比較流行。

Pieter Abbeel：去多倫多大學(xué)后有沒(méi)有想過(guò)，Hinton在這個(gè)領(lǐng)域研究了三四十年似乎一直沒(méi)有什么起色，再研究三四十年后可能也不會(huì)成功？

Ilya Sutskever： 我的動(dòng)機(jī)非常明確，就是要對(duì)AI做出哪怕非常小但有意義的貢獻(xiàn)。我認(rèn)為學(xué)習(xí)并不總是完全有效的，如果因?yàn)槲业拇嬖?，AI的研究變得更好了一點(diǎn)，那么我就成功了。

Pieter Abbeel：還記得自己第一次和Hinton見(jiàn)面時(shí)的場(chǎng)景嗎？

Ilya Sutskever： 我是在大三時(shí)第一次見(jiàn)到他。當(dāng)時(shí)我的專(zhuān)業(yè)是數(shù)學(xué)，大家都認(rèn)為數(shù)學(xué)很難，真正有天賦的人才會(huì)學(xué)習(xí)數(shù)學(xué)。我當(dāng)初選擇機(jī)器學(xué)習(xí)因?yàn)樗粌H是真正有價(jià)值的研究，還因?yàn)樗新斆魅硕既W(xué)數(shù)學(xué)和物理了，我對(duì)這種狀況感到高興。

Pieter Abbeel：我在讀Cade Metz的書(shū)時(shí)，Hinton講述了他和你見(jiàn)面的事情。他當(dāng)時(shí)給了你一篇論文，你回去讀了之后說(shuō)看不懂，他說(shuō)沒(méi)關(guān)系，你還在讀本科，有什么不明白的他可以解釋給你聽(tīng)。然后你說(shuō)，手動(dòng)操作的地方太多了，你不明白為什么他們不把整個(gè)學(xué)習(xí)過(guò)程自動(dòng)化。你能看懂這篇論文，只是不明白他們?yōu)槭裁匆@么做。Hinton心想，哇哦，有點(diǎn)兒意思。后來(lái)他給了你另一篇論文，你讀后回來(lái)說(shuō)，你也不理解為什么他們?yōu)槊總€(gè)應(yīng)用程序都單獨(dú)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，為什么不能訓(xùn)練一個(gè)龐大的網(wǎng)絡(luò)來(lái)完成所有的事？一起訓(xùn)練效果應(yīng)該會(huì)更好。

這些事讓我想起我們?cè)贠penAI的時(shí)候，感覺(jué)你的思考總是走在我們前面，你會(huì)預(yù)測(cè)事情未來(lái)將如何發(fā)展。今天回過(guò)頭來(lái)看，你好像真的知道幾年后事情的發(fā)展是怎樣的。

Ilya Sutskever： 確有其事。我剛從事這個(gè)領(lǐng)域的時(shí)候，AI并不被人看好，還沒(méi)有人做出什么成就，這個(gè)領(lǐng)域一片荒蕪，也不清楚未來(lái)是否會(huì)有什么進(jìn)展。

我一開(kāi)始給自己制定的目標(biāo)是，推進(jìn)對(duì)AI有用的、有意義的一小步。這是我在相當(dāng)長(zhǎng)一段時(shí)間內(nèi)的很明確的動(dòng)機(jī)。在這個(gè)動(dòng)機(jī)變得更清晰之前，這條路可能會(huì)更加崎嶇陡峭，但同時(shí)也燃起了我們的斗志。

3 OpenAI和GPT的誕生

Pieter Abbeel：從多倫多大學(xué)開(kāi)始研究生涯，到去谷歌工作，再到創(chuàng)立OpenAI公司，你似乎都是在恰當(dāng)?shù)臅r(shí)間更換自己的處境，做著領(lǐng)域內(nèi)最具開(kāi)創(chuàng)性的工作，這些轉(zhuǎn)變是怎么發(fā)生的？

Ilya Sutskever： 我記得我在谷歌的時(shí)候，感覺(jué)非常舒服，同時(shí)也非常不安。我認(rèn)為有兩個(gè)因素造成了這樣的感覺(jué)：一方面是我可以展望未來(lái)10年，對(duì)事情的發(fā)展有點(diǎn)太清楚了，我不太喜歡那樣；另一方面就是看到DeepMind在AlphaGo構(gòu)建工作的經(jīng)歷，這非常鼓舞人心，我認(rèn)為這是深度學(xué)習(xí)領(lǐng)域開(kāi)始成熟的標(biāo)志。

在這之前，AI領(lǐng)域的所有進(jìn)展都是由從事小項(xiàng)目的一小部分研究人員推動(dòng)的。大部分的工作都是以想法為重，然后通過(guò)工程執(zhí)行以證明想法是有效的。但我覺(jué)得， AlphaGo的不同在于它展現(xiàn)了工程設(shè)計(jì)的重要性。

事實(shí)上，這個(gè)領(lǐng)域?qū)l(fā)生變化，開(kāi)始進(jìn)入工程領(lǐng)域，工具變得非?？煽?。接下來(lái)的問(wèn)題是，如何真正訓(xùn)練這些網(wǎng)絡(luò)？如何調(diào)試？如何設(shè)置分布式訓(xùn)練？有很多工作要做，而且堆積的東西相當(dāng)深。

我覺(jué)得谷歌的文化與學(xué)術(shù)界文化非常相似，確實(shí)有利于產(chǎn)生激進(jìn)的新奇想法。事實(shí)上，谷歌這些年在AI中產(chǎn)生了很多激進(jìn)和革命性的想法，最明顯的是過(guò)去幾年的Transformer。

但我覺(jué)得這不會(huì)是AI進(jìn)步的全部，它只是AI進(jìn)步的一部分。 如果把AI看作是身體，那還需要肌肉、骨骼和神經(jīng)系統(tǒng)。如果你只有其中一個(gè)部件，挺好的，但整個(gè)事情不會(huì)有真正的進(jìn)展，你需要集齊所有的部件。 如果某個(gè)公司將這些部件都放在一起，就真的很好。

但我不知道怎么做，只是隨便想想。某天，我收到了Sam Altman的電子郵件，他說(shuō)讓我們和一些很酷的人一起吃個(gè)飯吧。Greg Brookman、Elon Musk等人在那里，我們聊了聊在一個(gè)新的AI實(shí)驗(yàn)室里開(kāi)始研究會(huì)很好。因?yàn)槲乙苍谒伎纪瑯拥南敕?，我真的希望它是工程型的?？吹紼lon將參與其中，我想不到還能從比他更好的人身上學(xué)到大型工程項(xiàng)目方面的東西。我認(rèn)為這就是OpenAI的真正起因。從我的角度來(lái)看，就像白日夢(mèng)成真了。

Pieter Abbeel：在OpenAI成立初期，你打算怎么塑造它？

Ilya Sutskever： 一開(kāi)始其實(shí)有各方面的壓力，而且我并不完全清楚如何馬上開(kāi)始行動(dòng)。有一點(diǎn)明確的是，我們需要做某種大型項(xiàng)目。我對(duì)這個(gè)想法感到興奮，如果你能很好地預(yù)測(cè)，就能在監(jiān)督學(xué)習(xí)上取得進(jìn)展，但除此之外，還不清楚該怎么做。

當(dāng)時(shí)的情況是，DeepMind已經(jīng)在強(qiáng)化學(xué)習(xí)領(lǐng)域取得了一些非常令人興奮的進(jìn)展。首先，通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，用強(qiáng)化學(xué)習(xí)來(lái)玩簡(jiǎn)單的電腦游戲，然后AlphaGo事件發(fā)生了，人們開(kāi)始覺(jué)得強(qiáng)化學(xué)習(xí)也許可以做一些事情，但在過(guò)去，這看起來(lái)是一個(gè)不可能實(shí)現(xiàn)的任務(wù)。

在我們嘗試了很多不同的項(xiàng)目后，最終決定，也許解決有挑戰(zhàn)的實(shí)時(shí)戰(zhàn)略游戲比如Dota。這是Greg一展身手的地方，他接手了這個(gè)項(xiàng)目，即使看起來(lái)真的不可能。但不知何故，他用最老套的深度學(xué)習(xí)方式發(fā)揮了作用，我們嘗試過(guò)的最簡(jiǎn)單的策略梯度法最終奏效，并且從未停止過(guò)通過(guò)更大規(guī)模和更多訓(xùn)練進(jìn)行改進(jìn)。它證明了我們可以做大型項(xiàng)目。

Pieter Abbeel：最簡(jiǎn)單的方法最終奏效的確令人驚訝。在語(yǔ)言領(lǐng)域，OpenAI還做出了GPT模型，它的能力非常令人驚訝，對(duì)你來(lái)說(shuō)，什么時(shí)候讓你相信這是要去做的事情？

Ilya Sutskever： 從我的角度來(lái)看，一件非常重要的事情是，我對(duì)無(wú)監(jiān)督學(xué)習(xí)非常感興趣。Alexnet、AlphaGo和Dota都是以某種方式向神經(jīng)網(wǎng)絡(luò)提供輸入和期望的輸出來(lái)進(jìn)行訓(xùn)練，今天來(lái)看這種方式是非常直觀的，而且，你至少可以有一個(gè)合理的強(qiáng)烈直覺(jué)，知道為什么監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)是可行的。但相比之下，至少在我看來(lái)，無(wú)監(jiān)督學(xué)習(xí)要神秘得多。

到底什么是無(wú)監(jiān)督學(xué)習(xí)？你可以通過(guò)簡(jiǎn)單的觀察來(lái)了解這個(gè)世界，而不需要有一個(gè)“老師”來(lái)告訴你理想行為應(yīng)該是什么。問(wèn)題是，這怎么可能行得通？

普遍的想法是，也許你有某種任務(wù)，比如輸入圖像讓神經(jīng)網(wǎng)絡(luò)以某種方式去轉(zhuǎn)換它，然后產(chǎn)生相同的圖像。但為什么這對(duì)你所關(guān)心的任務(wù)來(lái)說(shuō)是件好事，是否有一些數(shù)學(xué)上的原因？

我覺(jué)得這很不令人滿意，在我看來(lái)，無(wú)監(jiān)督學(xué)習(xí)根本就沒(méi)有好的數(shù)學(xué)基礎(chǔ)，我真的為此感到困擾。經(jīng)過(guò)大量的思考，我形成了這樣的信念： 實(shí)際上，如果你能很好地預(yù)測(cè)下一步，應(yīng)該就有了一個(gè)很好的監(jiān)督者。

具體來(lái)說(shuō)，如果你能很好地預(yù)測(cè)下一個(gè)位（bit），那么就已經(jīng)能提取出所有有意義的信息，模型以某種方式知道存在于信號(hào)中這些信息，它應(yīng)該有一個(gè)所有概念的表征，就是語(yǔ)言模型上下文語(yǔ)境中的想法。

這是非常直觀的，你可以適度準(zhǔn)確地預(yù)測(cè)下一個(gè)單詞。也許模型會(huì)知道單詞只是由空格分隔的字符串。如果你預(yù)測(cè)得更好，你可能知道那兒有一個(gè)詞匯表，但是你不擅長(zhǎng)語(yǔ)法。如果你進(jìn)一步改進(jìn)你的預(yù)測(cè)，那么你的語(yǔ)法也會(huì)變得更好，也會(huì)突然產(chǎn)生一些語(yǔ)法上的莫名其妙的錯(cuò)誤。但如果進(jìn)一步改進(jìn)你的預(yù)測(cè)，那么語(yǔ)義必須發(fā)揮作用，我覺(jué)得這同樣也可以用來(lái)預(yù)測(cè)像素。

所以在某種程度上，我開(kāi)始相信，這也許在預(yù)測(cè)方面做得非常好。有趣的是，現(xiàn)在每個(gè)人都知道無(wú)監(jiān)督學(xué)習(xí)就是有效的。但在不久前，這似乎還是一件非常棘手的事。

回到GPT是如何產(chǎn)生的這個(gè)故事。真正朝這個(gè)方向邁出一步的項(xiàng)目是由Alec Radford領(lǐng)導(dǎo)的，他是GPT傳奇的一個(gè)重要英雄，在那個(gè)項(xiàng)目里，我們訓(xùn)練神經(jīng)系統(tǒng)和LSTM來(lái)為亞馬遜產(chǎn)品的評(píng)論中預(yù)測(cè)下一個(gè)字。

我們發(fā)現(xiàn)，這個(gè)LSTM有一個(gè)與情緒相對(duì)應(yīng)的神經(jīng)元。換句話說(shuō)，如果你閱讀的評(píng)論是正面的，那么情緒神經(jīng)元就會(huì)觸發(fā)，如果你閱讀的評(píng)論是負(fù)面的，那么情緒神經(jīng)元就會(huì)抑制（fall）。這很有趣，驗(yàn)證了我們的猜想。

后來(lái)，我們非常高興地看到Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)出來(lái)了，我們相信長(zhǎng)程依賴（Long-Term Dependency）真的很重要，而Transformer對(duì)長(zhǎng)程依賴有一個(gè)非常干凈、優(yōu)雅且計(jì)算效率高的答案。

但在技術(shù)上，我們討論了這些神經(jīng)網(wǎng)絡(luò)在某種程度上是深層的，直到最近都是這樣，要訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)相當(dāng)困難。

以前用于訓(xùn)練模型和語(yǔ)言序列的神經(jīng)網(wǎng)絡(luò)，序列越長(zhǎng)，網(wǎng)絡(luò)就越深，就越難訓(xùn)練。但Transformer將深度與序列的長(zhǎng)度解耦，所以可以用非常長(zhǎng)的序列得到一個(gè)可管理的深度Transformer，這令人興奮。這直接導(dǎo)致了GPT-1的面世，后來(lái)我們繼續(xù)擴(kuò)大參數(shù)規(guī)模，就得到了GPT-2和GPT-3。

Pieter Abbeel：GPT-3出來(lái)的時(shí)候，整個(gè)社區(qū)都異常興奮，當(dāng)你提供一點(diǎn)額外的文本，就可以讓它做你想做的事情，甚至可以編寫(xiě)一些基礎(chǔ)代碼。它大概是怎么運(yùn)作的？

Ilya Sutskever： 你只需要有一個(gè)神經(jīng)網(wǎng)絡(luò)，還有一些文本，讓它輸出一個(gè)有根據(jù)的預(yù)測(cè)內(nèi)容，這是對(duì)單詞可能是什么的概率猜測(cè)。你可以根據(jù)神經(jīng)系統(tǒng)輸出的概率來(lái)挑選一個(gè)詞，然后提交給它，讓“神經(jīng)元”一次又一次地預(yù)測(cè)下一個(gè)詞。足夠好的預(yù)測(cè)帶來(lái)了你所夢(mèng)想的一切。

Pieter Abbeel：讓人印象深刻的一點(diǎn)是，GPT是一項(xiàng)非常實(shí)用的重大研究突破。當(dāng)GPT開(kāi)始有效時(shí)，你或者其他人是否已經(jīng)開(kāi)始考慮相關(guān)應(yīng)用？

Ilya Sutskever： 我們對(duì)潛在的應(yīng)用絕對(duì)感到興奮，以至于我們圍繞GPT-3構(gòu)建了API產(chǎn)品，以便人們可以去構(gòu)建他們的語(yǔ)言應(yīng)用?？创诎l(fā)生的事情的另一種視角是，AI只是不斷地繼續(xù)獲得越來(lái)越多的能力。

要分辨某一研究進(jìn)展是否真實(shí)，有時(shí)會(huì)比較棘手。假設(shè)你有一些很酷的Demo，可能很難理解這個(gè)應(yīng)用進(jìn)步的幅度，特別是如果你不知道這個(gè)Demo與他們的訓(xùn)練數(shù)據(jù)有多相似。這個(gè)領(lǐng)域已經(jīng)非常成熟，你不再需要依靠Demo甚至是基準(zhǔn)作為衡量進(jìn)步的唯一指標(biāo)。不過(guò)，產(chǎn)品的有用性是衡量進(jìn)步的最真實(shí)指標(biāo)。

4 AI如何影響生產(chǎn)力

Pieter Abbeel：你覺(jué)得這些工具將怎樣幫助人類(lèi)提高生產(chǎn)力？

Ilya Sutskever： 短期內(nèi)，生產(chǎn)力會(huì)逐步提高。而隨著時(shí)間推移和AI系統(tǒng)能力的提高，生產(chǎn)力也會(huì)顯著提升。長(zhǎng)期來(lái)看，AI系統(tǒng)會(huì)讓所有的工作都會(huì)由AI來(lái)完成，我非常有信心見(jiàn)證生產(chǎn)力的大幅提高。

Pieter Abbeel：人們會(huì)通過(guò)很多方面來(lái)思考，在這種背景下，當(dāng)你賦予AI較強(qiáng)的生產(chǎn)力時(shí)，它最好一直做正確的事情。AI不會(huì)把事情搞砸，或誤解人們想讓他做的事。我對(duì)這個(gè)項(xiàng)目非常好奇，因?yàn)樗鼘?qiáng)化學(xué)習(xí)與GPT結(jié)合在一起。

Ilya Sutskever： 退一步說(shuō)，我們擁有的這些AI系統(tǒng)正變得越來(lái)越強(qiáng)大。它們強(qiáng)大的功能來(lái)自在非常大的數(shù)據(jù)集上訓(xùn)練它們，我們對(duì)于它們的作用有著直觀了解。

我們有這些大型語(yǔ)言模型，有能力通過(guò)提示信息（prompt）來(lái)控制它們。事實(shí)上，語(yǔ)言模型越好，控制能力就越強(qiáng)，它就越容易通過(guò)提示信息來(lái)控制。但我們希望模型完全按照我們的意愿辦事，或者盡可能接近我們的要求。

你剛剛提到的用人類(lèi)反饋的強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練這些語(yǔ)言模型?，F(xiàn)在強(qiáng)化學(xué)習(xí)不是針對(duì)模擬器而是針對(duì)人類(lèi)裁判，這些人會(huì)告訴你輸出是理想的還是不理想的。這種強(qiáng)化學(xué)習(xí)環(huán)境真的很令人興奮，你甚至可以爭(zhēng)辯說(shuō)強(qiáng)化學(xué)習(xí)可能慢了一點(diǎn)，因?yàn)檫€沒(méi)有很好的環(huán)境。

在強(qiáng)化學(xué)習(xí)中，通常會(huì)提供好壞兩種結(jié)果。但是我們通過(guò)人類(lèi)反饋的強(qiáng)化學(xué)習(xí)的方法，“老師”需要觀察模型的兩個(gè)輸出，然后判斷哪個(gè)更好。

比較兩件事相對(duì)來(lái)說(shuō)哪個(gè)更好是比判斷一件事絕對(duì)的是好還是壞更簡(jiǎn)單的任務(wù)。然后我們做一點(diǎn)機(jī)器學(xué)習(xí)，從獎(jiǎng)勵(lì)模型中創(chuàng)建獎(jiǎng)勵(lì)，然后使用這個(gè)模型來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。這是一個(gè)非常簡(jiǎn)單有效的事，你可以用精細(xì)的方式來(lái)控制這些語(yǔ)言模型和神經(jīng)網(wǎng)絡(luò)的行為。

最近我們一直在訓(xùn)練Instruction-following（指令跟蹤）模型。實(shí)際上，人們可以通過(guò)GPT3中的開(kāi)放API進(jìn)行使用。

所以你需要非常聰明地指定你的提示信息來(lái)設(shè)計(jì)一種核心，并讓模型做你想做的，提供一些例子，在這些例子中，指令跟蹤模型以這種方式接受訓(xùn)練，可以真正做到我們讓它做什么，它就做什么。有一個(gè)詞在機(jī)器學(xué)習(xí)領(lǐng)域的一些子集里是已知的，但并不是所有的子集都知道。

但再往前，你想從各種方面學(xué)習(xí)“老師”，想使用機(jī)器學(xué)習(xí)，不僅僅通過(guò)提供有監(jiān)督例子或獎(jiǎng)勵(lì),但是你想有一個(gè)對(duì)話，在其中提出正確問(wèn)題，來(lái)了解這個(gè)概念所需的信息。

這就是未來(lái)的發(fā)展趨勢(shì)。現(xiàn)在這個(gè)方法已經(jīng)成功的使用了，讓GPT模型比自然情況下更一致（aligned）。

Pieter Abbeel：我理解的對(duì)齊是可以用個(gè)性化的方式調(diào)整它們，從而與特定的要求保持一致。就像我可以教你遵循我的喜好一樣。

Ilya Sutskever： 這是肯定可以的，我提到的指令追蹤模型是一個(gè)單一模型。它已經(jīng)被對(duì)齊了，已經(jīng)通過(guò)訓(xùn)練和激勵(lì)來(lái)追蹤你給出的指示。它是一個(gè)非常方便的界面，使用這些神經(jīng)網(wǎng)絡(luò)可以讓它們做任何你想做的事，可以用任何你想用的方式來(lái)訓(xùn)練它們。你也可以用任何方式進(jìn)行個(gè)性化設(shè)置，用戶可以在段落中指定或使用它們過(guò)去的一些操作。幾乎一切都是可能的。

Pieter Abbeel：最近你和OpenAI的合作者一起發(fā)布了可以在同一模型中處理視覺(jué)和語(yǔ)言的CLIP和DALL-E，并根據(jù)需要有效地在兩者之間進(jìn)行轉(zhuǎn)換。你們是如何做到的？

Ilya Sutskever： 我認(rèn)為潛在的動(dòng)機(jī)是，未來(lái)的神經(jīng)網(wǎng)絡(luò)不會(huì)同時(shí)處理視覺(jué)和語(yǔ)言，這似乎令人難以置信。 至少在我看來(lái)，有大量證據(jù)表明如果把神經(jīng)網(wǎng)絡(luò)做得很大，并且有一個(gè)合適的數(shù)據(jù)集。如果它們能生成語(yǔ)言，為什么不生成圖像的語(yǔ)言呢？也許我們應(yīng)該把它看作是一種探索，在圖像和文本中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并使用DALL-E作為語(yǔ)境。

DALL-E實(shí)際上是一個(gè)在文本上訓(xùn)練的GPT3，像圖像的文本表示一樣，因此使用這些tokens來(lái)表示圖像。從模型的角度來(lái)看，它只是一種時(shí)髦的語(yǔ)言，就像你可以在英語(yǔ)和法語(yǔ)文本上訓(xùn)練GPT。

那并不重要。如果你有一種不同的語(yǔ)言，某些人類(lèi)語(yǔ)言和圖像語(yǔ)言，那DALL-E的工作方式完全符合你的預(yù)期，看到神經(jīng)系統(tǒng)生成圖像仍然很有趣。CLIP是一個(gè)相反方向的探索，它學(xué)習(xí)了大量的視覺(jué)語(yǔ)境概念，健壯性非常好。

Pieter Abbeel：CLIP數(shù)據(jù)集比ImageNet大了多少？

Ilya Sutskever： 大了數(shù)百倍，它有開(kāi)放式類(lèi)別，這些類(lèi)別只是自由格式的文本，但它確實(shí)有點(diǎn)大。它需要多樣化數(shù)據(jù)，如果數(shù)據(jù)集來(lái)源很窄，就會(huì)損害神經(jīng)網(wǎng)絡(luò)。

5 擁有更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)

Piter Abbeel：回顧自AlexNet突破以來(lái)的過(guò)去10年，似乎每年都有新突破。當(dāng)你展望未來(lái)時(shí)，是否有一些令你感到特別興奮的事情在未來(lái)幾年里可能會(huì)發(fā)生？

Ilya Sutskever： 從某種意義上來(lái)說(shuō)，深度學(xué)習(xí)的傳奇故事要比過(guò)去10年時(shí)間還要長(zhǎng)久。如果讀了Rosenblatt在60年代的一些介紹就會(huì)覺(jué)得很有趣，他發(fā)明了感知器，是最早的可以在真實(shí)計(jì)算機(jī)上學(xué)習(xí)有趣東西的神經(jīng)網(wǎng)絡(luò)之一。

Rosenblatt曾稱(chēng)，總有一天神經(jīng)網(wǎng)絡(luò)會(huì)看、聽(tīng)到和能翻譯，并成為你的朋友。他試圖籌集資金來(lái)建造越來(lái)越大的計(jì)算機(jī)，也招來(lái)了一些學(xué)者的批評(píng)，這導(dǎo)致神經(jīng)網(wǎng)絡(luò)發(fā)展的首個(gè)低潮期到來(lái)。

我認(rèn)為這些想法還在思考中，只是環(huán)境還沒(méi)準(zhǔn)備好。 因?yàn)橐坏┬枰獢?shù)據(jù)和計(jì)算準(zhǔn)備就緒，就能夠抓住這個(gè)機(jī)會(huì)實(shí)現(xiàn)進(jìn)步。 我相信進(jìn)展會(huì)繼續(xù)，我們會(huì)擁有更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)。 我不想把可能發(fā)生的事情說(shuō)得太具體。

這些事情很難預(yù)測(cè)，但好的一點(diǎn)是我們的神經(jīng)系統(tǒng)更可靠，你可以相信它們的輸出。當(dāng)它們遇到不會(huì)的，只會(huì)告訴你，可能會(huì)要求進(jìn)行驗(yàn)證。我認(rèn)為這是非常有影響力的，它們會(huì)比現(xiàn)在采取更多的行動(dòng)。

我認(rèn)為，我們的神經(jīng)網(wǎng)絡(luò)仍然是惰性和被動(dòng)（inert and passive）的，它們的用處會(huì)繼續(xù)增加。 我肯定我們需要一些新的想法，即使這些想法中看待事物的方式可能與現(xiàn)在不同。但很多深度學(xué)習(xí)的主要進(jìn)展都是以這種形式出現(xiàn)的。

例如，監(jiān)督學(xué)習(xí)的最新進(jìn)展，我們只是訓(xùn)練了更大的語(yǔ)言模型，但它們過(guò)去就存在，只是我們才意識(shí)到語(yǔ)言模型的方向一直都是正確的。我們眼前的東西實(shí)際上比我們預(yù)期的要更強(qiáng)大，我期望這些系統(tǒng)的能力可以繼續(xù)提高，它們將在世界上變得越來(lái)越有影響力。我們將看到難以置信的革命性產(chǎn)品，可以想象很多人都會(huì)擁有非常強(qiáng)大的AI。最終，人們會(huì)進(jìn)入一個(gè)享受AI工作的世界。

Pieter Abbeel：那真的很美好，你的模型在某種意義上反映了一種愿景，AI的好處可能是無(wú)限的。把無(wú)限的利益集中在一小群人身上對(duì)其他人來(lái)說(shuō)并不好。很多人都在討論AI的成本可能會(huì)變得越來(lái)越高。我在想是不是錢(qián)越多，模型越大，性能就越好，還是未來(lái)會(huì)不一樣？

Ilya Sutskever： 找到“錢(qián)”半功倍的方法提高模型效率，這種動(dòng)力是很強(qiáng)大的，它影響著這個(gè)領(lǐng)域的每個(gè)人。我期望在未來(lái)，硬件成本會(huì)下降，相關(guān)的方法會(huì)更有效率，可以用一小部分成本來(lái)做更多的事情。同時(shí)我認(rèn)為模型越來(lái)越大是更好的，現(xiàn)實(shí)就是如此。

我希望有一種不同模型做不同事情的規(guī)則，有一些非常強(qiáng)大的模型用于特定的任務(wù)，更小更專(zhuān)業(yè)的模型也仍然非常有用。我也希望，對(duì)于每個(gè)級(jí)別的計(jì)算都有一些最佳的使用方法，人們發(fā)現(xiàn)這種方法并創(chuàng)建非常有趣的應(yīng)用程序。

Pieter Abbeel：過(guò)去10年甚至更早，你在AI領(lǐng)域有許多研究突破。你有哪些習(xí)慣或特質(zhì)幫助你擁有強(qiáng)大的創(chuàng)造力和生產(chǎn)力？

Ilya Sutskever： 給出籠統(tǒng)的建議是很難的。但這兩個(gè)答案可能會(huì)有幫助，也就是節(jié)約時(shí)間和努力。你得面對(duì)困境，解決這些困難后就能得到你想要的。

Pieter Abbeel：節(jié)約的時(shí)間會(huì)做什么？

Ilya Sutskever： 我有很多獨(dú)立的工作，和一些人會(huì)進(jìn)行非常重要且深入的研究性談話。這是我主要在做的事。

Pieter Abbeel：我了解到你也是個(gè)藝術(shù)家，這對(duì)提高創(chuàng)造力有幫助嗎?

Ilya Sutskever： 很難說(shuō)，但我認(rèn)為是有幫助的。

（本文已獲得編譯授權(quán)，來(lái)源：https://www.youtube.com/watch?v=fCoavgGZ64Y&t=699s）