ChatGPT的橫空出世萬(wàn)眾矚目，但我們不應(yīng)忘記在它背后默默無(wú)聞的天才。Ilya Sutskever是OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家。正是在他的領(lǐng)導(dǎo)下，OpenAI在開發(fā)尖端技術(shù)和推動(dòng)人工智能領(lǐng)域的發(fā)展方面取得了重大進(jìn)展。

在這篇文章中，我們將探討二十年間，Sutskever是如何從一個(gè)年輕的研究人員一步步走到人工智能領(lǐng)域的領(lǐng)導(dǎo)人物之一的。無(wú)論你是人工智能愛(ài)好者，還是研究人員，或者僅僅是對(duì)這一領(lǐng)域的內(nèi)部運(yùn)作感到好奇的人，這篇文章都會(huì)提供寶貴的觀點(diǎn)和信息。

本文遵循以下時(shí)間線： 

2003: Ilya Sutskever的拜師之旅

2011: 初識(shí)AGI

2012: 圖像識(shí)別的革命

2013: 將DNNresearch拍賣給谷歌

2014: 語(yǔ)言翻譯的革命

2015: 從谷歌到OpenAI：人工智能的新篇章

2018: GPT 1、2和3

2021: 開發(fā)DALL-E 1

2022年：向世界揭開ChatGPT的面紗

Ilya Sutskever?

OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家，2005年畢業(yè)于多倫多大學(xué)，2012年獲得CS博士學(xué)位。2012年至今，他曾先后就職于斯坦福大學(xué)，DNNResearch，Google Brain，從事機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的相關(guān)研究，并于2015年放棄谷歌的高薪職位，與Greg Brockman等人聯(lián)合創(chuàng)建了OpenAI，在OpenAI主導(dǎo)了GPT-1，2，3以及DALLE系列模型的研發(fā)。2022年，他入選英國(guó)皇家科學(xué)學(xué)會(huì)院士。他是人工智能領(lǐng)域的先驅(qū)，在塑造人工智能的當(dāng)前格局方面發(fā)揮了重要作用，并在繼續(xù)推動(dòng)機(jī)器學(xué)習(xí)的可能性的界限。他對(duì)人工智能的熱情讓他的開創(chuàng)性研究熠熠生輝，也由此塑造了深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展歷程。

2003:對(duì)Ilya Sutskever的初印象

Sutskever：我不理解，Hinton：為什么不理解，Sutskever：人們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)解決問(wèn)題，當(dāng)人們想解決不同問(wèn)題時(shí)，就得用另外的神經(jīng)網(wǎng)絡(luò)重新開始訓(xùn)練。但我認(rèn)為人們應(yīng)該有一個(gè)能夠解決所有問(wèn)題的神經(jīng)網(wǎng)絡(luò)。

在多倫多大學(xué)讀本科時(shí)，Sutskever想加入Geoffrey Hinton教授的深度學(xué)習(xí)實(shí)驗(yàn)室。于是，他在某一天直接敲開了Hinton教授辦公室的門，詢問(wèn)自己是否可以加入實(shí)驗(yàn)室。教授讓他提前預(yù)約，但Sutskever不想再浪費(fèi)時(shí)間，所以他立即問(wèn)："就現(xiàn)在怎么樣？"

Hinton意識(shí)到Sutskever是一個(gè)敏銳的學(xué)生，于是給了他兩篇論文讓他閱讀。一周后，Sutskever回到教授辦公室，然后告訴教授他不理解。

“為什么不理解？”教授問(wèn)。

Sutskever解釋說(shuō)：“人們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)解決問(wèn)題，當(dāng)人們想解決不同問(wèn)題時(shí)，就得用另外的神經(jīng)網(wǎng)絡(luò)重新開始訓(xùn)練。但我認(rèn)為人們應(yīng)該有一個(gè)能夠解決所有問(wèn)題的神經(jīng)網(wǎng)絡(luò)。"

這段話展示了Sutskever得出結(jié)論的獨(dú)特能力，而這種能力即使是有經(jīng)驗(yàn)的研究人員也需要花費(fèi)數(shù)年時(shí)間才能找到，Hinton于是向他發(fā)出邀請(qǐng)，希望他加入自己的實(shí)驗(yàn)室。

2011: 初識(shí)AGI

Sutskever：我不認(rèn)同這個(gè)想法（AGI）

Sutskever還在多倫多大學(xué)時(shí)，曾飛到倫敦去DeepMind找工作。在那里他見(jiàn)到了Demis Hassabis 和 Shane Legg（DeepMind的聯(lián)合創(chuàng)始人），他們正在建立AGI（Artificial General Intelligence，人工通用智能）。AGI是一種通用的人工智能，它能夠像人類一樣思考和推理，并完成與人類智能相關(guān)的各種任務(wù)，如理解自然語(yǔ)言，從經(jīng)驗(yàn)中學(xué)習(xí)，做出決定，以及解決問(wèn)題。

在當(dāng)時(shí)，AGI并不是嚴(yán)肅的研究人員會(huì)談?wù)摰臇|西。Sutskever也認(rèn)為他們已經(jīng)與現(xiàn)實(shí)脫節(jié)，所以他拒絕了這份工作，回到了大學(xué)，最終于2013年加入了谷歌。

2012: 圖像識(shí)別革命

ImageNet競(jìng)賽中獲勝

Geoffrey Hinton慧眼獨(dú)具，在其他人都不相信的時(shí)候相信了深度學(xué)習(xí)。并且他堅(jiān)信，在ImageNet競(jìng)賽中獲得成功就會(huì)徹底解決這一爭(zhēng)論。

ImageNet競(jìng)賽：斯坦福大學(xué)的實(shí)驗(yàn)室每年都會(huì)舉辦ImageNet競(jìng)賽。他們?yōu)閰①愓咛峁┝艘粋€(gè)由精心標(biāo)記的照片組成的龐大數(shù)據(jù)庫(kù)，來(lái)自世界各地的研究人員都會(huì)來(lái)參加比賽，嘗試創(chuàng)建一個(gè)能夠識(shí)別最多的圖像的系統(tǒng)。

Hinton的兩個(gè)學(xué)生，伊利亞-蘇茨克沃（Ilya Sutskever）和亞歷克斯-克里切夫斯基（Alex Krizhevsky）參加了這個(gè)比賽。他們打破了傳統(tǒng)的手工設(shè)計(jì)方案，采用了深度神經(jīng)網(wǎng)絡(luò)，并突破了75%的準(zhǔn)確率大關(guān)。因此他們贏得了ImageNet競(jìng)賽，他們的系統(tǒng)后來(lái)被命名為AlexNet。

從那時(shí)起，圖像識(shí)別領(lǐng)域煥然一新。

后來(lái)，Sutskever、Krizhevsky和Hinton發(fā)表了一篇關(guān)于AlexNet的論文，這篇論文成為計(jì)算機(jī)科學(xué)領(lǐng)域被引用次數(shù)最多的論文之一，總共被其他研究人員引用了6萬(wàn)多次。

2013: 將DNNresearch拍賣給谷歌

Sutskever&Krizhevsky：您值得更大比例的分紅。Hinton：你們分我的錢太多了。Sutskever&Krizhevsky：但我們已經(jīng)決定好了，讓您占大頭。Hinton：這體現(xiàn)了他們的人品。

Hinton與Sutskever，Krizhevsky一起，成立了一家名為DNNresearch的新公司。他們沒(méi)有任何產(chǎn)品，也沒(méi)有在未來(lái)打造任何產(chǎn)品的計(jì)劃。

Hinton問(wèn)律師，如何讓他的新公司具有最大的價(jià)值，盡管目前只有三名員工，既沒(méi)有產(chǎn)品，也沒(méi)有底蘊(yùn)。律師給他的選擇之一是設(shè)立一個(gè)拍賣會(huì)。有四家公司參與了收購(gòu)：百度、谷歌、微軟和DeepMind（當(dāng)時(shí)還是一家年輕的起步于倫敦的創(chuàng)業(yè)公司）。第一個(gè)退出的是DeepMind，其次是微軟，最后只剩下百度和谷歌在競(jìng)爭(zhēng)。

到某天晚上接近午夜時(shí)分，拍賣價(jià)格高達(dá)4400萬(wàn)美元，Hinton于是暫停了競(jìng)標(biāo)并且去睡了一覺(jué)。第二天，他宣布拍賣結(jié)束，并以4400萬(wàn)美元將他的公司賣給了谷歌，他認(rèn)為為他的研究找到合適的“家”更重要。在這一點(diǎn)上，Hinton和他的學(xué)生們一樣，把他們的想法置于經(jīng)濟(jì)利益之上。

平分收益的時(shí)候，Sutskever和Krizhevsky堅(jiān)持認(rèn)為Hinton應(yīng)該得到更大的份額（40%），盡管Hinton建議他們不如先睡一覺(jué)。第二天，他們?nèi)匀粓?jiān)持這種分配方式。Hinton后來(lái)評(píng)論說(shuō)：“這能體現(xiàn)他們的為人，而非我的”。

在這之后，Sutskever成為了谷歌大腦的研究科學(xué)家，他的想法產(chǎn)生了更大的變化，并開始與DeepMind創(chuàng)始人的想法逐漸一致。他開始相信，屬于AGI的未來(lái)就在眼前。當(dāng)然，Sutskever本人也從不畏懼在面對(duì)新信息或經(jīng)驗(yàn)時(shí)改變主意。畢竟相信AGI需要的是信仰之躍，正如謝爾蓋-萊文（Sergey Levine，Sutskever在谷歌的同事）對(duì)Sutskever的評(píng)價(jià)：“他是一個(gè)不害怕‘相信’的人?！?/strong>

2014: 語(yǔ)言翻譯的革命

Sutskever：正確的結(jié)論是，如果你有一個(gè)非常大的數(shù)據(jù)集和一個(gè)非常龐大的神經(jīng)網(wǎng)絡(luò)，那么取得成功是必然的。（性能最優(yōu)的翻譯器）

在收購(gòu)了DNNResearch之后，谷歌聘請(qǐng)Sutskever為谷歌大腦的研究科學(xué)家。

在谷歌工作期間，Sutskever發(fā)明了一種神經(jīng)網(wǎng)絡(luò)的變體，能將英語(yǔ)翻譯成法語(yǔ)。他提出了 “序列到序列學(xué)習(xí)”（Sequence to Sequence Learning），它能捕捉到輸入的序列結(jié)構(gòu)（如英語(yǔ)的句子），并將其映射到同樣具有序列結(jié)構(gòu)的輸出（如法語(yǔ)的句子）。

他說(shuō)，研究人員本不相信神經(jīng)網(wǎng)絡(luò)可以做翻譯，所以當(dāng)它們真的能翻譯時(shí)，這就是一個(gè)很大的驚喜。他的發(fā)明擊敗了表現(xiàn)最好的翻譯器，為谷歌翻譯提供了重大升級(jí)。語(yǔ)言翻譯從此變得不一樣了。

2015: 從谷歌到OpenAI：人工智能的新篇章

Sam Altman和Greg Brockman將Sutskever和其他9名研究人員聚集在一起，嘗試是否還有可能與該領(lǐng)域最優(yōu)秀的人才組成一個(gè)研究實(shí)驗(yàn)室。當(dāng)討論到這個(gè)將成為OpenAI的實(shí)驗(yàn)室時(shí)，Sutskever意識(shí)到他找到了一群志同道合的人，他們與他的信念和愿望相同。

Brockman向這10位研究人員發(fā)出了加入他的實(shí)驗(yàn)室的邀請(qǐng)，并給他們?nèi)艿臅r(shí)間來(lái)決定。谷歌知道這件事后，向Sutskever提供了一筆可觀的金額來(lái)加入他們。被拒絕后，谷歌將他們的薪資提高到第一年近200萬(wàn)美元，這是OpenAI要付給他的兩三倍。

但Sutskever還是愉快地放棄了谷歌數(shù)百萬(wàn)美元的工作機(jī)會(huì)，最終成為非營(yíng)利組織OpenAI的聯(lián)合創(chuàng)始人。

OpenAI的目標(biāo)是利用人工智能造福全人類，以負(fù)責(zé)任的方式推進(jìn)人工智能。

2018: 開發(fā)GPT 1, 2 & 3

Sutskever領(lǐng)導(dǎo)OpenAI發(fā)明了GPT-1，隨后發(fā)展到GPT-2、GPT-3和ChatGPT。

GPT（Generative Pre-trained Transformer）模型是一系列基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型。GPT模型的每一次更新?lián)Q代，都是自然語(yǔ)言處理領(lǐng)域的突破性進(jìn)展。 

• GPT-1（2018年）：這是該系列的第一個(gè)模型，是在一個(gè)大規(guī)模的互聯(lián)網(wǎng)文本數(shù)據(jù)集上訓(xùn)練的。它的關(guān)鍵創(chuàng)新之一是使用無(wú)監(jiān)督的預(yù)訓(xùn)練，在這種情況下，模型學(xué)習(xí)根據(jù)前面的單詞的上下文來(lái)預(yù)測(cè)句子中的單詞。這使得該模型能夠?qū)W習(xí)語(yǔ)言結(jié)構(gòu)，并生成類似人類的文本。
• GPT-2（2019年）：在GPT-1的成功基礎(chǔ)上，它在一個(gè)更大的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，產(chǎn)生了一個(gè)更強(qiáng)大的模型。GPT-2的主要進(jìn)步之一是它能夠就廣泛的主題生成連貫和流暢的文本段落，這使它成為了無(wú)監(jiān)督語(yǔ)言理解和生成任務(wù)的關(guān)鍵角色。?
• GPT-3（2020年）：GPT-3在規(guī)模和性能上都是一個(gè)實(shí)質(zhì)性的飛躍。它是在一個(gè)大規(guī)模的數(shù)據(jù)集上訓(xùn)練的，使用了1750億個(gè)參數(shù)，比以前的模型大得多。GPT-3在廣泛的語(yǔ)言任務(wù)上取得了最先進(jìn)的性能，如問(wèn)題回答、機(jī)器翻譯和總結(jié)，具有接近人類的能力。它還顯示了執(zhí)行簡(jiǎn)單的編碼任務(wù)、編寫連貫的新聞文章、甚至生成詩(shī)歌的能力。
• GPT-4：預(yù)計(jì)很快就會(huì)出現(xiàn)，預(yù)計(jì)就在2023年。

2021: 開發(fā)DALL-E 1

Sutskever還領(lǐng)導(dǎo)OpenAI發(fā)明了DALL-E 1，這是一個(gè)由AI驅(qū)動(dòng)的圖像生成模型。它使用了與GPT模型類似的架構(gòu)和訓(xùn)練過(guò)程，但被應(yīng)用于圖像的生成，而非文本。

今天許多主要的圖像生成器--DALL-E 2、MidJourney--都?xì)w功于DALL-E 1，因?yàn)樗鼈兓谙嗤淖儞Q器架構(gòu)，并在類似的圖像數(shù)據(jù)集和相關(guān)文字說(shuō)明上進(jìn)行訓(xùn)練。此外，DALL-E 2和MidJourney都是基于DALL-E 1的微調(diào)過(guò)程。 

2022年：向世界揭開ChatGPT的面紗

2022年11月30日，Sutskever幫忙推出了ChatGPT，這引起了大眾的廣泛關(guān)注，并在短短5天內(nèi)就發(fā)展到100萬(wàn)用戶。

ChatGPT的工作方式是在大量的文本數(shù)據(jù)集上預(yù)先訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)，然后在特定的任務(wù)上對(duì)其進(jìn)行微調(diào)，如回答問(wèn)題或生成文本。它是一個(gè)基于GPT-3語(yǔ)言模型的對(duì)話式人工智能系統(tǒng)。

理解對(duì)話的背景并產(chǎn)生適當(dāng)?shù)姆磻?yīng)是ChatGPT的主要功能之一。該機(jī)器人會(huì)記住你的對(duì)話線索，并根據(jù)以前的問(wèn)題和答案作出后續(xù)回應(yīng)。與其他聊天機(jī)器人不同的是，這些機(jī)器人通常僅限于預(yù)編程的反應(yīng)，而ChatGPT可以在應(yīng)用中產(chǎn)生反應(yīng)，使其能夠進(jìn)行更加動(dòng)態(tài)和多樣化的對(duì)話。

Elon Musk是OpenAI的創(chuàng)始人之一，他說(shuō)：“ChatGPT優(yōu)秀得可怕。我們離危險(xiǎn)的強(qiáng)大人工智能不遠(yuǎn)了”。

尾注

Ilya Sutskever對(duì)人工智能的熱情推動(dòng)了他的突破性研究，改變了該領(lǐng)域的進(jìn)程。他在深度學(xué)習(xí)和機(jī)器學(xué)習(xí)方面的工作對(duì)推進(jìn)技術(shù)水平和塑造該領(lǐng)域的未來(lái)方向起到了重要作用。

我們也親身見(jiàn)證了Sutskever在人工智能領(lǐng)域工作的影響。他已經(jīng)改變了該領(lǐng)域的進(jìn)程，并將繼續(xù)在這個(gè)方向努力。盡管多次面對(duì)物質(zhì)上的誘惑，Sutskever還是選擇了追求他的激情，專注于他的研究；他對(duì)工作的奉獻(xiàn)對(duì)任何研究人員來(lái)說(shuō)都是堪稱典范。

如今我們已經(jīng)見(jiàn)證了Sutskever對(duì)我們這個(gè)世界的影響。很顯然，這僅僅是個(gè)開始。