從神經(jīng)網(wǎng)絡(luò)AlexNet、到ChatGPT，再到生成式AI的大爆發(fā)，英偉達(dá)的GPU功不可沒。

在這場AI淘金熱中，英偉達(dá)的市值水漲船高，成功進(jìn)入萬億美元俱樂部，成為全球第6大市值最高的公司。

若說英偉達(dá)的成功背后，一定離不開這位靈魂人物——黃仁勛。

人人皆知喬布斯、蓋茨等科技巨人的故事，而一直不愿意拋頭露面的老黃，除了一身皮衣，更多的經(jīng)歷鮮有人知。

這次，紐約客的最新采訪深挖了老黃創(chuàng)業(yè)歷程、管理方式、以及如何帶領(lǐng)英偉達(dá)走向成功的過程。

老黃早年那些事

黃仁勛出生于1963年的臺灣，九歲時，他和哥哥被送往美國，在肯塔基州的奧奈達(dá)浸信會學(xué)院（ Oneida Baptist Institute, in Kentucky）學(xué)習(xí)。

黃仁勛和一個17歲的室友住在一起，他教室友識字，作為交換，室友教他臥推。每天晚上睡覺前，黃仁勛都要做一百個俯臥撐。

由于年齡太小，黃仁勛不能在這所學(xué)校上課，于是他去了附近的一所公立學(xué)校。

當(dāng)時，校長向大家介紹了這位身材矮小、留著長發(fā)、操著濃重口音的亞洲移民。然而，也正因為這些特質(zhì)，讓黃仁勛飽受同學(xué)的霸凌。

幾年后，黃仁勛的父母獲準(zhǔn)進(jìn)入美國，定居在俄勒岡州，兄弟倆與父母團(tuán)聚。

黃仁勛高中時成績優(yōu)異，是全國排名靠前的乒乓球運動員。他參加了學(xué)校的數(shù)學(xué)、計算機(jī)和科學(xué)俱樂部，跳了兩級，16歲就畢業(yè)了?！撬脖硎尽肝覜]有女朋友。」

后來，黃仁勛進(jìn)入俄勒岡州立大學(xué)，主修電子工程。

在入門課上，他的實驗搭檔是Lori Mills，認(rèn)真、呆萌、有著一頭棕色卷發(fā)。

據(jù)黃仁勛回憶，當(dāng)時電子工程專業(yè)有250個學(xué)生，大概只有三個女生。男生們爭相吸引Mills的注意，黃仁勛覺得自己處于劣勢。「我是班里最年輕的孩子，看上去只有12歲左右」。

——然而，每個周末，黃仁勛都會給Mills打電話，纏著她一起做作業(yè)。

「我想給她留下深刻印象，不是因為我的長相，而是因為我完成作業(yè)的能力很強(qiáng)。」

做了六個月的功課后，黃仁勛鼓起勇氣約她出去。她接受了邀請。

畢業(yè)后，黃仁勛和Mills在硅谷找到了一份微芯片設(shè)計師的工作——「她實際上比我掙的多」。

后來兩人結(jié)婚了，幾年后，Mills離開了工作崗位，去撫養(yǎng)他們的孩子。那時，黃仁勛已經(jīng)開始經(jīng)營自己的部門，晚上則在斯坦福大學(xué)讀研究生。

3人創(chuàng)業(yè)，緣起一家餐廳

1993年，他與Chris Malachowsky和Curtis Priem兩位資深微芯片設(shè)計師共同創(chuàng)立了英偉達(dá)公司。

Malachowsky和Priem希望設(shè)計出一種圖形芯片。最初他們給公司起名叫NVision，但后來得知這個名字已經(jīng)被一家衛(wèi)生紙制造商使用。

黃仁勛建議使用英偉達(dá)，取自拉丁文i英偉達(dá)，意為「嫉妒」。他選擇丹尼餐廳（Denny's）作為組織業(yè)務(wù)的場所，是因為這里比家里安靜，而且有便宜的咖啡。

他曾于1980年代在俄勒岡州的連鎖餐廳工作過?！肝野l(fā)現(xiàn)，在逆境中我的思維最活躍?！?/span>

黃仁勛喜歡電子游戲，他認(rèn)為市場需要更好的圖形芯片。那時，藝術(shù)家們開始用被稱為「基元」的形狀來組裝三維多邊形，而不是手工繪制像素，這樣做省時省力，但需要新的芯片。

英偉達(dá)的競爭對手使用三角形作為基元，但黃仁勛和同伴決定改用四邊形?！贿^后來證明這是一個錯誤，差點毀了公司。因為在英偉達(dá)發(fā)布第一款產(chǎn)品后不久，微軟宣布其圖形軟件將只支持三角形。

由于資金短缺，黃仁勛決定回到傳統(tǒng)的三角形方法。1996年，他裁掉了英偉達(dá)一百多名員工中的一半，然后把公司剩余的資金押在了未經(jīng)測試的微芯片生產(chǎn)上，他不確定這些微芯片是否能成功。

——「成功和失敗的概率五五開，但無論如何我們都要倒閉了」。

當(dāng)這款名為RIVA 128的產(chǎn)品上市時，英偉達(dá)的資金僅夠支付一個月的工資。但這場賭博得到了回報，英偉達(dá)在四個月內(nèi)賣出了一百萬臺RIVA。

黃仁勛鼓勵他的員工帶著絕望的情緒繼續(xù)出貨，在以后的日子里，每逢面對員工演講，他的開場白就是「我們公司還有三十天就要倒閉了」。這句話至今仍是公司的非正式座右銘。

位于圣克拉拉（ Santa Clara）的英偉達(dá)總部中心有兩座巨大的建筑，每座建筑都呈三角形。從沙發(fā)、地毯到小便池的防濺罩，整個大樓內(nèi)部都是這種形狀的縮影。

每棟大樓的頂層都有一個酒吧，公司鼓勵員工把辦公室當(dāng)作靈活的空間，在這里用餐、編碼和社交。如果員工在會議桌上用餐，AI可以在一小時內(nèi)派遣清潔工進(jìn)行清理。在股價上漲之前，英偉達(dá)就被評為美國最佳工作場所之一。

在標(biāo)準(zhǔn)計算機(jī)體系結(jié)構(gòu)中，大部分工作由被稱為中央處理器（CPU）的微型芯片完成。幾十年來，CPU的主要制造商一直是英特爾，英特爾曾多次試圖迫使英偉達(dá)退出市場。

黃仁勛描述英偉達(dá)與英特爾之間的關(guān)系是「Tom and Jerry relationship」——每當(dāng)他們靠近，我們就拿起芯片跑路。

對此，英偉達(dá)采用了另一種方法。1999年，公司在上市后不久就推出了名為GeForce的圖形卡。

與通用CPU不同的是，GPU把復(fù)雜的數(shù)學(xué)任務(wù)分解成小的計算，然后用并行計算的方法一次處理完。CPU的功能就像一輛送貨卡車，一次送一個包裹；而GPU則更像一支摩托車隊，在城市中穿梭。

GeForce系列取得了成功?！禥uake》（《雷神之錘》）系列視頻游戲推動了它的流行，該游戲使用并行計算來渲染玩家可以用榴彈發(fā)射器射擊的怪物。

《Quake》系列還推出了多人對戰(zhàn)的模式，PC游戲玩家為了獲得優(yōu)勢，每次升級都會購買新的GeForce顯卡。

2000年，斯坦福大學(xué)計算機(jī)圖形學(xué)的研究生Ian Buck將32塊GeForce顯卡連接在一起，使用8臺投影儀玩Quake?！@是第一臺8K分辨率的游戲機(jī)，它占據(jù)了整面墻。 「It was beautiful.」

GeForce顯卡附帶了一種叫做「著色器」的原始編程工具。在美國研究機(jī)構(gòu)darpa的資助下，Ian Buck黑進(jìn)了著色器，訪問了下面的并行計算電路，將GeForce變成了一臺低成本的超級計算機(jī)。

隨后不久，Ian Buck就開始在英偉達(dá)上班了。

自2004年以來，Buck一直負(fù)責(zé)英偉達(dá)超級計算軟件包（CUDA）的開發(fā)工作。黃仁勛的愿景是讓CUDA能夠在每一塊GeForce顯卡上運行。

在Buck開發(fā)軟件的同時，英偉達(dá)的硬件團(tuán)隊開始在微芯片上為超算分配空間。英偉達(dá)的首席芯片工程師Arjun Prabhu將微芯片設(shè)計比作城市規(guī)劃，芯片的不同區(qū)域?qū)ｉT用于執(zhí)行不同的任務(wù)。

2006年底，當(dāng)CUDA發(fā)布時，華爾街的反應(yīng)是驚愕。黃仁勛將超級計算帶給了大眾，但大眾并沒有表現(xiàn)出他們需要這樣的東西。

硅谷流行播客《Acquired》的主持人Ben Gilbert表示，英偉達(dá)花了數(shù)十億美元瞄準(zhǔn)學(xué)術(shù)和科學(xué)計算的一個不起眼的角落，而這在當(dāng)時并不是一個大市場。

到2008年底，英偉達(dá)的股價下跌了70%。

黃仁勛認(rèn)為，CUDA的存在將擴(kuò)大超級計算領(lǐng)域。但這一觀點并未得到廣泛認(rèn)同。

2張英偉達(dá)顯卡，1個CUDA架構(gòu)，引爆神經(jīng)網(wǎng)絡(luò)

20世紀(jì)初，提起AI，完全是一個冷門的學(xué)科。人工智能在圖像識別、語音識別等領(lǐng)域的進(jìn)展一直止步不前。

在這個不受歡迎的學(xué)術(shù)領(lǐng)域中，使用「神經(jīng)網(wǎng)絡(luò)」（受人腦啟發(fā)的計算結(jié)構(gòu)）來解決問題，更是沒有得到許多計算機(jī)科學(xué)家的青睞。

當(dāng)時，深度學(xué)習(xí)研究員Bryan Catanzaro勸阻老黃，「不要研究神經(jīng)網(wǎng)絡(luò)。因為當(dāng)時人們認(rèn)為，這已經(jīng)過時了，而且不起作用」。

Catanzaro還將繼續(xù)研究神經(jīng)網(wǎng)絡(luò)的研究人員，統(tǒng)一稱為「荒野中的先知」。

這其中的一位先知，便指的是從多倫多大學(xué)教授退休、有AI教父之稱的Geoffrey Hinton。

2009年，Hinton的研究小組使用英偉達(dá)的CUDA平臺，訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)來識別語音。

沒想到，這項研究結(jié)果的質(zhì)量，讓Hinton本人感到非常驚訝，并在當(dāng)年的一次會議上匯報了結(jié)果。然后，他主動聯(lián)系了英偉達(dá)。

「我發(fā)了一封電子郵件說：『聽著，我剛剛告訴上千名機(jī)器學(xué)習(xí)研究人員，他們應(yīng)該去購買英偉達(dá)顯卡。你能免費送我一塊嗎？』」。

然而，英偉達(dá)最后的回復(fù)只有一個字「No」。

盡管受到了冷落，Hinton還是鼓勵自己的學(xué)生使用CUDA，包括自己引以為傲的高徒Alex Krizhevsky。

2012年，Krizhevsky和研究伙伴Ilya Sutskever在預(yù)算緊張的情況下，購買了2張GeForce顯卡——GTX 580 GPU。

然后，Krizhevsky開始在英偉達(dá)的并行計算平臺上，訓(xùn)練視覺識別神經(jīng)網(wǎng)絡(luò)——AlexNet，一周內(nèi)就向其輸入了數(shù)千萬張圖像。

Hinton回憶道，「他的臥室里那兩塊GPU一直嗡嗡運轉(zhuǎn)不停，可想而知，他父母一定支付了相當(dāng)可觀的電費」。

隨后，Krizhevsky和小伙伴一起帶著AlexNet參加了一年一度的ImageNet大賽，一舉奪得冠軍，第一個深度卷積網(wǎng)絡(luò)模型就此誕生了。

GeForce顯卡的能力，讓Ilya和Krizhevsky雙雙感到驚訝。

其實，2012年早些時候，谷歌研究人員吳恩達(dá)、Jeff Dean曾訓(xùn)練了一個可以「識別貓」的神經(jīng)網(wǎng)絡(luò)。

谷歌這項工作使用了大約1.6萬個CPU，而Sutskever和Krizhevsky僅用2塊英偉達(dá)電路板就產(chǎn)生了「世界級」的效果。

AlexNet正確識別了滑板車、豹子和集裝箱船等物品的圖片

然而，AlexNet在比賽中得分如此之高，以至于組織者最初懷疑Krizhevsky是否以某種方式作弊。因為神經(jīng)網(wǎng)絡(luò)在當(dāng)時并不受歡迎，Ilya和Krizhevsky是唯一一個使用這種技術(shù)的參賽團(tuán)隊。

Hinton稱，「那是一種大爆炸的時刻。這就是范式的轉(zhuǎn)變」。

這篇「ImageNet Classification with Deep Convolutional Neural Networks」9頁神作自2021年誕生以來，至今已被引用了了14萬+次，成為計算機(jī)史上重要的里程碑。

Krizhevsky開創(chuàng)了許多重要的編程技術(shù)，但他的主要發(fā)現(xiàn)是，「專用的GPU可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)，速度比通用CPU快100倍」。

Hinton補(bǔ)充道，「如果沒有CUDA，做機(jī)器學(xué)習(xí)就會非常麻煩」。

隨后幾年內(nèi)，ImageNet競賽的每個參賽者都在用上了「神經(jīng)網(wǎng)絡(luò)」。到20世紀(jì)20年代中期，在GPU上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)識別圖像的準(zhǔn)確率達(dá)到了96%，遠(yuǎn)遠(yuǎn)超過了人類。

過去十年來，黃仁勛在推動超級計算和GPU的普及上取得了巨大的成功。

他表示，「事實上，它們現(xiàn)在可以解決完全非結(jié)構(gòu)化的計算機(jī)視覺問題，那么接下來，你還能教它做什么？」

英偉達(dá)從圖形公司，升級「AI公司」

答案似乎是：什么都可以！

黃仁勛總結(jié)說，神經(jīng)網(wǎng)絡(luò)將徹底改變社會，他可以利用CUDA占領(lǐng)必要的硬件市場。

當(dāng)時，他宣布再次押注公司。

他在周五晚上發(fā)出一封郵件，「一切都將轉(zhuǎn)向深度學(xué)習(xí)，我們不再是一家圖形公司。從下周一早上開始，我們是一家人工智能公司」。

英偉達(dá)的蛻變，從字面上看，就是這么快。

就在黃仁勛發(fā)送那封電子郵件之時，他找到了英偉達(dá)首席人工智能研究員Catanzaro，進(jìn)行了一次思想實驗。

Catanzaro表示，「他讓我想象，把英偉達(dá)的8000名員工都帶進(jìn)停車場，然后我可以自由地從停車場選擇任何人加入自己的團(tuán)隊」。

H100，成大模型掘金鏟

在AlexNet成功之后，風(fēng)險投資人開始向AI投入大筆資金。

Andreessen Horowitz公司的Marc Andreessen在2016年表示，「我們一直在投資許多將深度學(xué)習(xí)應(yīng)用于許多領(lǐng)域的初創(chuàng)公司，每一家公司都有效地建立在英偉達(dá)的平臺之上」。

大約在那個時候，英偉達(dá)向OpenAI的研究小組，交付了第一臺專用的人工智能超級計算機(jī)DGX-1。

黃仁勛親自把DGX-1帶到了OpenAI的辦公室，是由時任董事長的馬斯克開箱。

2017年，谷歌的研究人員提出了Transforme的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

次年，OpenAI的研究人員便使用谷歌的框架構(gòu)建了第一個「生成式預(yù)訓(xùn)練Transformer」。

GPT模型在英偉達(dá)超級計算機(jī)上進(jìn)行訓(xùn)練，使用了大量的文本語料庫，并學(xué)習(xí)如何建立類似人類的聯(lián)系。

2022年底，經(jīng)過多年迭代，當(dāng)紅炸子雞ChatGPT終于面向公眾發(fā)布。

也就是從那時起，英偉達(dá)顯卡需求爆單。

其中，最強(qiáng)悍的DGX H100，一個重達(dá)160多公斤的金屬盒子，價格高達(dá)50萬美元，已經(jīng)缺貨了數(shù)月。

DGX H100的運行速度是訓(xùn)練ChatGPT的硬件的5倍，并且可以在不到1分鐘的時間內(nèi)訓(xùn)練AlexNet。

英偉達(dá)預(yù)計，將在23年年底前售出50萬臺DGX H100。

應(yīng)用于神經(jīng)網(wǎng)絡(luò)的處理能力越強(qiáng)，其輸出就越復(fù)雜。對于最先進(jìn)的AI系統(tǒng)，或許需要數(shù)十個英偉達(dá)DGX H100。

如果這還不夠，英偉達(dá)將把這些計算機(jī)像圖書館堆棧一樣排列，用價值數(shù)千萬美元的超級計算設(shè)備填滿數(shù)據(jù)中心。

顯然，人工智能的能力沒有明顯的限制。

在接下來的幾年里，英偉達(dá)的硬件將加速進(jìn)化到計算機(jī)時鐘周期的速度，從而訓(xùn)練出各種類似的人工智能模型。

據(jù)介紹，英偉達(dá)賣出的設(shè)備毛利率接近70%。

巨大的利潤讓所有開發(fā)AI訓(xùn)練硬件的谷歌、特斯拉，以及初創(chuàng)公司都垂涎欲滴。

說起來，英偉達(dá)最激烈的競爭對手是AMD。

自2014年以來，AMD一直由另一位才華橫溢的工程師蘇姿豐（Lisa Su）經(jīng)營。自她成為公司負(fù)責(zé)人以來的幾年里，AMD的股價上漲了30倍，使她成為這個時代最成功的半導(dǎo)體CEO，僅次于黃仁勛。

值得一提的是，老黃和蘇姿豐還是親戚關(guān)系。

黃氏管理法

老黃本人很少接受采訪。他表示，「我并沒有做什么特別的事，主要是我的團(tuán)隊的努力，我也不確定為什么我被選為首席執(zhí)行官，我并沒有任何特別的驅(qū)動力」。

當(dāng)老黃下定決心在30歲經(jīng)營一家企業(yè)的時候，他的聯(lián)創(chuàng)Chris Malachowsky說，「你真的不是一個好演講者，因為你比較內(nèi)向」。

老黃表示，「我只有一個超能力——做作業(yè)」。英偉達(dá)軟件主管Dwight Diercks稱老黃可以在一個周末掌握任何課題。

黃仁勛更喜歡敏捷的公司結(jié)構(gòu)，沒有固定的部門或等級制度。取而代之的是，員工每周提交一份清單，列出他們正在做的5件最重要的事情。

而他自己，每天也要寫幾百封回復(fù)的郵件，與員工聊天，通常僅有幾句話。一位高管將這些郵件比作俳句，另一位還比作贖金票據(jù)。

老黃自己還制定了一套自己經(jīng)常引用的管理格言。

在安排任務(wù)時，老黃會要求員工考慮「光速」。這不僅意味著快速行動;相反，員工應(yīng)該考慮一項任務(wù)可以完成的絕對速度，然后朝著可實現(xiàn)的目標(biāo)逆向努力。

也許老黃最激進(jìn)的信念是「失敗必須分享」。

2000年初，英偉達(dá)曾出貨了一款有故障的顯卡，風(fēng)扇聲音過大、過度活躍。

然而，黃仁勛沒有解雇該顯卡的產(chǎn)品經(jīng)理，而是安排了一次會議，讓經(jīng)理們向幾百人介紹了，他們做出的每一個導(dǎo)致慘敗的決定。

英偉達(dá)的員工們有時也會抱怨，老黃的性格反復(fù)無常。

黃仁勛表示，「這其實是我腦子里想的和嘴里說的不一致。當(dāng)錯位很嚴(yán)重時，就會表現(xiàn)為憤怒」。

即便在他很冷靜的時候，黃仁勛的強(qiáng)勢也可能是壓倒性的。一名員工形容，「與他交流就像把手指插進(jìn)電插座里」。

盡管如此，英偉達(dá)員工流失率很低。

GPU的銷量暴漲，也讓英偉達(dá)成為了世界算力霸主，成功進(jìn)入萬億美元俱樂部。這背后離不開領(lǐng)導(dǎo)人黃仁勛的「瘋狂式」的管理策略。

老黃曾表示，當(dāng)你創(chuàng)立一家公司時，很自然地從第一性原理開始。