從神經(jīng)網(wǎng)絡(luò)AlexNet、到ChatGPT，再到生成式AI的大爆發(fā)，英偉達(dá)的GPU功不可沒。

在這場AI淘金熱中，英偉達(dá)的市值水漲船高，成功進(jìn)入萬億美元俱樂部，成為全球第6大市值最高的公司。

若說英偉達(dá)的成功背后，一定離不開這位靈魂人物——黃仁勛。

人人皆知喬布斯、蓋茨等科技巨人的故事，而一直不愿意拋頭露面的老黃，除了一身皮衣，更多的經(jīng)歷鮮有人知。

這次，紐約客的最新采訪深挖了老黃創(chuàng)業(yè)歷程、管理方式、以及如何帶領(lǐng)英偉達(dá)走向成功的過程。

老黃早年那些事

黃仁勛出生于1963年的臺灣，九歲時(shí)，他和哥哥被送往美國，在肯塔基州的奧奈達(dá)浸信會學(xué)院（ Oneida Baptist Institute, in Kentucky）學(xué)習(xí)。

黃仁勛和一個(gè)17歲的室友住在一起，他教室友識字，作為交換，室友教他臥推。每天晚上睡覺前，黃仁勛都要做一百個(gè)俯臥撐。

由于年齡太小，黃仁勛不能在這所學(xué)校上課，于是他去了附近的一所公立學(xué)校。

當(dāng)時(shí)，校長向大家介紹了這位身材矮小、留著長發(fā)、操著濃重口音的亞洲移民。然而，也正因?yàn)檫@些特質(zhì)，讓黃仁勛飽受同學(xué)的霸凌。

幾年后，黃仁勛的父母獲準(zhǔn)進(jìn)入美國，定居在俄勒岡州，兄弟倆與父母團(tuán)聚。

黃仁勛高中時(shí)成績優(yōu)異，是全國排名靠前的乒乓球運(yùn)動員。他參加了學(xué)校的數(shù)學(xué)、計(jì)算機(jī)和科學(xué)俱樂部，跳了兩級，16歲就畢業(yè)了。——但是他也表示「我沒有女朋友。」

后來，黃仁勛進(jìn)入俄勒岡州立大學(xué)，主修電子工程。

在入門課上，他的實(shí)驗(yàn)搭檔是Lori Mills，認(rèn)真、呆萌、有著一頭棕色卷發(fā)。

據(jù)黃仁勛回憶，當(dāng)時(shí)電子工程專業(yè)有250個(gè)學(xué)生，大概只有三個(gè)女生。男生們爭相吸引Mills的注意，黃仁勛覺得自己處于劣勢?！肝沂前嗬镒钅贻p的孩子，看上去只有12歲左右」。

——然而，每個(gè)周末，黃仁勛都會給Mills打電話，纏著她一起做作業(yè)。

「我想給她留下深刻印象，不是因?yàn)槲业拈L相，而是因?yàn)槲彝瓿勺鳂I(yè)的能力很強(qiáng)。」

做了六個(gè)月的功課后，黃仁勛鼓起勇氣約她出去。她接受了邀請。

畢業(yè)后，黃仁勛和Mills在硅谷找到了一份微芯片設(shè)計(jì)師的工作——「她實(shí)際上比我掙的多」。

后來兩人結(jié)婚了，幾年后，Mills離開了工作崗位，去撫養(yǎng)他們的孩子。那時(shí)，黃仁勛已經(jīng)開始經(jīng)營自己的部門，晚上則在斯坦福大學(xué)讀研究生。

3人創(chuàng)業(yè)，緣起一家餐廳

1993年，他與Chris Malachowsky和Curtis Priem兩位資深微芯片設(shè)計(jì)師共同創(chuàng)立了英偉達(dá)公司。

Malachowsky和Priem希望設(shè)計(jì)出一種圖形芯片。最初他們給公司起名叫NVision，但后來得知這個(gè)名字已經(jīng)被一家衛(wèi)生紙制造商使用。

黃仁勛建議使用英偉達(dá)，取自拉丁文i英偉達(dá)，意為「嫉妒」。他選擇丹尼餐廳（Denny's）作為組織業(yè)務(wù)的場所，是因?yàn)檫@里比家里安靜，而且有便宜的咖啡。

他曾于1980年代在俄勒岡州的連鎖餐廳工作過?！肝野l(fā)現(xiàn)，在逆境中我的思維最活躍?！?/span>

黃仁勛喜歡電子游戲，他認(rèn)為市場需要更好的圖形芯片。那時(shí)，藝術(shù)家們開始用被稱為「基元」的形狀來組裝三維多邊形，而不是手工繪制像素，這樣做省時(shí)省力，但需要新的芯片。

英偉達(dá)的競爭對手使用三角形作為基元，但黃仁勛和同伴決定改用四邊形。——不過后來證明這是一個(gè)錯(cuò)誤，差點(diǎn)毀了公司。因?yàn)樵谟ミ_(dá)發(fā)布第一款產(chǎn)品后不久，微軟宣布其圖形軟件將只支持三角形。

由于資金短缺，黃仁勛決定回到傳統(tǒng)的三角形方法。1996年，他裁掉了英偉達(dá)一百多名員工中的一半，然后把公司剩余的資金押在了未經(jīng)測試的微芯片生產(chǎn)上，他不確定這些微芯片是否能成功。

——「成功和失敗的概率五五開，但無論如何我們都要倒閉了」。

當(dāng)這款名為RIVA 128的產(chǎn)品上市時(shí)，英偉達(dá)的資金僅夠支付一個(gè)月的工資。但這場賭博得到了回報(bào)，英偉達(dá)在四個(gè)月內(nèi)賣出了一百萬臺RIVA。

黃仁勛鼓勵(lì)他的員工帶著絕望的情緒繼續(xù)出貨，在以后的日子里，每逢面對員工演講，他的開場白就是「我們公司還有三十天就要倒閉了」。這句話至今仍是公司的非正式座右銘。

位于圣克拉拉（ Santa Clara）的英偉達(dá)總部中心有兩座巨大的建筑，每座建筑都呈三角形。從沙發(fā)、地毯到小便池的防濺罩，整個(gè)大樓內(nèi)部都是這種形狀的縮影。

每棟大樓的頂層都有一個(gè)酒吧，公司鼓勵(lì)員工把辦公室當(dāng)作靈活的空間，在這里用餐、編碼和社交。如果員工在會議桌上用餐，AI可以在一小時(shí)內(nèi)派遣清潔工進(jìn)行清理。在股價(jià)上漲之前，英偉達(dá)就被評為美國最佳工作場所之一。

在標(biāo)準(zhǔn)計(jì)算機(jī)體系結(jié)構(gòu)中，大部分工作由被稱為中央處理器（CPU）的微型芯片完成。幾十年來，CPU的主要制造商一直是英特爾，英特爾曾多次試圖迫使英偉達(dá)退出市場。

黃仁勛描述英偉達(dá)與英特爾之間的關(guān)系是「Tom and Jerry relationship」——每當(dāng)他們靠近，我們就拿起芯片跑路。

對此，英偉達(dá)采用了另一種方法。1999年，公司在上市后不久就推出了名為GeForce的圖形卡。

與通用CPU不同的是，GPU把復(fù)雜的數(shù)學(xué)任務(wù)分解成小的計(jì)算，然后用并行計(jì)算的方法一次處理完。CPU的功能就像一輛送貨卡車，一次送一個(gè)包裹；而GPU則更像一支摩托車隊(duì)，在城市中穿梭。

GeForce系列取得了成功?！禥uake》（《雷神之錘》）系列視頻游戲推動了它的流行，該游戲使用并行計(jì)算來渲染玩家可以用榴彈發(fā)射器射擊的怪物。

《Quake》系列還推出了多人對戰(zhàn)的模式，PC游戲玩家為了獲得優(yōu)勢，每次升級都會購買新的GeForce顯卡。

2000年，斯坦福大學(xué)計(jì)算機(jī)圖形學(xué)的研究生Ian Buck將32塊GeForce顯卡連接在一起，使用8臺投影儀玩Quake?！@是第一臺8K分辨率的游戲機(jī)，它占據(jù)了整面墻。 「It was beautiful.」

GeForce顯卡附帶了一種叫做「著色器」的原始編程工具。在美國研究機(jī)構(gòu)darpa的資助下，Ian Buck黑進(jìn)了著色器，訪問了下面的并行計(jì)算電路，將GeForce變成了一臺低成本的超級計(jì)算機(jī)。

隨后不久，Ian Buck就開始在英偉達(dá)上班了。

自2004年以來，Buck一直負(fù)責(zé)英偉達(dá)超級計(jì)算軟件包（CUDA）的開發(fā)工作。黃仁勛的愿景是讓CUDA能夠在每一塊GeForce顯卡上運(yùn)行。

在Buck開發(fā)軟件的同時(shí)，英偉達(dá)的硬件團(tuán)隊(duì)開始在微芯片上為超算分配空間。英偉達(dá)的首席芯片工程師Arjun Prabhu將微芯片設(shè)計(jì)比作城市規(guī)劃，芯片的不同區(qū)域?qū)ｉT用于執(zhí)行不同的任務(wù)。

2006年底，當(dāng)CUDA發(fā)布時(shí)，華爾街的反應(yīng)是驚愕。黃仁勛將超級計(jì)算帶給了大眾，但大眾并沒有表現(xiàn)出他們需要這樣的東西。

硅谷流行播客《Acquired》的主持人Ben Gilbert表示，英偉達(dá)花了數(shù)十億美元瞄準(zhǔn)學(xué)術(shù)和科學(xué)計(jì)算的一個(gè)不起眼的角落，而這在當(dāng)時(shí)并不是一個(gè)大市場。

到2008年底，英偉達(dá)的股價(jià)下跌了70%。

黃仁勛認(rèn)為，CUDA的存在將擴(kuò)大超級計(jì)算領(lǐng)域。但這一觀點(diǎn)并未得到廣泛認(rèn)同。

2張英偉達(dá)顯卡，1個(gè)CUDA架構(gòu)，引爆神經(jīng)網(wǎng)絡(luò)

20世紀(jì)初，提起AI，完全是一個(gè)冷門的學(xué)科。人工智能在圖像識別、語音識別等領(lǐng)域的進(jìn)展一直止步不前。

在這個(gè)不受歡迎的學(xué)術(shù)領(lǐng)域中，使用「神經(jīng)網(wǎng)絡(luò)」（受人腦啟發(fā)的計(jì)算結(jié)構(gòu)）來解決問題，更是沒有得到許多計(jì)算機(jī)科學(xué)家的青睞。

當(dāng)時(shí)，深度學(xué)習(xí)研究員Bryan Catanzaro勸阻老黃，「不要研究神經(jīng)網(wǎng)絡(luò)。因?yàn)楫?dāng)時(shí)人們認(rèn)為，這已經(jīng)過時(shí)了，而且不起作用」。

Catanzaro還將繼續(xù)研究神經(jīng)網(wǎng)絡(luò)的研究人員，統(tǒng)一稱為「荒野中的先知」。

這其中的一位先知，便指的是從多倫多大學(xué)教授退休、有AI教父之稱的Geoffrey Hinton。

2009年，Hinton的研究小組使用英偉達(dá)的CUDA平臺，訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)來識別語音。

沒想到，這項(xiàng)研究結(jié)果的質(zhì)量，讓Hinton本人感到非常驚訝，并在當(dāng)年的一次會議上匯報(bào)了結(jié)果。然后，他主動聯(lián)系了英偉達(dá)。

「我發(fā)了一封電子郵件說：『聽著，我剛剛告訴上千名機(jī)器學(xué)習(xí)研究人員，他們應(yīng)該去購買英偉達(dá)顯卡。你能免費(fèi)送我一塊嗎？』」。

然而，英偉達(dá)最后的回復(fù)只有一個(gè)字「No」。

盡管受到了冷落，Hinton還是鼓勵(lì)自己的學(xué)生使用CUDA，包括自己引以為傲的高徒Alex Krizhevsky。

2012年，Krizhevsky和研究伙伴Ilya Sutskever在預(yù)算緊張的情況下，購買了2張GeForce顯卡——GTX 580 GPU。

然后，Krizhevsky開始在英偉達(dá)的并行計(jì)算平臺上，訓(xùn)練視覺識別神經(jīng)網(wǎng)絡(luò)——AlexNet，一周內(nèi)就向其輸入了數(shù)千萬張圖像。

Hinton回憶道，「他的臥室里那兩塊GPU一直嗡嗡運(yùn)轉(zhuǎn)不停，可想而知，他父母一定支付了相當(dāng)可觀的電費(fèi)」。

隨后，Krizhevsky和小伙伴一起帶著AlexNet參加了一年一度的ImageNet大賽，一舉奪得冠軍，第一個(gè)深度卷積網(wǎng)絡(luò)模型就此誕生了。

GeForce顯卡的能力，讓Ilya和Krizhevsky雙雙感到驚訝。

其實(shí)，2012年早些時(shí)候，谷歌研究人員吳恩達(dá)、Jeff Dean曾訓(xùn)練了一個(gè)可以「識別貓」的神經(jīng)網(wǎng)絡(luò)。

谷歌這項(xiàng)工作使用了大約1.6萬個(gè)CPU，而Sutskever和Krizhevsky僅用2塊英偉達(dá)電路板就產(chǎn)生了「世界級」的效果。

AlexNet正確識別了滑板車、豹子和集裝箱船等物品的圖片

然而，AlexNet在比賽中得分如此之高，以至于組織者最初懷疑Krizhevsky是否以某種方式作弊。因?yàn)樯窠?jīng)網(wǎng)絡(luò)在當(dāng)時(shí)并不受歡迎，Ilya和Krizhevsky是唯一一個(gè)使用這種技術(shù)的參賽團(tuán)隊(duì)。

Hinton稱，「那是一種大爆炸的時(shí)刻。這就是范式的轉(zhuǎn)變」。

這篇「ImageNet Classification with Deep Convolutional Neural Networks」9頁神作自2021年誕生以來，至今已被引用了了14萬+次，成為計(jì)算機(jī)史上重要的里程碑。

Krizhevsky開創(chuàng)了許多重要的編程技術(shù)，但他的主要發(fā)現(xiàn)是，「專用的GPU可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)，速度比通用CPU快100倍」。

Hinton補(bǔ)充道，「如果沒有CUDA，做機(jī)器學(xué)習(xí)就會非常麻煩」。

隨后幾年內(nèi)，ImageNet競賽的每個(gè)參賽者都在用上了「神經(jīng)網(wǎng)絡(luò)」。到20世紀(jì)20年代中期，在GPU上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)識別圖像的準(zhǔn)確率達(dá)到了96%，遠(yuǎn)遠(yuǎn)超過了人類。

過去十年來，黃仁勛在推動超級計(jì)算和GPU的普及上取得了巨大的成功。

他表示，「事實(shí)上，它們現(xiàn)在可以解決完全非結(jié)構(gòu)化的計(jì)算機(jī)視覺問題，那么接下來，你還能教它做什么？」

英偉達(dá)從圖形公司，升級「AI公司」

答案似乎是：什么都可以！

黃仁勛總結(jié)說，神經(jīng)網(wǎng)絡(luò)將徹底改變社會，他可以利用CUDA占領(lǐng)必要的硬件市場。

當(dāng)時(shí)，他宣布再次押注公司。

他在周五晚上發(fā)出一封郵件，「一切都將轉(zhuǎn)向深度學(xué)習(xí)，我們不再是一家圖形公司。從下周一早上開始，我們是一家人工智能公司」。

英偉達(dá)的蛻變，從字面上看，就是這么快。

就在黃仁勛發(fā)送那封電子郵件之時(shí)，他找到了英偉達(dá)首席人工智能研究員Catanzaro，進(jìn)行了一次思想實(shí)驗(yàn)。

Catanzaro表示，「他讓我想象，把英偉達(dá)的8000名員工都帶進(jìn)停車場，然后我可以自由地從停車場選擇任何人加入自己的團(tuán)隊(duì)」。

H100，成大模型掘金鏟

在AlexNet成功之后，風(fēng)險(xiǎn)投資人開始向AI投入大筆資金。

Andreessen Horowitz公司的Marc Andreessen在2016年表示，「我們一直在投資許多將深度學(xué)習(xí)應(yīng)用于許多領(lǐng)域的初創(chuàng)公司，每一家公司都有效地建立在英偉達(dá)的平臺之上」。

大約在那個(gè)時(shí)候，英偉達(dá)向OpenAI的研究小組，交付了第一臺專用的人工智能超級計(jì)算機(jī)DGX-1。

黃仁勛親自把DGX-1帶到了OpenAI的辦公室，是由時(shí)任董事長的馬斯克開箱。

2017年，谷歌的研究人員提出了Transforme的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

次年，OpenAI的研究人員便使用谷歌的框架構(gòu)建了第一個(gè)「生成式預(yù)訓(xùn)練Transformer」。

GPT模型在英偉達(dá)超級計(jì)算機(jī)上進(jìn)行訓(xùn)練，使用了大量的文本語料庫，并學(xué)習(xí)如何建立類似人類的聯(lián)系。

2022年底，經(jīng)過多年迭代，當(dāng)紅炸子雞ChatGPT終于面向公眾發(fā)布。

也就是從那時(shí)起，英偉達(dá)顯卡需求爆單。

其中，最強(qiáng)悍的DGX H100，一個(gè)重達(dá)160多公斤的金屬盒子，價(jià)格高達(dá)50萬美元，已經(jīng)缺貨了數(shù)月。

DGX H100的運(yùn)行速度是訓(xùn)練ChatGPT的硬件的5倍，并且可以在不到1分鐘的時(shí)間內(nèi)訓(xùn)練AlexNet。

英偉達(dá)預(yù)計(jì)，將在23年年底前售出50萬臺DGX H100。

應(yīng)用于神經(jīng)網(wǎng)絡(luò)的處理能力越強(qiáng)，其輸出就越復(fù)雜。對于最先進(jìn)的AI系統(tǒng)，或許需要數(shù)十個(gè)英偉達(dá)DGX H100。

如果這還不夠，英偉達(dá)將把這些計(jì)算機(jī)像圖書館堆棧一樣排列，用價(jià)值數(shù)千萬美元的超級計(jì)算設(shè)備填滿數(shù)據(jù)中心。

顯然，人工智能的能力沒有明顯的限制。

在接下來的幾年里，英偉達(dá)的硬件將加速進(jìn)化到計(jì)算機(jī)時(shí)鐘周期的速度，從而訓(xùn)練出各種類似的人工智能模型。

據(jù)介紹，英偉達(dá)賣出的設(shè)備毛利率接近70%。

巨大的利潤讓所有開發(fā)AI訓(xùn)練硬件的谷歌、特斯拉，以及初創(chuàng)公司都垂涎欲滴。

說起來，英偉達(dá)最激烈的競爭對手是AMD。

自2014年以來，AMD一直由另一位才華橫溢的工程師蘇姿豐（Lisa Su）經(jīng)營。自她成為公司負(fù)責(zé)人以來的幾年里，AMD的股價(jià)上漲了30倍，使她成為這個(gè)時(shí)代最成功的半導(dǎo)體CEO，僅次于黃仁勛。

值得一提的是，老黃和蘇姿豐還是親戚關(guān)系。

黃氏管理法

老黃本人很少接受采訪。他表示，「我并沒有做什么特別的事，主要是我的團(tuán)隊(duì)的努力，我也不確定為什么我被選為首席執(zhí)行官，我并沒有任何特別的驅(qū)動力」。

當(dāng)老黃下定決心在30歲經(jīng)營一家企業(yè)的時(shí)候，他的聯(lián)創(chuàng)Chris Malachowsky說，「你真的不是一個(gè)好演講者，因?yàn)槟惚容^內(nèi)向」。

老黃表示，「我只有一個(gè)超能力——做作業(yè)」。英偉達(dá)軟件主管Dwight Diercks稱老黃可以在一個(gè)周末掌握任何課題。

黃仁勛更喜歡敏捷的公司結(jié)構(gòu)，沒有固定的部門或等級制度。取而代之的是，員工每周提交一份清單，列出他們正在做的5件最重要的事情。

而他自己，每天也要寫幾百封回復(fù)的郵件，與員工聊天，通常僅有幾句話。一位高管將這些郵件比作俳句，另一位還比作贖金票據(jù)。

老黃自己還制定了一套自己經(jīng)常引用的管理格言。

在安排任務(wù)時(shí)，老黃會要求員工考慮「光速」。這不僅意味著快速行動;相反，員工應(yīng)該考慮一項(xiàng)任務(wù)可以完成的絕對速度，然后朝著可實(shí)現(xiàn)的目標(biāo)逆向努力。

也許老黃最激進(jìn)的信念是「失敗必須分享」。

2000年初，英偉達(dá)曾出貨了一款有故障的顯卡，風(fēng)扇聲音過大、過度活躍。

然而，黃仁勛沒有解雇該顯卡的產(chǎn)品經(jīng)理，而是安排了一次會議，讓經(jīng)理們向幾百人介紹了，他們做出的每一個(gè)導(dǎo)致慘敗的決定。

英偉達(dá)的員工們有時(shí)也會抱怨，老黃的性格反復(fù)無常。

黃仁勛表示，「這其實(shí)是我腦子里想的和嘴里說的不一致。當(dāng)錯(cuò)位很嚴(yán)重時(shí)，就會表現(xiàn)為憤怒」。

即便在他很冷靜的時(shí)候，黃仁勛的強(qiáng)勢也可能是壓倒性的。一名員工形容，「與他交流就像把手指插進(jìn)電插座里」。

盡管如此，英偉達(dá)員工流失率很低。

GPU的銷量暴漲，也讓英偉達(dá)成為了世界算力霸主，成功進(jìn)入萬億美元俱樂部。這背后離不開領(lǐng)導(dǎo)人黃仁勛的「瘋狂式」的管理策略。

老黃曾表示，當(dāng)你創(chuàng)立一家公司時(shí)，很自然地從第一性原理開始。