GTC 2024大會上，老黃祭出世界最強GPU——Blackwell B200 ，整整封裝了超2080億個晶體管。

比起上一代H100（800億），B200晶體管數(shù)是其2倍多，而且訓(xùn)AI性能直接飆升5倍，運行速度提升30倍。

若是，將千億級別晶體管數(shù)擴(kuò)展到1萬億，對AI界意味著什么？

今天，IEEE的頭版刊登了臺積電董事長和首席科學(xué)家撰寫的文章——「我們?nèi)绾螌崿F(xiàn)1萬億個晶體管GPU」？

這篇千字長文，主打就是為了讓AI界人們意識到，半導(dǎo)體技術(shù)的突破給AI技術(shù)帶來的貢獻(xiàn)。

從1997年戰(zhàn)勝國際象棋人類冠軍的「深藍(lán)」，到2023年爆火的ChatGPT，25年來AI已經(jīng)從實驗室中的研究項目，被塞入每個人的手機(jī)。

這一切都要歸功于，3個層面的重大突破：ML算法創(chuàng)新、海量數(shù)據(jù)，以及半導(dǎo)體工藝的進(jìn)步。

臺積電預(yù)測，在未來10年，GPU集成的晶體管數(shù)將達(dá)到1萬億！

與此同時，未來15年，每瓦GPU性能將提高1000倍。

半導(dǎo)體工藝不斷演變，才誕生了ChatGPT

從軟件和算法到架構(gòu)、電路設(shè)計乃至器件技術(shù)，每一層系統(tǒng)都極大地提升了AI的性能。

但是基礎(chǔ)的晶體管器件技術(shù)的不斷提升，才讓這一切成為可能：

IBM訓(xùn)練「深藍(lán)」使用的芯片工藝是0.6微米和0.35微米。

Ilya團(tuán)隊訓(xùn)練贏得ImageNet大賽的深度神經(jīng)網(wǎng)絡(luò)采用的40納米工藝。

2016年，DeepMind訓(xùn)出的AlphaGo戰(zhàn)勝了李世石，使用了28納米工藝。

而訓(xùn)練ChatGPT的芯片基于的是5納米工藝，而最新版的ChatGPT推理服務(wù)器的芯片工藝已經(jīng)達(dá)到了4納米。

可以看出，從1997年到現(xiàn)在，半導(dǎo)體工藝節(jié)點取得的進(jìn)步，推動了如今AI飛躍式的發(fā)展。

如果AI革命想要繼續(xù)保持當(dāng)前的發(fā)展速度，那么它更需要半導(dǎo)體行業(yè)的創(chuàng)新和支持。

如果仔細(xì)研究AI對于算力的要求會發(fā)現(xiàn)，最近5年，AI訓(xùn)練所需的計算和內(nèi)存訪問量增長了好幾個數(shù)量級。

以GPT-3為例，它的訓(xùn)練需要的計算量相當(dāng)于每秒進(jìn)行超過5千萬億億次的運算，持續(xù)整整一天（相當(dāng)于5000千兆浮點運算天數(shù)），同時需要3TB（3萬億字節(jié)）的內(nèi)存容量。

隨著新一代生成式AI應(yīng)用的出現(xiàn)，對計算能力和內(nèi)存訪問的需求仍在迅速增加。

這就帶來了一個迫在眉睫的問題：半導(dǎo)體技術(shù)如何才能跟上這種發(fā)展的速度？

從集成芯片到集成芯片組

自從集成電路誕生以來，半導(dǎo)體行業(yè)一直在想辦法把芯片造得更小，這樣才能在一個指甲蓋大小的芯片中集成更多的晶體管。

如今，晶體管的集成工藝和封裝的技術(shù)已經(jīng)邁向更高層次——行業(yè)已經(jīng)從2D空間的縮放，向3D系統(tǒng)集成邁進(jìn)。

芯片行業(yè)正在將多個芯片整合到一個集成度更高、高度互連的系統(tǒng)中，這標(biāo)志著半導(dǎo)體集成技術(shù)的巨大飛躍。

AI的時代，芯片制造的一個瓶頸在于，光刻芯片制造工具只能制造面積不超過大約800平方毫米的芯片，這就是所謂的光刻極限。

但現(xiàn)在，臺積電可以通過將多個芯片連接在一塊內(nèi)嵌互連線路的硅片上來突破這一極限，實現(xiàn)在單一芯片上無法達(dá)到的大規(guī)模集成。

舉個栗子，臺積電的CoWoS技術(shù)能夠?qū)⒍噙_(dá)6個光刻極限范圍內(nèi)的芯片，以及十二個高帶寬內(nèi)存（HBM）芯片封裝在一起。

高帶寬內(nèi)存（HBM）是AI領(lǐng)域越來越依賴的一項關(guān)鍵半導(dǎo)體技術(shù)，它通過將芯片垂直堆疊的方式來集成系統(tǒng)，這一技術(shù)在臺積電被稱為系統(tǒng)集成芯片（SoIC）。

HBM由多層DRAM芯片垂直堆疊而成，他們都位于一個控制邏輯IC之上。它利用硅穿孔（TSV）這種垂直連接方式讓信號穿過每層芯片，并通過焊球來連接各個內(nèi)存芯片。

目前，最先進(jìn)的GPU都非常依賴HBM技術(shù)。

未來，3D SoIC技術(shù)將提供一種新的解決方案，與現(xiàn)有的HBM技術(shù)相比，它能在堆疊芯片之間實現(xiàn)更密集的垂直連接。

通過最新的混合鍵合技術(shù)，可以將12層芯片堆疊起來，從而開發(fā)出全新的HBM結(jié)構(gòu)，這種銅對銅（copper-to-copper）的連接方式比傳統(tǒng)的焊球連接更為緊密。

論文地址：https://ieeexplore.ieee.org/document/9265044

這種內(nèi)存系統(tǒng)在一個更大的基礎(chǔ)邏輯芯片上以低溫鍵合，整體厚度僅為600微米。

隨著由眾多芯片組成的高性能計算系統(tǒng)運行大型AI模型，高速有線通信可能成為計算速度的下一個瓶頸。

目前，數(shù)據(jù)中心已經(jīng)開始使用光互連技術(shù)連接服務(wù)器架。

文章地址：https://spectrum.ieee.org/optical-interconnects

不久的將來，臺積電將需要基于硅光子技術(shù)的光接口，把GPU和CPU封裝到一起。

論文地址：https://ieeexplore.ieee.org/document/10195595

這樣才能實現(xiàn)GPU之間的光通信，提高帶寬的能源和面積效率，從而讓數(shù)百臺服務(wù)器能夠像一個擁有統(tǒng)一內(nèi)存的巨型GPU那樣的方式高效運行。

所以，由于AI應(yīng)用的推動，硅光子技術(shù)將成為半導(dǎo)體行業(yè)中最為關(guān)鍵的技術(shù)之一。

邁向一萬億晶體管GPU

當(dāng)前用于AI訓(xùn)練的GPU芯片，約有1000億的晶體管，已經(jīng)達(dá)到了光刻機(jī)處理的極限。

若想繼續(xù)增加晶體管數(shù)量，就需要采用多芯片，并通過2.5D、3D技術(shù)進(jìn)行集成，來完成計算任務(wù)。

目前，已有的CoWoS或SoIC等先進(jìn)封裝技術(shù)，可以在GPU中集成更多晶體管。

臺積電預(yù)計，在未來十年內(nèi)，采用多芯片封裝技術(shù)的單個GPU，將擁有超1萬億晶體管。

與此同時，還需要將這些芯片通過3D堆疊技術(shù)連接起來。

但幸運的是，半導(dǎo)體行業(yè)已經(jīng)能夠大幅度縮小垂直連接的間距，從而增加了連接密度。

而且，未來在提高連接密度方面還有巨大的潛力。臺積電認(rèn)為，連接密度增長一個數(shù)量級，甚至更多是完全有可能的。

3D芯片中的垂直連接密度的增長速度與GPU中的晶體管數(shù)量大致相同

GPU的能效性能趨勢

那么，這些領(lǐng)先的硬件技術(shù)，是如何提升系統(tǒng)整體性能的呢？

通過觀察服務(wù)器GPU的發(fā)展，可以明顯看到一個趨勢：所謂的能效性能（EEP）——一個反映系統(tǒng)能效和運行速度的綜合指標(biāo)——正穩(wěn)步提升。

過去15年中，半導(dǎo)體行業(yè)已經(jīng)實現(xiàn)了，每兩年將EEP提高約3倍的壯舉。

而在臺積電看來，這種增長趨勢將會延續(xù)，將會得益于眾多方面的創(chuàng)新，包括新型材料的應(yīng)用、設(shè)備與集成技術(shù)的進(jìn)步、EUV技術(shù)的突破、電路設(shè)計的優(yōu)化、系統(tǒng)架構(gòu)的革新，以及對所有這些技術(shù)要素進(jìn)行的綜合優(yōu)化等因素的共同推動。

此外，系統(tǒng)技術(shù)協(xié)同優(yōu)化（STCO）這一概念將變得日益重要。

在STCO中，GPU內(nèi)不同的功能模塊將被分配到專屬的小芯片（chiplets）上，每個模塊都采用最適合其性能和成本效益的技術(shù)進(jìn)行打造。

這種針對每個部件的最優(yōu)化選擇，將對提高整體性能和降低成本發(fā)揮關(guān)鍵作用。

得益于半導(dǎo)體技術(shù)的進(jìn)步，EEP指標(biāo)有望每兩年提升3倍

3D集成電路的革命性時刻

1978年，加州理工學(xué)院的Carver Mead教授和Xerox PARC的Lynn Conway，共同開發(fā)了一種革命性的計算機(jī)輔助設(shè)計方法。

他們制定了一系列設(shè)計規(guī)則，簡化了芯片設(shè)計的過程，讓工程師即使不深諳過程技術(shù)，也能輕松設(shè)計出復(fù)雜的大規(guī)模集成電路。

論文地址：https://ai.eecs.umich.edu/people/conway/VLSI/VLSIText/PP-V2/V2.pdf

而在3D芯片設(shè)計領(lǐng)域，也面臨著類似的需求。

- 設(shè)計師不僅要精通芯片和系統(tǒng)架構(gòu)設(shè)計，還需要掌握硬件與軟件優(yōu)化的知識。

- 而制造商則需要深入了解芯片技術(shù)、3D集成電路技術(shù)和先進(jìn)封裝技術(shù)。

就像1978年那樣，我們需要一種共通語言，讓電子設(shè)計工具能夠理解這些技術(shù)。

如今，一種全新的硬件描述語言——3Dblox，已經(jīng)得到了當(dāng)下多數(shù)技術(shù)和電子設(shè)計自動化公司的支持。

它賦予了設(shè)計師自由設(shè)計3D集成電路系統(tǒng)的能力，且無需擔(dān)心底層技術(shù)的限制。

走出隧道，迎接未來

在人工智能的大潮中，半導(dǎo)體技術(shù)成為了推動AI和應(yīng)用發(fā)展的關(guān)鍵力量。

新一代GPU已經(jīng)打破了傳統(tǒng)的尺寸和形狀限制。半導(dǎo)體技術(shù)的發(fā)展，也不再局限于僅在二維平面上縮小晶體管。

一個AI系統(tǒng)可以集成盡可能多的節(jié)能晶體管，擁有針對特定計算任務(wù)優(yōu)化的高效系統(tǒng)架構(gòu)，以及軟硬件之間的優(yōu)化關(guān)系。

過去50年，半導(dǎo)體技術(shù)的進(jìn)步就像是在一條明確的隧道中前進(jìn)，每個人都清楚下一步應(yīng)該怎么做：不斷縮小晶體管的尺寸。

現(xiàn)在，我們已經(jīng)走到了這條隧道的盡頭。

未來的半導(dǎo)體技術(shù)開發(fā)將面臨更多挑戰(zhàn)，但同時，隧道外也有著更加廣闊的可能性。

而我們將不再被過去的限制所束縛。