本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)

如今的人工智能存在一個很重要問題：太貴了。訓練現(xiàn)代計算機視覺模型Resnet-152的成本大約為100億浮點運算，這比起現(xiàn)代語言模型相形見絀。

[[350888]]

訓練OpenAI的最新自然語言模型GPT-3預(yù)計耗費3000萬億浮點運算，其中在商用GPU上的成本至少為500萬美元。與其相比，人類大腦可以識別面部、回答問題，且只需一杯咖啡就能駕駛汽車。

我們?nèi)绾巫龅?

我們已經(jīng)取得了很大的進展。

第一批電腦的產(chǎn)生有著特殊的目的。1822年，英國數(shù)學家查爾斯·巴貝奇(Charles Babbage)為了計算多項式函數(shù)創(chuàng)造了“差分機”。1958年，康奈爾大學教授弗蘭克·羅森布拉特(Frank Rosenblatt)創(chuàng)造了“Mark I”，這是單層感知器的物理形式，用于機器視覺任務(wù)。硬件和算法在早期是同一種東西。

硬件和算法的統(tǒng)一隨著馮諾依曼體系架構(gòu)的出現(xiàn)發(fā)生了變化，該架構(gòu)具備由計算處理單元組成的芯片設(shè)計以及儲存數(shù)據(jù)和程序指令的內(nèi)存單元。這種模式上的轉(zhuǎn)變使得建造可以針對任何任務(wù)進行編程的通用機器成為可能。馮諾依曼體系架構(gòu)已經(jīng)成為現(xiàn)代數(shù)字計算機的藍圖。

但是這里存在矛盾。數(shù)據(jù)密集型程序需要進行大量內(nèi)存單元和計算單元間的通信，這會減緩計算速度。這個“馮諾依曼瓶頸”是人工智能早期嘗試失敗的原因。標準的CPU在深度神經(jīng)網(wǎng)絡(luò)的核心計算操作——大型矩陣乘法中效率不高。由于現(xiàn)有硬件的瓶頸，早期的神經(jīng)網(wǎng)絡(luò)存在技術(shù)擱淺并且表現(xiàn)不佳。

有趣的是，問題的解決辦法不是來自學術(shù)界，而是來自游戲行業(yè)。在1970年代，為加速視頻游戲發(fā)展而開發(fā)的GPU使得數(shù)據(jù)密集型操作與數(shù)千的計算內(nèi)核并行化。這種并行化是解決馮諾依曼瓶頸的有效辦法。GPU使得訓練更深層次的神經(jīng)網(wǎng)絡(luò)成為可能，并且成為現(xiàn)代人工智能技術(shù)現(xiàn)行使用的硬件。

硬件彩票

人工智能領(lǐng)域研究的成功有很大的運氣成分。谷歌研究員薩拉·胡克(Sara Hooker)稱之為“硬件彩票”：早期的AI研究人員非常不幸，因為他們被速度緩慢的CPU困住了腿腳。在GPU出現(xiàn)時碰巧從事AI領(lǐng)域的研究人員“贏得了”硬件彩票。他們可以通過利用GPU的高效加速功能來訓練神經(jīng)網(wǎng)絡(luò)，從而取得飛速的進展。

硬件彩票所體現(xiàn)的問題在于，一旦這整個領(lǐng)域中的人都成為了贏家，就很難探索出新事物。硬件的發(fā)展速度緩慢，需要芯片制造商進行大量回報不確定的前期投資。一個保險的做法就是對矩陣乘法進行優(yōu)化，這已成為現(xiàn)狀。然而長期來說，這種關(guān)注于硬件和算法一個特定組合的做法會限制我們的選擇。

讓我們回到最開始的問題。為什么當今的人工智能如此昂貴?答案可能是我們還不具備合適的硬件。硬件彩票的存在加以商業(yè)激勵的機制，使得我們在經(jīng)濟上難以擺脫目前的現(xiàn)狀。

一個很好的例子是Geoffrey Hinton的膠囊神經(jīng)網(wǎng)絡(luò)——一種新穎的計算機視覺方法。谷歌研究人員Paul Barham和Michael Isard發(fā)現(xiàn)這種方法在CPU上很有成效，但是在GPU和TPU上效果不佳。

這背后的原因是什么呢?加速器的優(yōu)化都針對例如標準矩陣乘法等最頻繁的操作，但缺少對膠囊卷積的優(yōu)化。他們得出的結(jié)論(同時也是論文的標題)是：機器學習系統(tǒng)陷入困境。

AI研究人員可能會“過度適應(yīng)”現(xiàn)有的硬件，從長遠來看，這將抑制該領(lǐng)域的創(chuàng)新。

前進的道路

“取得下一步的突破可能需要采用一種本質(zhì)與以往不同的角度：將硬件、軟件與算法結(jié)合起來對世界進行建模。”

在人腦中，記憶和計算不是兩個獨立的部分，相反它們發(fā)生在同一個地點：神經(jīng)元中。記憶來源于神經(jīng)元通過突觸連接在一起的方式，而計算來源于神經(jīng)元觸發(fā)并傳播感官輸入的信息的方式。就像早期的計算機一樣，硬件和算法是同一個東西。這與我們當今構(gòu)建人工智能的方法不同。

由GPU和TPU驅(qū)動的深度神經(jīng)網(wǎng)絡(luò)雖然在當今的許多任務(wù)中表現(xiàn)出色，但不是長遠辦法。也許它們只是硬件與算法的組合體系結(jié)構(gòu)在廣闊前景之下的局部最優(yōu)解。

意識到僅有算法還遠遠不夠是前進道路的開端。下一代的人工智能需要在硬件和算法方面都進行創(chuàng)新。在GPU出現(xiàn)之前，AI研究止步不前。如果沒有硬件上的突破，我們可能會再次陷入發(fā)展停滯的困境。