【51CTO.com快譯】行業(yè)專家指出，許多智能設(shè)備和物聯(lián)網(wǎng)設(shè)備都是由某種形式的人工智能(AI)驅(qū)動(dòng)的——無論是語音助理、面部識(shí)別攝像頭，還是電腦。這些設(shè)備需要采用某種技術(shù)為它們進(jìn)行的數(shù)據(jù)處理提供支持。有些設(shè)備需要在云平臺(tái)的大型數(shù)據(jù)中心處理數(shù)據(jù)，而也有一些設(shè)備將通過本身的人工智能芯片進(jìn)行處理。

[[376805]]

那么什么是人工智能芯片?它與人們在智能設(shè)備中找到的其他芯片有何不同?以下將重點(diǎn)介紹人工智能芯片的重要性，用于不同應(yīng)用的不同種類的人工智能芯片，以及在設(shè)備中使用人工智能芯片的好處。

一、為什么有些芯片不適用于人工智能

計(jì)算機(jī)技術(shù)在上世紀(jì)80年代開始興起。這種技術(shù)擴(kuò)展是由CPU(中央處理器)實(shí)現(xiàn)的，它執(zhí)行程序中指令指定的基本算術(shù)、邏輯、控制和輸入/輸出操作。CPU是計(jì)算機(jī)的大腦。而英特爾公司和AMD公司是全球CPU行業(yè)領(lǐng)域的行業(yè)巨頭。

當(dāng)談到CPU的發(fā)展時(shí)，則必須提到ARM，其芯片架構(gòu)始于上世紀(jì)80年代推出的計(jì)算機(jī)中，但是直到移動(dòng)計(jì)算、智能手機(jī)和平板電腦興起之后才成為市場主導(dǎo)者。到2005年，98%的手機(jī)使用至少某種形式的ARM架構(gòu)。而到2013年，全球生產(chǎn)了100億臺(tái)采用ARM芯片的手機(jī)，而全球目前近60%的移動(dòng)設(shè)備中都有基于ARM的芯片。ARM成為人工智能芯片領(lǐng)域的重要組成部分。

在上世紀(jì)90年代，實(shí)時(shí)3D圖形在街機(jī)、計(jì)算機(jī)和游戲機(jī)中變得越來越普遍，這導(dǎo)致對硬件加速3D圖形的需求不斷增加。另一個(gè)硬件巨頭NVIDIA公司借助專用于計(jì)算機(jī)圖形和圖像處理的圖形處理單元(GPU)滿足了這一需求。NVIDIA公司最近宣布以400億美元收購ARM公司。

二、人工智能處理單元

在人工智能處理方面，雖然GPU的表現(xiàn)通常比CPU更好，但并不完美。業(yè)界需要專用處理器來實(shí)現(xiàn)人工智能應(yīng)用程序、建模和推理的高效處理。因此，芯片設(shè)計(jì)人員現(xiàn)在正在努力創(chuàng)建針對執(zhí)行這些算法而優(yōu)化的處理單元。這些單元有很多名稱，例如NPU、TPU、DPU、SPU等，但是可以采用人工智能處理單元(AI PU)這個(gè)籠統(tǒng)的術(shù)語進(jìn)行概述。

創(chuàng)建AI PU的目的是執(zhí)行機(jī)器學(xué)習(xí)算法，通常是通過對預(yù)測模型(如人工神經(jīng)網(wǎng)絡(luò))進(jìn)行操作。由于這些過程通常獨(dú)立執(zhí)行，因此通常將它們分類為訓(xùn)練或推理。

人們已經(jīng)在現(xiàn)實(shí)世界中看到了一些應(yīng)用程序：

• 監(jiān)視系統(tǒng)或區(qū)域免受網(wǎng)絡(luò)攻擊的威脅，例如涉及實(shí)時(shí)面部識(shí)別的安全系統(tǒng)(IP攝像頭和門禁攝像頭等)。
• 與客戶互動(dòng)的零售行業(yè)或企業(yè)聊天機(jī)器人。
• 語音助手的自然語言處理。

三、人工智能處理器與GPU

有人可能會(huì)詢問GPU是否已經(jīng)能夠執(zhí)行人工智能模型?實(shí)際上，GPU確實(shí)具有一些便于處理人工智能模型的屬性。

GPU可以處理2D甚至3D的圖形，因此需要同時(shí)并行處理多個(gè)功能字符串。人工智能神經(jīng)網(wǎng)絡(luò)也需要并行處理，因?yàn)樗鼈兊墓?jié)點(diǎn)分支很像動(dòng)物大腦中的神經(jīng)元。GPU在這方面做得很好。

但是，神經(jīng)網(wǎng)絡(luò)需要卷積，而這正是GPU難以勝任的地方。簡而言之，GPU從根本上針對圖形而不是神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，它們充其量只是替代品。

另一個(gè)需要考慮的重要因素是目前人工智能技術(shù)發(fā)展加快。世界各地的研究人員和計(jì)算機(jī)科學(xué)家正在不斷地以指數(shù)級(jí)的速度提高人工智能和機(jī)器學(xué)習(xí)的功能，而CPU和GPU的進(jìn)步已經(jīng)跟不上這些技術(shù)的發(fā)展。

根據(jù)摩爾定律，集成電路(IC)中的晶體管數(shù)量大約每兩年增加一倍。但是，摩爾定律正在逐漸消亡，已經(jīng)無法跟上人工智能技術(shù)的發(fā)展步伐。

人工智能的加速最終將依賴于專門的人工智能加速器，例如AI PU。AI PU通常用于以下目的：

• 與GPU相比，將機(jī)器學(xué)習(xí)任務(wù)的計(jì)算速度提高了將近1萬倍。
• 低功耗，提高資源利用率。

四、AI SoC的組件

雖然AI PU構(gòu)成了芯片上人工智能系統(tǒng)(SoC)的大腦，但它只是組成芯片的一系列復(fù)雜組件的一部分。以下將細(xì)分AI SoC，與AI PU配對的組件以及它們?nèi)绾螀f(xié)同工作。

1.NPU

如上所述，這是執(zhí)行AI SoC核心操作的神經(jīng)處理單元或矩陣乘法引擎，需要指出的是，對于人工智能芯片制造商來說，這也是任何AI SoC從所有其他AI SoC中脫穎而出的關(guān)鍵。

2.控制器

控制器通?；赗ISC-V(由加州大學(xué)伯克利分校設(shè)計(jì))、ARM(由ARM公司設(shè)計(jì))或自定義邏輯指令集架構(gòu)(ISA)，用于控制所有其他塊和外部處理器并與之通信。

是否在本地進(jìn)行控制是一個(gè)主要問題，需要回答“為什么要?jiǎng)?chuàng)建此芯片?在哪里使用這種芯片?以及由誰使用?”等問題，而芯片制造商在回答控制問題之前需要解答這些問題。

3.SRAM

這是用于存儲(chǔ)模型或輸出的本地存儲(chǔ)器?？梢詫⑺胂蟪梢粋€(gè)冰箱，盡管存儲(chǔ)空間很小，但是可以非常快速方便地獲取東西(在這種情況下是數(shù)據(jù))或?qū)⑺鼈兎呕厝?。在某些用例中，尤其是與邊緣人工智能有關(guān)的情況下，處理速度至關(guān)重要，例如，當(dāng)行人突然出現(xiàn)在路上時(shí)，自動(dòng)駕駛汽車必須及時(shí)剎車。

芯片中包含多少SRAM取決于成本與性能。更大的SRAM存儲(chǔ)池將會(huì)增加前期成本，但對DRAM的訪問更少，所以從長遠(yuǎn)來看可以收回成本。

另一方面，規(guī)模較小的SRAM存儲(chǔ)池具有較低的前期成本，但需要更多的DRAM內(nèi)存。但是如果市場要求針對特定用例需要成本更低的芯片，則可能需要降低成本。

處理速度也是規(guī)模較大的SRAM存儲(chǔ)池與規(guī)模較小的SRAM存儲(chǔ)池之間的區(qū)別，就像內(nèi)存影響計(jì)算機(jī)的性能以及滿足性能需求的能力一樣。

4.I/O

這些模塊用于將SoC連接到SoC之外的組件，例如DRAM和外部處理器。這些接口對于AI SoC最大化其潛在性能和應(yīng)用程序至關(guān)重要，否則會(huì)造成瓶頸。因此，接口及其連接的對象(DRAM、外部處理器等)需要顯示AI SoC的潛在性能。

例如，DDR是DRAM的接口。因此，如果將SRAM想象成冰箱，那么可以將DRAM視為雜貨店。它有更大的存儲(chǔ)空間，但是要花費(fèi)更多的時(shí)間去取回物品。

五、互連結(jié)構(gòu)

互連結(jié)構(gòu)是處理器(AI PU、控制器)和SoC上所有其他模塊之間的連接。與I/O一樣，互連結(jié)構(gòu)對于提取AI SoC的所有性能至關(guān)重要。通常情況下，只有在芯片內(nèi)部無法識(shí)別互連結(jié)構(gòu)的情況下，才會(huì)意識(shí)到這種情況。

無論處理器有多快，這些創(chuàng)新都只在互連結(jié)構(gòu)能夠保持正常運(yùn)行且不會(huì)造成阻礙整體性能的延遲的情況下起作用，就像高速公路上沒有足夠的車道會(huì)在高峰時(shí)段造成交通擁堵一樣。

所有這些組件都是人工智能芯片的關(guān)鍵部分。雖然不同的芯片可能有額外的組件，或者對這些組件的投資有不同的優(yōu)先級(jí)，但這些基本組件以共生的方式協(xié)同工作，以確保人工智能芯片能夠快速有效地處理人工智能模型。與CPU和GPU不同，AI SoC的設(shè)計(jì)還遠(yuǎn)未成熟。這一部分的產(chǎn)業(yè)正在持續(xù)快速發(fā)展，人們將會(huì)看到AI SoC設(shè)計(jì)方面的進(jìn)步。

六、人工智能芯片及其用例

市場上有許多人工智能芯片，這些芯片的命名具體取決于設(shè)計(jì)公司。這些芯片在使用的模型和旨在加速的現(xiàn)實(shí)應(yīng)用中都有不同的用例。

1.訓(xùn)練與推理

人工智能本質(zhì)上是使用人工神經(jīng)網(wǎng)絡(luò)對人腦進(jìn)行的模擬，人工神經(jīng)網(wǎng)絡(luò)旨在替代人們大腦中的生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)由大量節(jié)點(diǎn)組成，可以被調(diào)用以執(zhí)行模型。

這就是人工智能芯片發(fā)揮作用的地方。人工智能芯片尤其擅長處理這些人工神經(jīng)網(wǎng)絡(luò)，并且被設(shè)計(jì)為對它們做兩件事：訓(xùn)練和推理。

原始的神經(jīng)網(wǎng)絡(luò)最初是通過輸入大量數(shù)據(jù)來開發(fā)和訓(xùn)練的。訓(xùn)練非常耗費(fèi)計(jì)算資源，因此需要專注于訓(xùn)練的人工智能芯片，這些芯片旨在能夠快速有效地處理這些數(shù)據(jù)。芯片功能越強(qiáng)大，網(wǎng)絡(luò)學(xué)習(xí)的速度就越快。

一旦網(wǎng)絡(luò)經(jīng)過訓(xùn)練，它就需要為推理而設(shè)計(jì)的芯片，以便在現(xiàn)實(shí)世界中使用數(shù)據(jù)，比如面部識(shí)別、手勢識(shí)別、自然語言處理、圖像搜索、垃圾郵件過濾等。

可以將訓(xùn)練視為構(gòu)建一個(gè)字典，而推理類似于查找單詞并理解如何使用它們。這兩者都是必要且共生的。

值得注意的是，為訓(xùn)練而設(shè)計(jì)的芯片也可以進(jìn)行推理，但是推理芯片無法進(jìn)行訓(xùn)練。

2.云計(jì)算與邊緣計(jì)算

人們需要知道的人工智能芯片的另一方面是它是為云計(jì)算用例還是邊緣計(jì)算用例設(shè)計(jì)的，而對于這些用例，人們是否需要采用推理芯片還是訓(xùn)練芯片。

云計(jì)算的可訪問性非常有用，因?yàn)樗墓δ芸梢酝耆趫鐾馐褂?。不需要采用設(shè)備上的芯片來處理這些用例中的推理，從而可以節(jié)省功耗和成本。但是，在隱私和安全性方面存在弊端，因?yàn)閿?shù)據(jù)存儲(chǔ)在可能被黑客入侵或處理不當(dāng)?shù)脑朴?jì)算服務(wù)器上。

對于推理用例，它的效率也可能較低，因?yàn)樗蝗邕吘売?jì)算芯片那么專業(yè)?？稍谠O(shè)備(例如面部識(shí)別攝像頭)上找到可在邊緣計(jì)算進(jìn)行處理的芯片。它們比在云計(jì)算平臺(tái)更私密、更安全，因?yàn)樗袛?shù)據(jù)都存儲(chǔ)在設(shè)備上，并且其芯片通常是為特定目的而設(shè)計(jì)的。例如，面部識(shí)別攝像頭將使擅長運(yùn)行設(shè)計(jì)模型的芯片用于面部識(shí)別。它們也有缺點(diǎn)，因?yàn)樵谠O(shè)備中添加另一個(gè)芯片會(huì)增加成本和功耗。使用可以平衡成本和功耗的邊緣人工智能芯片很重要，以確保該設(shè)備對于用戶來說并不會(huì)太昂貴，或者不會(huì)過于耗電。

應(yīng)用程序和芯片有以下配對方式：

3.云計(jì)算+訓(xùn)練

這種配對的目的是開發(fā)用于推理的人工智能模型。這些模型最終被細(xì)化為特定于用例的人工智能應(yīng)用程序。這些芯片功能強(qiáng)大，運(yùn)行成本高，其設(shè)計(jì)的目的是盡可能快地進(jìn)行訓(xùn)練。

其系統(tǒng)示例包括NVIDIA的DGX-2系統(tǒng)，該系統(tǒng)總共具有2 petaFLOPS的處理能力。它由16個(gè)NVIDIA V100 Tensor Core GPU組成。另一個(gè)例子是英特爾Habana的Gaudi芯片。

人們每天接觸到的需要大量訓(xùn)練的應(yīng)用程序的例子包括Facebook照片或谷歌翻譯。隨著這些模型的復(fù)雜性日益增加，云計(jì)算和培訓(xùn)市場將繼續(xù)受到需要和關(guān)注。

4.云計(jì)算+推理

這種配對的目的是推理需要大量處理能力，以至無法在設(shè)備上進(jìn)行推理。這是因?yàn)閼?yīng)用程序使用更大的模型并處理大量數(shù)據(jù)。

其芯片示例包括高通公司的Cloud AI 100，這是用于大型云平臺(tái)的人工智能芯片。另一個(gè)例子是阿里巴巴的Huanguang 800或Graphcore的Colossus MK2 GC200 IPU。

訓(xùn)練芯片被用來訓(xùn)練Facebook照片或谷歌翻譯，云計(jì)算推理芯片被用來處理輸入的數(shù)據(jù)。其他的例子包括人工智能聊天機(jī)器人或大多數(shù)由大型科技公司運(yùn)營的人工智能服務(wù)。

5.邊緣計(jì)算+推理

使用邊緣計(jì)算設(shè)備的芯片進(jìn)行推理可以消除任何與網(wǎng)絡(luò)不穩(wěn)定或延遲有關(guān)的問題，并且可以更好地保護(hù)所使用數(shù)據(jù)的私密性和安全性。使用上傳大量數(shù)據(jù)(尤其是像圖像或視頻之類的視覺數(shù)據(jù))所需的帶寬并沒有相關(guān)的成本，因此，只要平衡成本和能效，它就可以比云計(jì)算+推理更便宜、更高效。

這里的例子包括Kneron公司的芯片，包括KL520和最近推出的KL720芯片，這些芯片是為設(shè)備上使用而設(shè)計(jì)的低功耗、低成本的芯片。其他示例包括英特爾Movidius和Google的Coral TPU。

其使用案例包括面部識(shí)別監(jiān)控?cái)z像頭、用于行人和危險(xiǎn)檢測的車輛攝像頭，以及語音助理的自然語言處理。

這些不同類型的芯片及其不同的實(shí)現(xiàn)、模型和用例對于未來人工智能的發(fā)展至關(guān)重要。在5G等其他新興技術(shù)的支持下，人工智能正迅速成為人們工作和生活中的一個(gè)重要組成部分。為了適應(yīng)人們對科技的日益依賴，人工智能芯片領(lǐng)域的發(fā)展將會(huì)非常迅速。

原文標(biāo)題：What is an AI chip? Everything you need to know，作者：Albert Liu

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】