人工智能推理市場在過去的三四年里發(fā)生了巨大的變化。以前，邊緣人工智能甚至不存在，大多數(shù)推斷能力都發(fā)生在數(shù)據(jù)中心、超級(jí)計(jì)算機(jī)或政府應(yīng)用程序中，這些應(yīng)用程序通常也是大型計(jì)算項(xiàng)目。在所有這些情況下，性能都是至關(guān)重要的，而且始終是最重要的。展望今天，邊緣人工智能市場與此截然不同，尤其是它進(jìn)入了更多的商業(yè)應(yīng)用領(lǐng)域。對(duì)于這些用例，主要關(guān)注的是低成本、功耗和小尺寸，而不是原始性能。

[[378809]]

通過軟硬件協(xié)同設(shè)計(jì)平衡更好的性能

當(dāng)研究AI芯片時(shí)，很明顯一個(gè)芯片和另一個(gè)不同。芯片需要小得多才能在低成本、低功耗、小尺寸的邊緣人工智能市場上發(fā)揮作用。

隨著5G的開始出現(xiàn)，更加清晰的是，不可能將原始數(shù)據(jù)發(fā)送到云端隨時(shí)進(jìn)行處理。邊緣必須有一定數(shù)量的情報(bào)，可以解決99.9%的情況，而數(shù)據(jù)中心實(shí)際上只需要用于極端情況。一個(gè)完美的例子就是安全攝像頭。邊緣人工智能需要能夠找出是否有任何可疑的活動(dòng)發(fā)生，如果周圍有人。然后，如果有任何有趣的發(fā)現(xiàn)，這些部分可以發(fā)送到數(shù)據(jù)中心進(jìn)行進(jìn)一步處理。然而，發(fā)送到數(shù)據(jù)中心的數(shù)據(jù)實(shí)際上只是整個(gè)推斷的一小部分。邊緣推理人工智能通常意味著要滿足很多約束條件，有時(shí)如果你想運(yùn)行非常大的復(fù)雜模型，你實(shí)際上只需要在一小部分?jǐn)?shù)據(jù)上運(yùn)行這些模型。

早期邊緣人工智能推理設(shè)計(jì)中的另一個(gè)誤解是，一刀切的方法就足夠了。這也被證明是錯(cuò)誤的，因?yàn)閷I(yè)化芯片的出現(xiàn)顯示了它們的優(yōu)勢和能力。關(guān)鍵是真正圍繞算法構(gòu)建芯片，因?yàn)槿绻娴哪苣ゾ毸惴ǎ憧梢垣@得更好的性能。正確的平衡實(shí)際上是獲得最有效的計(jì)算，就像一個(gè)特殊的硬件，但在編譯時(shí)可編程性。

可編程性是關(guān)鍵

這個(gè)行業(yè)真的處在人工智能發(fā)展的風(fēng)口浪尖上。未來幾十年，我們將在這一領(lǐng)域看到的創(chuàng)新將是驚人的。就像任何長壽的市場一樣，你可以期待變化。這就是為什么不為某些客戶型號(hào)設(shè)計(jì)超級(jí)專用的芯片變得至關(guān)重要的原因。如果我們今天這么做，兩年后當(dāng)芯片在客戶手中時(shí)，型號(hào)可能已經(jīng)發(fā)生了實(shí)質(zhì)性的變化——客戶的要求也會(huì)發(fā)生變化。這就是我們不斷聽到有關(guān)公司最終獲得人工智能推理芯片的故事的主要原因——然后發(fā)現(xiàn)他們的表現(xiàn)并不像他們需要的那樣。如果在芯片結(jié)構(gòu)中內(nèi)置可編程性，那么這個(gè)問題就很容易解決。

在任何邊緣人工智能處理器中，人工智能的靈活性和可編程性是最重要的?？蛻舻乃惴〞?huì)定期更改，系統(tǒng)設(shè)計(jì)也會(huì)更改。隨著邊緣人工智能能力在主流市場的推廣，芯片設(shè)計(jì)師需要能夠適應(yīng)和改變客戶的模型，而不是根據(jù)他們“認(rèn)為”的模型來選擇。我們一次又一次地看到這一點(diǎn)，這就是為什么編譯器如此重要。編譯器中有很多技術(shù)是對(duì)最終用戶隱藏的，這些技術(shù)都是圍繞著分配資源來確保以最少的能量高效地完成所有事情。

另一個(gè)被密切關(guān)注的關(guān)鍵特性是吞吐量。好的推斷芯片現(xiàn)在正在設(shè)計(jì)中，這樣他們就可以很快地在芯片中移動(dòng)數(shù)據(jù)，這意味著他們必須很快地處理數(shù)據(jù)，并且很快地將數(shù)據(jù)移入和移出內(nèi)存。芯片真正重要的是推斷引擎在模型、圖像大小、批量大小、過程和PVT(過程/電壓/溫度)條件下能提供多少吞吐量。這是衡量其性能的首要標(biāo)準(zhǔn)，但令人驚訝的是，很少有供應(yīng)商提供這一標(biāo)準(zhǔn)。

邊緣AI向前移動(dòng)

如今，許多客戶都急需吞吐量，他們正在尋找解決方案，以獲得更高的吞吐量和更大的圖像尺寸，同時(shí)還可以獲得與當(dāng)前相同的功率或價(jià)格。當(dāng)他們得到它時(shí)，他們的解決方案將比競爭對(duì)手的解決方案更加準(zhǔn)確和可靠，然后他們的市場采用和擴(kuò)張將加速。因此，盡管今天的應(yīng)用程序有數(shù)千或上萬個(gè)單位，但我們預(yù)計(jì)隨著提供越來越多吞吐量和瓦特的推理的可用性，這種應(yīng)用程序?qū)⒀杆僭鲩L。

邊緣人工智能市場增長迅速，芯片供應(yīng)商也在爭奪這個(gè)市場的地位。事實(shí)上，據(jù)預(yù)測，到2020年代中期，人工智能的銷售額將迅速增長到數(shù)百億美元，其中大部分增長將來自邊緣人工智能。沒有人能夠預(yù)測未來的模型，這就是為什么在設(shè)計(jì)時(shí)考慮到靈活性和可編程性更為重要的原因。