編者按： 隨著2024年被業(yè)界譽為“AI PC元年”，各大筆記本電腦廠商紛紛推出搭載NPU的全新AI PC，而在介紹產(chǎn)品性能時，“NPU”一詞頻頻被提及。但NPU和我們所熟知的GPU之間的區(qū)別究竟是什么？

我們今天為大家分享的這篇文章將和大家一起初探NPU vs GPU。簡而言之，NPU專為加速AI任務而設計，包括深度學習和推理，能夠高效地處理大量數(shù)據(jù)，并利用專用存儲器快速執(zhí)行復雜的AI算法。與GPU相比，NPU體積更小、成本更低、能耗更小，且在特定AI任務中表現(xiàn)更優(yōu)。

作者 | Pure Storage

編譯 | 岳揚

如今，人工智能領域的軟硬件很多都是專門為人工智能及神經(jīng)網(wǎng)絡操作的優(yōu)化而定制的。這其中就包括神經(jīng)網(wǎng)絡處理單元（NPU），大家通常會將這種硬件與圖形處理器（GPU）進行對比，因為兩者都能加快人工智能任務的處理速度。NPU 這種硬件已經(jīng)越來越常見了，它們專門為高效完成AI/ML任務而設計。但它們之間究竟有何不同呢？

接下來，我們將簡要探討 NPU 和 GPU 的區(qū)別，并考察、分析每種處理器的優(yōu)勢和不足。

01 NPU 是什么？

NPU 是神經(jīng)網(wǎng)絡處理單元（Neural Processing Unit）的縮寫，這是一種用于提升人工智能和神經(jīng)網(wǎng)絡相關任務性能的專用硬件組件。

乍聽之下，NPUs 可能會被誤認為是僅限于科研實驗室或軍事基地的高科技產(chǎn)品，但實際上，雖然 NPUs 是一項較新的技術(shù)，但它們正變得越來越常見。不久之后，我們就能在臺式機和筆記本電腦中見到 NPUs 的身影。目前，大多數(shù)現(xiàn)代智能手機，如近幾年的 iPhone、Google Pixel 和三星 Galaxy，都已經(jīng)在其主 CPU 中集成了 NPUs。

信不信由你，這張幻燈片是從 2013 年高通的 SoC（System-on-a-Chip）展示會上截取的。而“NPU”這一術(shù)語直到十年后才開始受到廣泛關注。

NPU（神經(jīng)網(wǎng)絡處理單元）支持神經(jīng)網(wǎng)絡引擎和網(wǎng)絡算法，正如其名稱所示，這些算法不僅可用于已高度成熟的應用場景，比如自動駕駛（autonomous driving）和自然語言處理（NLP），也應用于人臉識別、語音識別和圖像處理等日常生活場景。

02 GPU 是什么？

GPU 是圖形處理單元（Graphics Processing Unit）的縮寫。最初是為電子游戲和多媒體應用程序中的圖形渲染場景而設計開發(fā)的，但現(xiàn)在 GPU 的用途已經(jīng)被大大擴展，被廣泛應用于各種需要并行處理復雜計算的應用場景。

GPU 的獨特優(yōu)勢在于能夠快速高效地并行處理數(shù)千個小任務，非常適合處理需要大量并行計算的復雜任務，比如圖形渲染（rendering graphics）、物理模擬（simulating physics），甚至訓練神經(jīng)網(wǎng)絡（training neural networks）。

03 NPU 與 GPU 的架構(gòu)差異

從硬件架構(gòu)上看，NPU 比 GPU 更適合進行并行計算。NPU 擁有更多的小型處理單元（smaller processing units），與 GPU 相比，還配備有專門的內(nèi)存體系結(jié)構(gòu)（memory hierarchies）和數(shù)據(jù)流優(yōu)化策略（data flow optimizations），使得它們對深度學習任務的處理特別高效。相比之下，GPU 具有更多的多功能內(nèi)核（versatile cores），這些內(nèi)核通?？刹⑿刑幚矶喾N計算任務，但 NPU 對神經(jīng)網(wǎng)絡算法進行了針對性的優(yōu)化設計。

NPU 特別擅長處理短期且重復性的任務。集成到現(xiàn)代計算機系統(tǒng)中后，NPU 可以減輕 GPU 處理神經(jīng)網(wǎng)絡時固有矩陣運算的負擔，使 GPU 能夠?qū)Ｗ⒂趫D形渲染或通用計算任務。

與 GPU 相比，NPU 在密集型深度學習計算任務中表現(xiàn)更佳。自然語言處理（NLP）、語音識別和計算機視覺等應用場景均是 NPU 相對于 GPU 表現(xiàn)更佳的領域。GPU 的架構(gòu)更為通用，但在處理大語言模型或邊緣計算應用時可能難以與 NPU 相匹敵。

04 NPU 與 GPU 的性能差異

將它們直接進行比較時，NPU 與 GPU 最大的性能差異體現(xiàn)在功耗和移動設備的電池續(xù)航時間上。由于 NPU 是專門為神經(jīng)網(wǎng)絡操作而設計的，因此 NPU 能夠以與 GPU 相近的處理速度完成同樣的計算任務，但是消耗的電量要少得多。

NPU 和 GPU 在處理神經(jīng)網(wǎng)絡任務時表現(xiàn)出的不同性能，主要是因為神經(jīng)網(wǎng)絡本身的特點和應用需求，而不是簡單地歸因于這兩種硬件架構(gòu)上的不同。NPU 在硬件架構(gòu)上針對 AI/ML 計算任務進行了優(yōu)化，因此在處理最復雜的計算任務（如深度學習模型的推理和訓練）時超越 GPU。

NPU內(nèi)置的專門用于矩陣乘法（matrix multiplications）和激活函數(shù)（activation functions）的硬件，使得在實時語言翻譯、自動駕駛汽車??圖像識別以及醫(yī)療圖像分析等任務中，NPU在性能和效率上均優(yōu)于GPU。

05 如何集成？數(shù)據(jù)存儲方面的需求如何？

在企業(yè)層面，NPU 可以融入現(xiàn)有的基礎設施和數(shù)據(jù)處理流程。NPU 可與 CPU、GPU 及其他計算加速硬件共同部署于數(shù)據(jù)中心，共同為 AI 任務提供強大的算力。然而，當所有 AI/ML 計算任務都被整合到企業(yè)數(shù)據(jù)中心中時，可能會出現(xiàn)數(shù)據(jù)訪問和數(shù)據(jù)存儲等方面的問題。

經(jīng)過全面優(yōu)化的 NPU 和 GPU 在處理 AI/ML 計算任務時可以以極快的速度處理數(shù)據(jù)，以至于傳統(tǒng)的存儲系統(tǒng)可能難以跟上，從而導致數(shù)據(jù)檢索和處理出現(xiàn)潛在瓶頸（potential bottlenecks）。

在實際應用中，NPU 并不需要特定的數(shù)據(jù)存儲基礎設施 —— 然而，要以峰值效率運行 NPU，則必須讓它們能夠極其快速地訪問龐大的數(shù)據(jù)集。NPU在執(zhí)行 AI/ML 任務時，需要大量數(shù)據(jù)來訓練模型，并對新數(shù)據(jù)進行準確預測，同時要求快速的數(shù)據(jù)排序、分類、訪問、修改和存儲能力。企業(yè)級的解決方案通常是采用閃存存儲（flash storage）和全托管的存儲基礎設施（holistically managed storage infrastructures）。

簡而言之，NPU 是專門為執(zhí)行神經(jīng)網(wǎng)絡操作而設計和構(gòu)建的，因此在處理與 AI/ML 操作相關的小型重復性任務時特別有效。

乍一看，GPU 與 NPU 很相似：都是為同時執(zhí)行小型操作而設計的硬件組件。然而，由于 NPU 對矩陣乘法和激活函數(shù)這樣的任務進行了針對性的優(yōu)化，因此在神經(jīng)網(wǎng)絡的計算任務方面具有明顯優(yōu)勢。這使得 NPU 在處理深度學習計算任務方面優(yōu)于 GPU，尤其是在功耗和處理速度方面。

原文鏈接：

??https://www.techspot.com/news/103413-npu-vs-gpu-what-difference.html??