Hello folks，我是 Luga，今天我們繼續(xù)來聊一下人工智能生態(tài)相關(guān)技術(shù) - 用于加速構(gòu)建 AI 核心算力的 GPU 硬件技術(shù)。

隨著人工智能、渲染、仿真技術(shù)以及支持高動(dòng)態(tài)范圍（HDR）的 4K 顯示器逐漸進(jìn)入主流市場(chǎng)，GPU（圖形處理單元）的內(nèi)存需求也在迅速增長。這一需求的增加源自多個(gè)方面，包括更復(fù)雜和龐大的模型與數(shù)據(jù)集、多任務(wù)工作流程、多個(gè)顯示器上顯示的高分辨率內(nèi)容以及團(tuán)隊(duì)協(xié)作等因素。

在現(xiàn)代專業(yè)工作環(huán)境中，GPU 內(nèi)存的重要性比以往任何時(shí)候都更為突出。尤其是工程、設(shè)計(jì)、影視制作和科學(xué)計(jì)算等領(lǐng)域的工作流程，對(duì)大容量 GPU內(nèi)存的依賴不斷增加……

什么是 CPU 內(nèi)存 ？

GPU 內(nèi)存是 GPU 上的專用內(nèi)存，主要用于存儲(chǔ)臨時(shí)數(shù)據(jù)緩沖區(qū)。這些緩沖區(qū)在 GPU 執(zhí)行復(fù)雜數(shù)學(xué)運(yùn)算、圖形渲染和視覺數(shù)據(jù)處理時(shí)起著關(guān)鍵作用。通常而言，執(zhí)行特定指令前，GPU 通常需要在內(nèi)存中存儲(chǔ)大量數(shù)據(jù)，包括幾何信息、紋理數(shù)據(jù)和計(jì)算參數(shù)。高效的數(shù)據(jù)存儲(chǔ)與管理是 GPU 快速處理任務(wù)的核心。

NVIDIA Tesla V100 GPU 內(nèi)存結(jié)構(gòu)

在實(shí)際應(yīng)用場(chǎng)景中，系統(tǒng)通常需要將大量小型數(shù)據(jù)包從 CPU 或全局內(nèi)存?zhèn)鬏數(shù)?GPU 內(nèi)存進(jìn)行處理。如果 GPU 內(nèi)存資源不足，數(shù)據(jù)傳輸頻率和處理速度會(huì)受到影響，導(dǎo)致性能瓶頸和延遲。這種情況尤其常見于高分辨率圖像處理、3D 建模和復(fù)雜的實(shí)時(shí)渲染任務(wù)。

值得注意的是，GPU 內(nèi)存是獨(dú)立于系統(tǒng) RAM 的專用內(nèi)存空間，專為圖形和計(jì)算任務(wù)優(yōu)化。它在快速存儲(chǔ)和訪問數(shù)據(jù)中扮演著重要角色，尤其是在高性能計(jì)算和實(shí)時(shí)應(yīng)用中，對(duì)整體計(jì)算效率和響應(yīng)速度有直接影響。

有時(shí)，在處理人工智能（AI）和機(jī)器學(xué)習(xí)（ML）模型等需要大量數(shù)據(jù)的復(fù)雜工作負(fù)載時(shí)， GPU 內(nèi)存的使用要求常被低估。AI/ML 模型通常需要處理龐大數(shù)據(jù)集和復(fù)雜算法，此時(shí)內(nèi)存資源的有效利用至關(guān)重要。GPU 內(nèi)存的使用效率和帶寬常是影響系統(tǒng)性能的關(guān)鍵瓶頸之一。

對(duì)于這些高強(qiáng)度計(jì)算任務(wù)，GPU 不僅需要大容量內(nèi)存來存儲(chǔ)數(shù)據(jù)，還需要足夠的內(nèi)存帶寬以確保數(shù)據(jù)在處理器與內(nèi)存間的高速傳輸。因此，內(nèi)存容量和帶寬在處理 AI、深度學(xué)習(xí)模型及其他繁重工作負(fù)載時(shí)至關(guān)重要。隨著技術(shù)的發(fā)展，工作負(fù)載對(duì) GPU 內(nèi)存的需求持續(xù)增長，這強(qiáng)調(diào)了在設(shè)計(jì)和使用 GPU 時(shí)充分考慮內(nèi)存資源分配和管理的重要性。

常見的 GPU 內(nèi)存解析

在云計(jì)算體系中，“內(nèi)存”作為硬件系統(tǒng)的基石，為各類應(yīng)用提供了存儲(chǔ)和處理數(shù)據(jù)的空間。從龐大的數(shù)據(jù)中心到微小的嵌入式系統(tǒng)，內(nèi)存的性能直接影響著整個(gè)系統(tǒng)的響應(yīng)速度和處理能力。無論是大數(shù)據(jù)分析中海量數(shù)據(jù)的快速處理，人工智能模型的實(shí)時(shí)訓(xùn)練和推理，還是物聯(lián)網(wǎng)設(shè)備對(duì)實(shí)時(shí)性的嚴(yán)苛要求，高效的內(nèi)存利用都是提升系統(tǒng)性能的關(guān)鍵。

通常而言，在 GPU 內(nèi)存體系中，不同類型的內(nèi)存具有各自的特性和適用場(chǎng)景。合理地選擇和利用這些內(nèi)存類型，對(duì)于提升應(yīng)用程序的性能至關(guān)重要。

在深入研究 GPU 中的各種內(nèi)存類型之前，首先需要明確內(nèi)存的基本分類。通常，在討論內(nèi)存時(shí)，我們會(huì)將其分為兩種主要類型：物理內(nèi)存和邏輯內(nèi)存。這一區(qū)分在理解 GPU 內(nèi)存架構(gòu)以及如何優(yōu)化其使用時(shí)至關(guān)重要。 

1. 物理內(nèi)存 

通常指的是實(shí)際存在于硬件中的內(nèi)存，包括顯卡上的 VRAM（視頻隨機(jī)存取存儲(chǔ)器）以及其他存儲(chǔ)組件。這種內(nèi)存是真實(shí)存在的硬件資源，決定了 GPU 能夠直接存儲(chǔ)和訪問數(shù)據(jù)的容量。物理內(nèi)存的大小直接影響了 GPU 在處理大量數(shù)據(jù)時(shí)的能力，尤其是在運(yùn)行復(fù)雜的圖形任務(wù)、訓(xùn)練深度學(xué)習(xí)模型或者執(zhí)行大規(guī)模計(jì)算時(shí)，物理內(nèi)存的容量越大， GPU 能夠處理的數(shù)據(jù)集就越大，從而減少內(nèi)存溢出和性能瓶頸的發(fā)生。

2. 邏輯內(nèi)存

邏輯內(nèi)存則是從編程和軟件層面上定義的內(nèi)存。它并不與物理內(nèi)存一一對(duì)應(yīng)，而是通過抽象層次為開發(fā)者提供了一種管理內(nèi)存資源的方式。在 GPU 編程中，邏輯內(nèi)存的概念包括不同類型的存儲(chǔ)區(qū)域，例如寄存器、共享內(nèi)存、全局內(nèi)存和本地內(nèi)存等。每種邏輯內(nèi)存有著不同的訪問速度、容量和適用場(chǎng)景，開發(fā)者在編寫代碼時(shí)需要根據(jù)具體任務(wù)和需求，合理選擇和管理這些邏輯內(nèi)存，以最大化性能。

這種對(duì)內(nèi)存的劃分幫助我們?cè)诶斫?GPU 工作機(jī)制時(shí)，明確硬件資源和軟件管理之間的區(qū)別。物理內(nèi)存提供了硬件層面的基礎(chǔ)，而邏輯內(nèi)存則通過編程模型來合理管理和調(diào)度這些資源。優(yōu)化應(yīng)用程序的性能往往需要充分理解這兩者之間的關(guān)系，確保物理內(nèi)存得到高效利用，同時(shí)最大限度地發(fā)揮邏輯內(nèi)存的優(yōu)勢(shì)，避免資源浪費(fèi)和性能瓶頸。

接下來，我們先來看一下 GPU 的邏輯內(nèi)存架構(gòu)圖，具體可參考如下所示：

(1) 共享 GPU 內(nèi)存

當(dāng) GPU 的 VRAM（視頻內(nèi)存）不足時(shí)，系統(tǒng)會(huì)調(diào)用另一種內(nèi)存類型來補(bǔ)充。這種內(nèi)存類型通常是指共享內(nèi)存（Shared Memory），在 CUDA 編程模型中發(fā)揮著重要作用。多個(gè)線程可以在同一 GPU 塊中共享這些 CUDA 內(nèi)存空間，從而在處理資源密集型任務(wù)時(shí)提高效率。

共享內(nèi)存的特點(diǎn)是其生命周期與創(chuàng)建它的塊（Block）相同，也就是說，一旦該塊結(jié)束執(zhí)行，分配給共享內(nèi)存的數(shù)據(jù)也會(huì)被釋放。

共享內(nèi)存的主要優(yōu)勢(shì)在于：提供了一種比全局內(nèi)存更快的訪問方式，允許同一線程塊中的多個(gè)線程同時(shí)訪問和共享數(shù)據(jù)，而不必每次都通過較慢的全局內(nèi)存?zhèn)鬏敗＿@種機(jī)制在處理大量數(shù)據(jù)時(shí)，能夠極大地減少內(nèi)存訪問延遲，從而提升整體計(jì)算效率。因此，在并行計(jì)算和資源密集型任務(wù)（如科學(xué)計(jì)算、圖像處理和機(jī)器學(xué)習(xí)）中，共享內(nèi)存的合理利用可以顯著加快計(jì)算速度。

然而，GPU 的共享內(nèi)存是有限的資源，且通常分配給每個(gè)線程塊的共享內(nèi)存量是固定的。這意味著，開發(fā)者在編寫 CUDA 程序時(shí)，必須仔細(xì)規(guī)劃內(nèi)存的分配和使用，以避免超出共享內(nèi)存的容量限制。如果任務(wù)需要的內(nèi)存超過了共享內(nèi)存的容量，GPU 就不得不依賴速度較慢的全局內(nèi)存，可能導(dǎo)致性能下降。

(2) 注冊(cè) GPU 內(nèi)存

在大多數(shù)情況下，訪問寄存器的指令不消耗時(shí)鐘周期。然而，讀后寫依賴關(guān)系和銀行沖突可能導(dǎo)致延遲。具體而言，寫后依賴項(xiàng)的讀后延遲大約為 24 個(gè)時(shí)鐘周期。對(duì)于配備 32 個(gè)內(nèi)核的較新 CUDA 設(shè)備來說，可能需要多達(dá) 768 個(gè)線程才能完全隱藏這種延遲。

除了讀寫延遲之外，寄存器壓力也會(huì)嚴(yán)重影響應(yīng)用程序性能。當(dāng)任務(wù)所需的寄存器不足時(shí)，就會(huì)發(fā)生寄存器壓力。這種情況下，數(shù)據(jù)將“溢出”到本地內(nèi)存中進(jìn)行存儲(chǔ)，從而導(dǎo)致性能下降。

有效管理寄存器使用對(duì)于優(yōu)化 CUDA 應(yīng)用程序的性能至關(guān)重要。通過仔細(xì)分配線程和優(yōu)化內(nèi)存訪問模式，可以減輕這些潛在的性能瓶頸。

(3) 本地 GPU 內(nèi)存

本地 GPU 內(nèi)存是由操作系統(tǒng)內(nèi)核分配的靜態(tài)內(nèi)存，在 CUDA 編程中，此類內(nèi)存被視為線程的本地內(nèi)存。每個(gè)線程只能訪問其自身分配的本地內(nèi)存。這種內(nèi)存訪問速度較慢，因?yàn)樗ㄟ^寄存器或共享內(nèi)存進(jìn)行操作，效率不如直接使用寄存器。

在實(shí)際應(yīng)用中，本地內(nèi)存的使用會(huì)導(dǎo)致性能下降，尤其是在需要頻繁數(shù)據(jù)訪問的情況下。因此，在 CUDA 編程中，優(yōu)化內(nèi)存使用、盡量減少對(duì)本地內(nèi)存的依賴，對(duì)于提升程序執(zhí)行效率至關(guān)重要。

當(dāng)然，我們也可以將上述內(nèi)存劃分為其他形式，比如，紋理內(nèi)存（Texture Memory）、常量內(nèi)存（Constant Memory）以及其他內(nèi)存等。

而對(duì)于 GPU 的物理內(nèi)存架構(gòu)圖，可參考如下：

上述架構(gòu)圖所述與塊和線程的關(guān)系非常相似，但在這里我們討論的是流式多處理器（SM）和流式處理器（SP）。每個(gè) SM 都擁有自己獨(dú)立的共享內(nèi)存、緩存、常量內(nèi)存和寄存器資源，這些資源僅供該 SM 內(nèi)部的線程使用。然而，所有 SM 之間共享相同的全局內(nèi)存資源，所有線程都可以訪問該內(nèi)存。

GPU 內(nèi)存常用場(chǎng)景解析

在 GPU 中，內(nèi)存帶寬是決定其在處理內(nèi)核和內(nèi)存之間數(shù)據(jù)傳輸速度的關(guān)鍵因素。內(nèi)存帶寬可以通過兩種主要方式來衡量：一是內(nèi)存與計(jì)算內(nèi)核之間的數(shù)據(jù)傳輸速度，二是連接這兩者之間的總線數(shù)量和帶寬。

內(nèi)存帶寬對(duì) GPU 的性能有著深遠(yuǎn)的影響，直接影響到各種任務(wù)的處理效率。例如，在進(jìn)行計(jì)算密集型任務(wù)時(shí)，如大規(guī)模的機(jī)器學(xué)習(xí)（ML）項(xiàng)目、醫(yī)療影像分析或高端游戲，內(nèi)存帶寬的寬度會(huì)顯著影響計(jì)算的生產(chǎn)力和任務(wù)的執(zhí)行速度。內(nèi)存帶寬越大，GPU 能夠更高效地傳輸和處理數(shù)據(jù)，從而提高整體計(jì)算性能和響應(yīng)速度。

對(duì)于復(fù)雜的任務(wù)，如神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推斷，一個(gè)擁有更寬內(nèi)存帶寬的 GPU 可以避免數(shù)據(jù)傳輸成為性能瓶頸。大規(guī)模的 ML 項(xiàng)目通常需要處理大量的權(quán)重和激活值，這些數(shù)據(jù)需要在計(jì)算內(nèi)核和內(nèi)存之間迅速傳輸。更高的內(nèi)存帶寬意味著 GPU 能夠在并行處理時(shí)更有效地訪問和利用數(shù)據(jù)，提升計(jì)算的吞吐量和效率。

此外，不同類型的應(yīng)用對(duì)內(nèi)存帶寬的需求也有所不同。例如，圖像和視頻處理相關(guān)的機(jī)器學(xué)習(xí)項(xiàng)目（如圖像識(shí)別、對(duì)象檢測(cè)等）通常需要較高的內(nèi)存帶寬，因?yàn)檫@些任務(wù)涉及大量的視覺數(shù)據(jù)處理和高頻率的數(shù)據(jù)傳輸。足夠的內(nèi)存帶寬可以確保 GPU 能夠高效地處理和存儲(chǔ)大量的視覺數(shù)據(jù)，避免由于帶寬不足而造成的數(shù)據(jù)傳輸延遲。

相比之下，涉及聲音處理或自然語言處理（NLP）的任務(wù)通常對(duì)內(nèi)存帶寬的需求較低。這些工作負(fù)載通常涉及的數(shù)據(jù)量較小，因此可以在較低帶寬的 GPU 上有效處理，而不會(huì)造成明顯的性能瓶頸。盡管如此，足夠的內(nèi)存帶寬仍然能夠優(yōu)化這些應(yīng)用的處理效率和響應(yīng)速度。

因此，毫無疑問地講，內(nèi)存帶寬在 GPU 的性能表現(xiàn)中起著至關(guān)重要的作用。其寬度直接影響到數(shù)據(jù)傳輸?shù)乃俣群陀?jì)算的效率，尤其在處理高數(shù)據(jù)量和高計(jì)算需求的任務(wù)時(shí)尤為重要。選擇適合的 GPU時(shí)，了解內(nèi)存帶寬的要求可以幫助確保計(jì)算資源的有效利用，并優(yōu)化應(yīng)用程序的整體性能。

Reference ：

• [1] https://www.engineering.com/why-gpu-memory-matters-more-than-you-think/
• [2] https://www.microway.com/hpc-tech-tips/gpu-memory-types-performance-comparison/