Hello folks，我是 Luga，今天我們來聊一下人工智能應(yīng)用場景 - 構(gòu)建高效、靈活的計算架構(gòu)的 GPU 計算共享方案。

眾所周知，隨著 AI 領(lǐng)域?qū)?GPU 資源需求的不斷增長，高效的資源管理變得至關(guān)重要。這不僅能夠確保系統(tǒng)性能的最優(yōu)化，還能實現(xiàn)對昂貴 GPU 資源的高效分配。

在這一背景下，分片式 GPU（Fractional GPU） 技術(shù)發(fā)揮了重要作用。通過這一技術(shù)，用戶能夠靈活優(yōu)化 GPU 的利用率，根據(jù)具體需求精確調(diào)整工作負載的 GPU 資源分配，從而避免資源浪費或性能瓶頸的問題。

一、共享 GPU 工作負載當前現(xiàn)狀與挑戰(zhàn)

在實際的業(yè)務(wù)場景中，當我們需要通過 GPU 承載某個工作負載時，需要同時使用 GPU 的內(nèi)存子系統(tǒng)和計算子系統(tǒng)。其中，內(nèi)存子系統(tǒng)負責數(shù)據(jù)的存儲與讀取，計算子系統(tǒng)則負責實際的計算任務(wù)。對于單一工作負載來說，通常需要充分利用 GPU 的全部內(nèi)存和計算能力。

然而，在多個工作負載共享同一塊 GPU 的場景下，這些工作負載不可避免地會競爭 GPU 資源的訪問權(quán)限。如果缺乏有效的資源管理，這種競爭將導(dǎo)致工作負載無法獲得所需的內(nèi)存或計算資源，從而帶來性能下降和用戶體驗不佳的后果。

具體而言，在共享 GPU 集群環(huán)境中，多個 AI 工作負載常常需要同時運行在同一塊 GPU 上。例如，在深度學(xué)習模型的訓(xùn)練和推理任務(wù)中，一些工作負載可能需要較大的顯存來存儲訓(xùn)練數(shù)據(jù)，而另一些工作負載可能對計算資源有更高需求。然而，傳統(tǒng)的 GPU 資源分配方式通常無法對這兩類資源進行細粒度的分配和管理，導(dǎo)致 GPU 的使用效率低下，并且難以確保每個任務(wù)的性能穩(wěn)定性。

分片式 GPU（Fractional GPU）技術(shù)，為用戶提供了每個工作負載的 GPU 內(nèi)存配置功能。這一功能使得多個工作負載在共享同一塊 GPU 時，可以高效地分配顯存資源。例如，當兩到三個輕量級推理任務(wù)共享 GPU 時，顯存資源可以根據(jù)各自需求進行劃分，從而避免資源浪費或顯存不足的問題。

然而，在 GPU 計算子系統(tǒng)的資源分配上，傳統(tǒng)方式存在較大局限性。以往，GPU 的計算能力通常是平均分配給并發(fā)的工作負載，而缺乏基于需求的動態(tài)調(diào)整。例如：

• 如果某個工作負載被分配了 50% 的 GPU 內(nèi)存，那么在其單獨運行時，能夠享受 GPU 的全部計算能力。
• 但當 5 個其他工作負載同時運行時，此時，工作負載的計算能力可能會被平均分配到 GPU 的 1/6，這種固定比例的資源分配方式，無法滿足高優(yōu)先級任務(wù)的性能需求，容易導(dǎo)致吞吐量不可預(yù)測或延遲增加，最終影響業(yè)務(wù)穩(wěn)定性和用戶滿意度。

這種局限性在實際場景中可能會帶來顯著問題。例如：

• 深度學(xué)習推理：在實時視頻分析或語音識別中，推理延遲直接決定用戶體驗。若推理任務(wù)因其他工作負載干擾導(dǎo)致 GPU 計算資源不足，可能會引發(fā)延遲超標，進而影響業(yè)務(wù)服務(wù)。
• 模型訓(xùn)練：當多個團隊共享同一塊 GPU 進行訓(xùn)練時，如果無法動態(tài)調(diào)整計算資源分配，高優(yōu)先級的模型訓(xùn)練任務(wù)可能會受到低優(yōu)先級任務(wù)的干擾，延長訓(xùn)練周期，降低整體效率。

針對這一痛點，分片式 GPU 技術(shù)便應(yīng)運而生，將其支持范圍從“顯存分配”擴展到 GPU 計算資源的動態(tài)配置。這種改進使得用戶可以針對不同的工作負載需求，獨立配置 GPU 的計算能力，從而在多任務(wù)環(huán)境下實現(xiàn)更穩(wěn)定和高效的資源分配。

二、分片式 GPU（Fractional GPU）解決哪些問題？

為了應(yīng)對 GPU 資源共享中面臨的挑戰(zhàn)，分片式 GPU 技術(shù)通過以下三種模式，使用戶能夠以工作負載為單位，對 GPU 計算共享進行更精細的控制。具體可參考 ：

1. 基于優(yōu)先級的計算共享（Priority-Based Mode - 優(yōu)先級模式）

基于優(yōu)先級計算共享可以為每個工作負載配置特定的優(yōu)先級。這種模式確保高優(yōu)先級的工作負載在其完成之前始終擁有對所有計算資源的完全訪問權(quán)限。這項增強功能使用戶能夠保證關(guān)鍵任務(wù)的穩(wěn)定性能，避免因資源競爭導(dǎo)致的性能下降。

2. 可配置的時間片比例（Fair Mode - 公平模式）

基于此種模式，用戶可以定義每個工作負載在 GPU 上獲得的時間片比例。時間片是指 GPU 在一段時間內(nèi)分配給某個工作負載進行計算的時間段。通過配置時間片比例，可以實現(xiàn)對資源分配的精細化控制，確保每個工作負載根據(jù)其重要性獲得適當比例的計算資源。

3. 可配置的計算消耗上限（Strict Mode - 嚴格模式）

基于此種模式，用戶可以為每個工作負載配置計算資源利用率的上限。這種模式可以防止某個工作負載長時間占用所有資源，從而對其他工作負載的性能產(chǎn)生負面影響，確保資源的公平共享。

三、分片式 GPU（Fractional GPU）應(yīng)用場景解析

在實際的業(yè)務(wù)場景中，基于分片式 GPU（Fractional GPU）技術(shù)所具備的靈活性和強大的配置能力，為多種應(yīng)用場景帶來了高效且精確的資源分配方式，具體可參考如下：

1. 具有不同優(yōu)先級的模型推理服務(wù)

設(shè)想這樣一種場景：多個推理服務(wù)運行在同一個 GPU 集群上，但它們具有不同的優(yōu)先級。一些推理服務(wù)負責處理對響應(yīng)時間要求極高的實時請求，而另一些則處理對響應(yīng)時  間要求不嚴格的后臺任務(wù)或離線請求（即服務(wù)級別協(xié)議 (SLA) 不那么嚴格）。

傳統(tǒng)的 GPU 資源分配方式通常無法有效地處理這種混合工作負載。高優(yōu)先級任務(wù)可能會因為資源不足而受到影響，而低優(yōu)先級任務(wù)則可能占用過多資源，造成浪費。

而基于分片式 GPU 解決方案能夠有效地解決這一問題。它可以根據(jù)任務(wù)的優(yōu)先級動態(tài)調(diào)整 GPU 資源的分配。例如，當有新的實時請求到達時，可以自動暫停或降低低優(yōu)先級任務(wù)的資源占用，確保關(guān)鍵的實時服務(wù)器能夠及時獲得所需的計算資源，從而避免性能瓶頸，保障服務(wù)的平穩(wěn)運行。一旦高優(yōu)先級任務(wù)完成，便會自動恢復(fù)低優(yōu)先級任務(wù)的執(zhí)行，最大限度地提高 GPU 的整體利用率。

打個比方，在一個在線購物平臺的推薦系統(tǒng)中，用戶瀏覽商品時觸發(fā)的推薦請求需要快速響應(yīng)，屬于高優(yōu)先級任務(wù)；而后臺的模型更新任務(wù)則可以容忍一定的延遲，屬于低優(yōu)先級任務(wù)。使用此解決方案，可以確保推薦請求得到及時的處理，同時又不影響后臺模型的更新。

2. 具有不同 SLA 的模型推理服務(wù)

在實際的場景中，不同的推理服務(wù)可能需要不同的響應(yīng)時間。一些服務(wù)需要極短的響應(yīng)時間以滿足實時性要求，而另一些服務(wù)則可以容忍較長的響應(yīng)時間。

分片式 GPU 允許為不同的服務(wù)配置不同的時間共享比例，從而根據(jù)需求和 SLA 要求分配 GPU 計算資源。例如，對于需要高吞吐量和低延遲的服務(wù)，可以分配更高的 GPU 時間片；而對于可以容忍一定延遲的服務(wù)，則可以分配較低的 GPU 時間片。這種精細化的控制能夠確保 GPU 計算資源按照實際需求進行分配，避免資源浪費和性能瓶頸。

例如， 一個在線游戲服務(wù)需要極低的延遲以保證用戶體驗，而一個后臺的數(shù)據(jù)分析服務(wù)則可以容忍一定的延遲?；诖私鉀Q方案，可以為游戲服務(wù)分配更高的 GPU 時間片，確保游戲的流暢運行，同時又能利用剩余的 GPU 資源進行數(shù)據(jù)分析。

3. 共享 GPU 集群上進行模型訓(xùn)練的不同租戶

通常，在研究與開發(fā)環(huán)境中，多個用戶通常需要共享同一 GPU 集群來訓(xùn)練 AI 模型。然而，傳統(tǒng)的資源分配方式往往面臨資源競爭和分配不公平的問題，不僅導(dǎo)致模型訓(xùn)練效率下降，還可能對訓(xùn)練過程的穩(wěn)定性產(chǎn)生負面影響。

借助分片式 GPU 解決方案，用戶可以根據(jù)自身需求靈活設(shè)置任務(wù)優(yōu)先級和資源分配比例，從而實現(xiàn)對 GPU 資源的公平訪問，同時保證模型訓(xùn)練性能的穩(wěn)定性和一致性。通過優(yōu)先級機制，高優(yōu)先級任務(wù)能夠在資源分配中占據(jù)優(yōu)勢，確保關(guān)鍵任務(wù)及時完成，而低優(yōu)先級任務(wù)則在資源空閑時被動態(tài)調(diào)度，充分利用集群計算能力。

舉例說明，在某研究團隊中，多個成員需要同時使用共享的 GPU 集群開展各自的模型訓(xùn)練工作。傳統(tǒng)模式下，不同成員的任務(wù)可能因資源爭奪導(dǎo)致訓(xùn)練效率降低，甚至影響整體進度。引入分片式 GPU 解決方案后，團隊成員可以根據(jù)任務(wù)的緊急程度、復(fù)雜性及重要性，自主申請 GPU 資源并設(shè)定優(yōu)先級。調(diào)度系統(tǒng)會依據(jù)這些優(yōu)先級，智能化分配 GPU 計算和內(nèi)存資源，避免資源沖突和分配不均的問題。

這一策略不僅有效提升了 GPU 集群的整體利用效率，還顯著優(yōu)化了團隊協(xié)作環(huán)境，使高優(yōu)先級任務(wù)的訓(xùn)練得到優(yōu)先保障，而低優(yōu)先級任務(wù)則在資源空閑時被合理調(diào)度運行，從而實現(xiàn)了資源的最大化利用和團隊生產(chǎn)力的整體提升。

今天的解析就到這里。欲了解更多關(guān)于 GPU 相關(guān)技術(shù)的深入剖析、最佳實踐以及相關(guān)技術(shù)前沿，敬請關(guān)注我們的微信公眾號“架構(gòu)驛站”，獲取更多獨家技術(shù)洞察 ！

Happy Coding ~

Reference ：

• [1] https://docs.nvidia.com/
• [2] https://mp.weixin.qq.com/s/W28AMNxoOnajbFyJ8ETAkg