Hello folks，我是 Luga，今天我們來聊一下人工智能應(yīng)用場景 - 構(gòu)建高效、靈活的計(jì)算架構(gòu)的 GPU 內(nèi)存交換機(jī)技術(shù)。

眾所周知，LLMs 雖然在諸多任務(wù)中表現(xiàn)出色，但其龐大的模型體積和復(fù)雜的計(jì)算需求，使得高效利用 GPU 資源成為一大難題。

尤其是在高并發(fā)場景下，如何快速加載和卸載模型，避免 GPU 閑置，成為影響推理性能和成本的關(guān)鍵因素...

一、GPU 設(shè)備資源調(diào)度的當(dāng)前現(xiàn)狀與困境

隨著AI 產(chǎn)業(yè)的持續(xù)落地，越來越多的公司開始將大型語言模型（LLMs）部署到生產(chǎn)環(huán)境，并確保能夠大規(guī)模服務(wù)于用戶。

然而，與此同時(shí)，企業(yè)卻面臨著一個(gè)極為嚴(yán)峻的挑戰(zhàn)：如何在保障高負(fù)載期間提供快速響應(yīng)的同時(shí)，確保 GPU 資源的使用高效，從而有效控制成本。在這種情況下，企業(yè)通常需要在兩種策略之間做出艱難的權(quán)衡選擇：

策略一：過度配置以應(yīng)對流量高峰

在這種策略下，企業(yè)為了應(yīng)對可能出現(xiàn)的流量高峰，會(huì)提前部署大量配備 GPU 的副本。這些副本能夠確保在流量激增時(shí)，系統(tǒng)能夠快速響應(yīng)，保持穩(wěn)定的服務(wù)質(zhì)量，避免任何服務(wù)中斷。雖然這種方法在短期內(nèi)能夠保障系統(tǒng)性能，防止因資源不足導(dǎo)致的故障或延遲，但也帶來了一些明顯的劣勢。

最為顯著的是，這些 GPU 資源在大部分時(shí)間內(nèi)會(huì)處于閑置狀態(tài)，導(dǎo)致硬件資源的大量浪費(fèi)。企業(yè)不得不為這些空閑的計(jì)算資源支付高昂的費(fèi)用，造成了資金的嚴(yán)重浪費(fèi)，極大地消耗了預(yù)算。因此，這種策略雖然能夠保障性能，卻由于過度配置資源而帶來了高昂的運(yùn)營成本。

策略二：動(dòng)態(tài)調(diào)整資源的零點(diǎn)擴(kuò)容

為了避免前述策略中的資源浪費(fèi)，一些企業(yè)采取了積極的零點(diǎn)擴(kuò)容策略。這種方法通過動(dòng)態(tài)調(diào)整計(jì)算資源，依據(jù)實(shí)際流量需求來優(yōu)化 GPU 的分配。通過實(shí)時(shí)監(jiān)控和快速響應(yīng)，這種策略旨在根據(jù)實(shí)時(shí)負(fù)載來增加或減少計(jì)算資源，從而避免資源閑置的浪費(fèi)。理論上，這種方法能夠降低成本，確保資源的高效利用。

然而，零點(diǎn)擴(kuò)容的策略也存在一定的風(fēng)險(xiǎn)，特別是在流量的突發(fā)波動(dòng)期間。由于資源的動(dòng)態(tài)調(diào)整無法及時(shí)跟上流量的激增，用戶可能會(huì)面臨長時(shí)間的延遲，甚至在極端情況下可能會(huì)出現(xiàn)服務(wù)不可用的情況。延遲的增加不僅會(huì)影響用戶體驗(yàn)，還可能導(dǎo)致用戶的流失，進(jìn)而影響企業(yè)的聲譽(yù)和品牌價(jià)值。因此，盡管這種策略能有效節(jié)省資源和成本，但在高負(fù)載時(shí)，它往往會(huì)犧牲用戶體驗(yàn)，導(dǎo)致性能下降。

這兩種策略各有利弊，企業(yè)面臨的核心挑戰(zhàn)就是如何在性能和成本之間找到最佳的平衡點(diǎn)。

策略一雖然確保了在高負(fù)載時(shí)服務(wù)的連續(xù)性和快速響應(yīng)，但卻導(dǎo)致了硬件資源的大量浪費(fèi)和高額的運(yùn)營成本；

而策略二雖然能夠有效節(jié)省計(jì)算資源和運(yùn)營成本，但可能在突發(fā)流量高峰時(shí)導(dǎo)致性能的下降，影響用戶體驗(yàn)。這種權(quán)衡問題正是大規(guī)模部署 LLMs 時(shí)，尤其是在面對高并發(fā)和突發(fā)流量場景時(shí)，企業(yè)必須解決的核心難題。

那么，如何破局？...

二、何為 Model Hot Swapping 技術(shù)？

作為一項(xiàng)創(chuàng)新技術(shù)，旨在進(jìn)一步拓展 GPU 在推理工作負(fù)載中的利用率， Run:ai 的 GPU 內(nèi)存交換，又稱“模型熱交換（Model Hot Swapping）” 便應(yīng)運(yùn)而生，以解決上述痛點(diǎn)。

Model Hot Swapping 技術(shù)旨在解決大規(guī)模部署大型語言模型（LLMs）時(shí)所面臨的一個(gè)重大挑戰(zhàn)，特別是在高負(fù)載、高并發(fā)的生產(chǎn)環(huán)境中。傳統(tǒng)的 GPU 內(nèi)存管理方法往往要求在模型加載和切換時(shí)進(jìn)行重啟或重新初始化，這不僅會(huì)浪費(fèi)大量時(shí)間，還會(huì)導(dǎo)致資源閑置和推理延遲。

而 Model Hot Swapping 技術(shù)則通過允許在 GPU 內(nèi)存中動(dòng)態(tài)加載和卸載不同的模型，完全避免了這些問題。在此技術(shù)的加持下，GPU 能夠在無需重啟的情況下，根據(jù)具體的推理請求，實(shí)時(shí)地加載所需的模型，并立即開始推理任務(wù)。推理完成后，模型會(huì)被卸載，釋放 GPU 內(nèi)存空間，為其他模型的加載提供足夠的資源。

在實(shí)際的場景中，Model Hot Swapping 技術(shù)優(yōu)勢主要體現(xiàn)在如下幾個(gè)方面：

1. 極大地提高 GPU 利用率

通過動(dòng)態(tài)加載和卸載模型，GPU 始終保持在工作狀態(tài)，避免了因模型加載和切換導(dǎo)致的 GPU 資源閑置。傳統(tǒng)的靜態(tài)模型加載方式往往使得 GPU 在某些時(shí)刻空閑，浪費(fèi)了寶貴的計(jì)算資源。而通過這種技術(shù)，GPU 的計(jì)算能力被充分調(diào)動(dòng)，確保其始終處于高效運(yùn)行狀態(tài)。

2. 顯著降低推理延遲

基于此技術(shù)，模型可以迅速加載并立即開始推理，極大地減少了因模型加載過程而產(chǎn)生的延遲。對于需要快速響應(yīng)的應(yīng)用場景，推理延遲的降低直接提升了系統(tǒng)的響應(yīng)速度和用戶體驗(yàn)，尤其是在面對大量并發(fā)請求時(shí)，能夠提供更加流暢和即時(shí)的服務(wù)。

3. 有效降低部署成本

由于 GPU 資源得到了更高效的利用，企業(yè)不再需要為每個(gè)模型準(zhǔn)備大量的獨(dú)立 GPU 設(shè)備。這種動(dòng)態(tài)調(diào)度模型的方式顯著減少了所需的 GPU 數(shù)量，進(jìn)而降低了硬件采購和運(yùn)維成本。此外，減少了 GPU 空閑的時(shí)間，也進(jìn)一步降低了能源消耗和運(yùn)維費(fèi)用。

三、為什么需要 Model Hot Swapping 技術(shù)？

Model Hot Swapping（模型熱交換）的引入，為模型服務(wù)中的資源管理帶來了一種更具活力的動(dòng)態(tài)方式，允許多個(gè)模型共享同一組 GPU，即便它們的總內(nèi)存需求超過了可用的 GPU 容量。其核心運(yùn)作方式如下：

• 動(dòng)態(tài)內(nèi)存卸載： 在特定時(shí)間段內(nèi)沒有接收到任何請求的模型，將不再持續(xù)占用 GPU 內(nèi)存。它們會(huì)被交換到 CPU 內(nèi)存中，以釋放寶貴的 GPU 資源。
• 快速激活： 當(dāng)接收到新的請求時(shí)，所需的模型會(huì)以極小的延遲被迅速交換回 GPU 內(nèi)存，并立即投入運(yùn)行。
• 更多模型副本，更少硬件投入： 模型熱交換技術(shù)支持多個(gè)模型共享相同的硬件資源，從而顯著減少了“常駐運(yùn)行”的機(jī)器數(shù)量，同時(shí)又不會(huì)影響響應(yīng)速度。此外，由于服務(wù)器（即 CPU 進(jìn)程）即使在 GPU 部分被交換出去時(shí)仍然保持活動(dòng)狀態(tài)，因此當(dāng)需要重新激活某個(gè)模型副本時(shí)，可以快速完成，因?yàn)榉?wù)器已經(jīng)初始化。

通過模型熱交換，企業(yè)能夠高效地處理不可預(yù)測的工作負(fù)載，同時(shí)避免因過度配置硬件而造成的資源浪費(fèi)。這意味著企業(yè)可以在保障服務(wù)性能的前提下，大幅降低硬件成本和運(yùn)營成本，從而實(shí)現(xiàn)更高效、更經(jīng)濟(jì)的 LLM 部署。

來一些對比測試數(shù)據(jù)，具體可參考如下：

Model Hot Swapping（模型熱交換）內(nèi)存交換技術(shù)為企業(yè)在部署大型語言模型（LLMs）時(shí)提供了一種創(chuàng)新的解決方案，成功在性能和成本之間找到了理想的平衡點(diǎn)。該技術(shù)通過優(yōu)化模型加載和內(nèi)存管理，將模型加載時(shí)間（TTFT，Time to First Token）縮短至僅幾秒鐘，顯著提升了系統(tǒng)的響應(yīng)速度。這種方法使企業(yè)能夠?qū)⒏嗟墓ぷ髫?fù)載整合到更少的 GPU 上，同時(shí)保持嚴(yán)格的服務(wù)水平協(xié)議（SLAs），確保系統(tǒng)的高效性和可靠性。

與傳統(tǒng)的始終保持“溫暖”狀態(tài)的常駐模型相比，Model Hot Swapping 技術(shù)在僅犧牲少量延遲的情況下，實(shí)現(xiàn)了顯著的成本節(jié)約。通過動(dòng)態(tài)加載和卸載模型，企業(yè)可以避免在低負(fù)載時(shí)期維持大量閑置的 GPU 資源，從而大幅降低硬件成本和能源消耗。

盡管 Model Hot Swapping 技術(shù)涉及模型的動(dòng)態(tài)加載和卸載，但其優(yōu)化的內(nèi)存交換機(jī)制確保了模型加載時(shí)間（TTFT）被控制在幾秒鐘內(nèi)。這使得系統(tǒng)能夠在高負(fù)載時(shí)期依然保持快速的響應(yīng)速度，滿足用戶對低延遲的需求。

綜上所述，Model Hot Swapping 內(nèi)存交換技術(shù)為企業(yè)提供了一種智能、高效的模型部署解決方案，成功在性能和成本之間實(shí)現(xiàn)了最優(yōu)平衡。通過動(dòng)態(tài)加載和智能內(nèi)存管理，企業(yè)可以在保持嚴(yán)格服務(wù)水平協(xié)議（SLAs）的同時(shí)，顯著降低硬件成本和資源浪費(fèi)。借助 GPU 內(nèi)存交換技術(shù)，企業(yè)能夠更智能地部署資源，而非簡單地堆疊硬件，從而在滿足用戶期望的響應(yīng)速度的同時(shí)，實(shí)現(xiàn)成本效益的。

Reference ：

• [1] https://forums.developer.nvidia.com/
• [2] https://www.run.ai/