編譯 | 星璇

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

在過去的兩年里，我更多地參與了使用大型語言模型（LLMs）的生成式AI項目，而非傳統(tǒng)的系統(tǒng)。我開始懷念無服務(wù)器云計算。它們的應(yīng)用范圍廣泛，從增強(qiáng)對話式AI到為各行各業(yè)提供復(fù)雜的分析解決方案，以及其他許多功能。許多企業(yè)將這些模型部署在云平臺上，因為公共云提供商已經(jīng)提供了現(xiàn)成的生態(tài)系統(tǒng)，而且這是阻力最小的路徑。然而，這并不便宜。

云還提供了其他好處，如可擴(kuò)展性、效率和高級計算能力（按需提供GPU）。在公共云平臺上部署LLM的過程有一些鮮為人知的秘密，它們可能會對成功或失敗產(chǎn)生重大影響。也許是因為處理LLMs的AI專家并不多，也因為我們在這方面還沒有太多經(jīng)驗，我們的知識體系中存在很多空白。

讓我們探討三個在云上部署LLM時鮮為人知的“技巧”，也許你的AI工程師們也不知道?？紤]到這些工程師的年薪往往超過30萬美元，也許現(xiàn)在是時候考考他們做這些事情的細(xì)節(jié)了。我看到每個人都像頭發(fā)著火一樣奔向生成式AI，但犯的錯誤比以往任何時候都多。

1.管理成本效益和可擴(kuò)展性

使用云平臺部署LLMs的主要吸引力之一是能夠按需擴(kuò)展資源。我們不必成為優(yōu)秀的容量規(guī)劃師，因為云平臺擁有我們只需點擊鼠標(biāo)或自動分配的資源。

但是，等等，我們即將犯下當(dāng)初使用云計算時犯下的同樣錯誤。在擴(kuò)展的同時管理成本是一項技能，許多人需要在這方面獲得幫助以進(jìn)行有效導(dǎo)航。請記住，云服務(wù)通常根據(jù)消耗的計算資源收費(fèi)；它們就像公共事業(yè)一樣運(yùn)作。處理得越多，付費(fèi)就越多?？紤]到GPU的成本更高（且耗電量更大），這是使用公共云提供商的LLMs時的核心關(guān)注點。

請確保您使用成本管理工具，包括云平臺提供的工具和可靠的第三方成本治理和監(jiān)控服務(wù)商（finops）提供的工具。例如，實施自動擴(kuò)展和調(diào)度、選擇合適的實例類型或使用搶占式實例來優(yōu)化成本。此外，請記得持續(xù)監(jiān)控部署情況，根據(jù)使用情況而不是僅根據(jù)預(yù)測負(fù)載調(diào)整資源。這意味著不惜一切代價避免過度配置（明白我這里的雙關(guān)了嗎？）。

2.多租戶環(huán)境中的數(shù)據(jù)隱私

部署LLMs通常涉及處理大量數(shù)據(jù)和訓(xùn)練過的知識模型，這些可能包含敏感或?qū)Ｓ袛?shù)據(jù)。使用公共云的風(fēng)險在于，你的“鄰居”是以處理實例的形式存在，它們在同一物理硬件上運(yùn)行。因此，公共云確實存在這樣的風(fēng)險：在數(shù)據(jù)存儲和處理過程中，數(shù)據(jù)可能會被公共云數(shù)據(jù)中心中同一物理硬件上運(yùn)行的其他虛擬機(jī)訪問。

如果你詢問公共云提供商有關(guān)此問題，他們會急忙拿出最新的PowerPoint演示文稿，展示這是不可能的。雖然這主要是真的，但并不完全準(zhǔn)確。所有多租戶系統(tǒng)都存在這種風(fēng)險；你需要加以緩解。我發(fā)現(xiàn)，云提供商的規(guī)模越小，比如那些僅在單一國家運(yùn)營的云提供商，這種問題出現(xiàn)的可能性就越大。這適用于數(shù)據(jù)存儲和LLMs。

秘訣在于選擇符合嚴(yán)格安全標(biāo)準(zhǔn)并能提供證明的云提供商：靜止和傳輸中的數(shù)據(jù)加密、身份和訪問管理（IAM）以及隔離策略。當(dāng)然，更好的做法是你實施自己的安全策略和安全技術(shù)棧，以確保在云上使用多租戶LLMs的風(fēng)險較低。

3.處理有狀態(tài)模型部署

大型語言模型（LLMs）大多數(shù)都是有狀態(tài)的，這意味著它們會在一次交互到下一次交互之間保留信息。這個舊方法提供了新的好處：即在持續(xù)學(xué)習(xí)場景中提高效率的能力。然而，在云環(huán)境中管理這些模型的有狀態(tài)性是有挑戰(zhàn)性的，因為云環(huán)境中的實例可能是按設(shè)計短暫或無狀態(tài)的。

支持有狀態(tài)部署的編排工具（如 Kubernetes）是有幫助的。它們可以為大型語言模型利用持久性存儲選項，并配置為跨會話維護(hù)和操作其狀態(tài)。為了支持大型語言模型的連續(xù)性和性能，您需要這樣做。

隨著生成式人工智能的爆炸式增長，在云平臺上部署大型語言模型已成定局。對于大多數(shù)企業(yè)來說，不使用云實在是太不方便了。我對接下來這股狂熱的擔(dān)憂是，我們會錯過一些容易解決的問題，并會犯下巨大而昂貴的錯誤，而這些錯誤在最終大多是可以避免的。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：星璇