譯者 | 晶顏
審校 | 重樓
在過去兩年里，我更多地參與了使用大型語言模型（LLM）而非傳統(tǒng)系統(tǒng)的生成式人工智能項(xiàng)目。我開始懷念無服務(wù)器云計(jì)算。它們的應(yīng)用范圍從增強(qiáng)會(huì)話式人工智能到提供跨行業(yè)的復(fù)雜分析解決方案，以及其他許多功能。許多企業(yè)在云平臺(tái)上部署這些模型，因?yàn)橛鞋F(xiàn)成的公共云提供商生態(tài)系統(tǒng)，這是阻力最小的途徑。然而，這樣做的成本并不便宜。
云還提供了其他許多好處，如可擴(kuò)展性、效率和高級(jí)計(jì)算能力（按需GPU）。LLM在公共云平臺(tái)上的部署過程有一些鮮為人知的秘密，這些秘密可能會(huì)對(duì)成功與否產(chǎn)生重大影響。也許是因?yàn)槟軌蛱幚鞮LM的人工智能專家并不多，也因?yàn)槲覀冏鲞@方面的應(yīng)用時(shí)間不長，所以我們的知識(shí)存在很多空白。
接下來，讓我們來探討一下在云上部署LLM的三個(gè)鮮為人知的“秘密”，這些秘密甚至可能連您的人工智能工程師都不知道。
管理成本效率和可擴(kuò)展性
使用云平臺(tái)部署LLM的主要吸引力之一是能夠根據(jù)需要擴(kuò)展資源。我們不需要成為優(yōu)秀的容量規(guī)劃者，因?yàn)樵破脚_(tái)擁有我們可以通過點(diǎn)擊鼠標(biāo)或自動(dòng)分配的資源。
但是，我們可能即將犯與第一次使用云計(jì)算時(shí)同樣的錯(cuò)誤。在擴(kuò)展的同時(shí)管理成本并非一項(xiàng)任何人都能輕松掌握的技能。因?yàn)樵品?wù)通常根據(jù)所消耗的計(jì)算資源收費(fèi)；消耗的越多，付出的就越多?？紤]到GPU的成本更高（并且消耗更多的能量），這是公共云提供商關(guān)注的核心LLM問題。
為此，請(qǐng)確保您使用了成本管理工具，包括云平臺(tái)提供的工具和可靠的第三方成本管理和監(jiān)控參與者提供的工具。同時(shí)，您可以通過實(shí)現(xiàn)自動(dòng)擴(kuò)展和調(diào)度，選擇合適的實(shí)例類型，或者使用可搶占的實(shí)例來優(yōu)化成本。另外，請(qǐng)記住持續(xù)監(jiān)控部署，以便根據(jù)使用情況調(diào)整資源，而不是僅僅使用預(yù)測(cè)的負(fù)載。這意味著要不惜一切代價(jià)避免過度配置。
多租戶環(huán)境中的數(shù)據(jù)隱私
部署LLM通常涉及處理大量數(shù)據(jù)和訓(xùn)練過的知識(shí)模型，其中可能包含敏感或?qū)Ｓ袛?shù)據(jù)。使用公共云的風(fēng)險(xiǎn)在于，您有在相同物理硬件上運(yùn)行的以處理實(shí)例形式存在的“鄰居”。因?yàn)楣苍拼_實(shí)存在這樣的風(fēng)險(xiǎn)：在存儲(chǔ)和處理數(shù)據(jù)時(shí)，公共云數(shù)據(jù)中心中運(yùn)行在相同物理硬件上的另一個(gè)虛擬機(jī)可能會(huì)以某種方式訪問數(shù)據(jù)。
所有多租戶系統(tǒng)都存在這種風(fēng)險(xiǎn)，甚至規(guī)模越小的云提供商——比如許多只在一個(gè)國家運(yùn)營的云提供商——就越有可能出現(xiàn)這個(gè)問題。您需要緩解這一風(fēng)險(xiǎn)。
秘訣在于選擇符合嚴(yán)格安全標(biāo)準(zhǔn)的云提供商，這些標(biāo)準(zhǔn)可以證明其具備靜態(tài)和傳輸中的加密、身份和訪問管理（IAM）以及隔離策略。當(dāng)然，最好實(shí)現(xiàn)安全策略和安全技術(shù)堆棧，以降低在云上使用LLM的多租戶風(fēng)險(xiǎn)。
處理有狀態(tài)（stateful）模型部署
LLM大多是有狀態(tài)的，這意味著它們維護(hù)從一個(gè)交互到下一個(gè)交互的信息。這個(gè)屬性提供了一個(gè)新的好處：在持續(xù)學(xué)習(xí)場(chǎng)景中不斷提高效率。然而，在云環(huán)境中管理這些模型的有狀態(tài)屬性是很棘手的一件事，因?yàn)樵谠骗h(huán)境中，實(shí)例可能是臨時(shí)的或設(shè)計(jì)為無狀態(tài)的。
支持有狀態(tài)部署的編排工具（如Kubernetes）很有幫助。它們可以利用LLM的持久存儲(chǔ)選項(xiàng)，并被配置為跨會(huì)話維護(hù)和操作它們的狀態(tài)。您將需要它來支持LLM的連續(xù)性和性能。
隨著生成式人工智能的爆炸式增長，在云平臺(tái)上部署LLM已成定勢(shì)。我擔(dān)心的是，我們會(huì)在此過程中錯(cuò)過一些很容易解決的問題，從而犯下巨大的、代價(jià)高昂的錯(cuò)誤，而這些錯(cuò)誤大多是可以避免的。
原文標(biāo)題：3 secrets to deploying LLMs on cloud platforms，作者：David Linthicum
