譯者 | 晶顏

審校 | 重樓

可擴(kuò)展的LLM應(yīng)用程序?qū)τ谀Ｐ驮谏a(chǎn)環(huán)節(jié)輸出可執(zhí)行成果至關(guān)重要。

以GPT-4為代表的大型語(yǔ)言模型（LLM）革新了人工智能的發(fā)展格局，在自然語(yǔ)言處理、對(duì)話式人工智能及內(nèi)容創(chuàng)作領(lǐng)域?qū)崿F(xiàn)新突破，其影響力廣泛滲透至各個(gè)行業(yè)，涵蓋聊天機(jī)器人與虛擬助理賦能、文檔分析自動(dòng)化以及客戶參與度提升等方面。

盡管LLM潛力巨大，但在實(shí)際應(yīng)用場(chǎng)景中實(shí)現(xiàn)高效部署仍面臨諸多獨(dú)特挑戰(zhàn)。這些模型運(yùn)行依賴大量計(jì)算資源，同時(shí)需具備無(wú)縫擴(kuò)展性與高效流量管理能力，以滿足生產(chǎn)環(huán)境的要求。

這就是Kubernetes發(fā)揮作用的地方。作為公認(rèn)的領(lǐng)先容器編排平臺(tái)，Kubernetes可以提供一個(gè)動(dòng)態(tài)可靠的框架，用于在云原生生態(tài)系統(tǒng)中管理和擴(kuò)展基于LLM的應(yīng)用程序。Kubernetes處理容器化工作負(fù)載的能力，使其成為各組織在不犧牲性能與靈活性前提下實(shí)施AI解決方案的關(guān)鍵工具。

本指南將以分步形式，詳細(xì)介紹運(yùn)用Kubernetes部署與擴(kuò)展基于LLM應(yīng)用程序的全流程。深入理解人工智能應(yīng)用程序的有效擴(kuò)展方法，是區(qū)分研究環(huán)境模型與生產(chǎn)環(huán)境中能輸出可執(zhí)行成果模型的關(guān)鍵所在。我們將圍繞LLM應(yīng)用程序容器化、部署至Kubernetes、配置自動(dòng)擴(kuò)展以應(yīng)對(duì)波動(dòng)需求，以及管理用戶流量實(shí)現(xiàn)最佳性能等方面展開(kāi)闡述。

本指南致力于將前沿人工智能技術(shù)轉(zhuǎn)化為推動(dòng)組織創(chuàng)新的實(shí)用、可擴(kuò)展引擎。

先決條件

在開(kāi)始本教程之前，請(qǐng)確保你具備以下條件：

• Kubernetes基礎(chǔ)知識(shí)：必須熟悉kubectl、部署、服務(wù)和pod相關(guān)概念及操作。
• Docker環(huán)境：完成Docker安裝，并在系統(tǒng)中完成配置。
• Kubernetes集群：在本地機(jī)器（如minikube）或云端（AWS彈性Kubernetes服務(wù)、谷歌Kubernetes引擎或微軟Azure Kubernetes服務(wù)）完成Kubernetes集群的安裝與運(yùn)行。
• Python環(huán)境配置：在Python環(huán)境中安裝OpenAI和Flask，用于創(chuàng)建LLM應(yīng)用程序。

安裝必要的Python依賴項(xiàng)：

pip install openai flask

步驟1：創(chuàng)建LLM驅(qū)動(dòng)的應(yīng)用程序

我們將首先構(gòu)建一個(gè)簡(jiǎn)單的基于Python的API，用于與LLM（例如，OpenAI的GPT-4）進(jìn)行交互。

應(yīng)用程序代碼

創(chuàng)建一個(gè)名為app.py的文件：

from flask import Flask, request, jsonify
import openai
import os

# Initialize Flask app
app = Flask(__name__)

# Configure OpenAI API key
openai.api_key = os.getenv("OPENAI_API_KEY")

@app.route("/generate", methods=["POST"])
def generate():
 try:
 data = request.get_json()
 prompt = data.get("prompt", "")

 # Generate response using GPT-4
 response = openai.Completion.create(
 model="text-davinci-003",
 prompt=prompt,
 max_tokens=100
 )
 return jsonify({"response": response.choices[0].text.strip()})
 except Exception as e:
 return jsonify({"error": str(e)}), 500

if __name__ == "__main__":
 app.run(host="0.0.0.0", port=5000)

步驟2：將應(yīng)用程序容器化

要將應(yīng)用程序部署到Kubernetes，我們需要將其打包到Docker容器中。

Dockerfile

在與app.py相同的目錄下創(chuàng)建一個(gè)Dockerfile：

# Use an official Python runtime as the base image
FROM python:3.9-slim

# Set the working directory
WORKDIR /app

# Copy application files
COPY app.py /app

# Copy requirements and install dependencies
RUN pip install flask openai

# Expose the application port
EXPOSE 5000

# Run the application
CMD ["python", "app.py"]

步驟3：構(gòu)建和推送Docker鏡像

構(gòu)建Docker鏡像并將其推送到容器注冊(cè)表（如Docker Hub）。

# Build the image
docker build -t your-dockerhub-username/llm-app:v1 .

# Push the image
docker push your-dockerhub-username/llm-app:v1

步驟4：將應(yīng)用程序部署到Kubernetes

接下來(lái)，我們需要創(chuàng)建一個(gè)Kubernetes部署和服務(wù)來(lái)管理和公開(kāi)LLM應(yīng)用程序。

部署YAML

創(chuàng)建一個(gè)名為deploy .yaml的文件：

apiVersion: apps/v1
kind: Deployment
metadata:
 name: llm-app
spec:
 replicas: 3
 selector:
 matchLabels:
 app: llm-app
 template:
 metadata:
 labels:
 app: llm-app
 spec:
 containers:
 - name: llm-app
 image: your-dockerhub-username/llm-app:v1
 ports:
 - containerPort: 5000
 env:
 - name: OPENAI_API_KEY
 valueFrom:
 secretKeyRef:
 name: openai-secret
 key: api-key
---
apiVersion: v1
kind: Service
metadata:
 name: llm-app-service
spec:
 selector:
 app: llm-app
 ports:
 - protocol: TCP
 port: 80
 targetPort: 5000
 type: LoadBalancer

API密鑰密碼

創(chuàng)建一個(gè)Kubernetes密碼（secret）來(lái)安全地存儲(chǔ)OpenAI API密鑰：

kubectl create secret generic openai-secret --from-literal=api-key="your_openai_api_key"

步驟5：應(yīng)用部署和服務(wù)

將應(yīng)用程序部署到Kubernetes集群：

kubectl apply -f deployment.yaml

Verify the deployment:
kubectl get deployments
kubectl get pods
kubectl get services

服務(wù)運(yùn)行后，請(qǐng)注意外部IP地址（如果使用云提供商）或NodePort（如果使用minikube）。

步驟6：配置自動(dòng)縮放

Kubernetes Pod水平自動(dòng)縮放器（HPA）允許你根據(jù)CPU或內(nèi)存利用率縮放Pod。

應(yīng)用HPA

kubectl autoscale deployment llm-app --cpu-percent=50 --min=3 --max=10

檢查HPA狀態(tài)：

kubectl get hpa

自動(dòng)縮放器將根據(jù)負(fù)載調(diào)整llm-app部署中的pod數(shù)量。

步驟7：監(jiān)控和記錄

監(jiān)控和日志記錄對(duì)于維護(hù)和排除LLM應(yīng)用程序的故障至關(guān)重要。

啟用監(jiān)控

使用Prometheus和Grafana之類的工具來(lái)監(jiān)控Kubernetes集群。對(duì)于基本的監(jiān)控，Kubernetes Metrics Server可以提供資源使用數(shù)據(jù)。

安裝Metrics服務(wù)器：

kubectl apply -f

https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

查看日志

檢查運(yùn)行中pod的日志：

kubectl logs <pod-name>

對(duì)于聚合日志，可以考慮使用Fluentd、Elasticsearch和Kibana等工具。

步驟8：測(cè)試應(yīng)用程序

使用curl或Postman等工具測(cè)試LLM API：

curl -X POST http://<external-ip>/generate \
-H "Content-Type: application/json" \
-d '{"prompt": "Explain Kubernetes in simple terms."}'

預(yù)期的輸出：

{
 "response": "Kubernetes is an open-source platform that manages containers..."
}

步驟9：擴(kuò)展到Kubernetes之外

要處理更高級(jí)的工作負(fù)載或跨多個(gè)區(qū)域部署，可以遵循如下策略：

• 引入服務(wù)網(wǎng)格：諸如Istio之類的工具，能夠?qū)ξ⒎?wù)之間的流量進(jìn)行精細(xì)化管理，從而滿足復(fù)雜業(yè)務(wù)架構(gòu)下的通信需求，提升系統(tǒng)的穩(wěn)定性與性能。
• 實(shí)施多集群部署：借助KubeFed等專業(yè)工具，或者選用云提供商所提供的解決方案（例如谷歌Anthos），能夠?qū)崿F(xiàn)對(duì)多集群的有效管理，支持工作負(fù)載在多個(gè)區(qū)域的分布式部署，增強(qiáng)系統(tǒng)的可用性與擴(kuò)展性。
• 集成持續(xù)集成/持續(xù)部署（CI/CD）：通過(guò)運(yùn)用Jenkins、GitHub Actions或者GitLab CI等工具搭建自動(dòng)化管道，實(shí)現(xiàn)代碼的持續(xù)集成與應(yīng)用的自動(dòng)部署，加快軟件交付周期，提升開(kāi)發(fā)與運(yùn)維效率。

結(jié)論

使用Kubernetes構(gòu)建和部署可擴(kuò)展的LLM應(yīng)用程序可能看起來(lái)很復(fù)雜，但正如我們所看到的，該過(guò)程不僅切實(shí)可行，而且成果豐碩。從基于LLM創(chuàng)建應(yīng)用程序編程接口（API）開(kāi)始，逐步發(fā)展到在Kubernetes集群中進(jìn)行部署與擴(kuò)展，至此你已掌握一套完整的操作藍(lán)圖，可使應(yīng)用程序具備強(qiáng)大的健壯性、卓越的可擴(kuò)展性，并完全適配生產(chǎn)環(huán)境的嚴(yán)苛要求。

Kubernetes所具備的自動(dòng)伸縮、監(jiān)控以及服務(wù)發(fā)現(xiàn)等特性，能夠確保你的應(yīng)用設(shè)置高效應(yīng)對(duì)現(xiàn)實(shí)世界中的各類需求。在此基礎(chǔ)之上，你還可進(jìn)一步探索更為高級(jí)的功能強(qiáng)化，例如金絲雀部署、A/B測(cè)試，或者利用Knative等Kubernetes原生工具集成無(wú)服務(wù)器組件。未來(lái)的探索空間無(wú)限廣闊，而當(dāng)下所奠定的基礎(chǔ)僅僅只是一個(gè)開(kāi)始。

原文標(biāo)題：Build Scalable LLM Apps With Kubernetes: A Step-by-Step Guide，作者：Oladimeji Sowole