作者 | Richard MacManus

策劃 | 言征

Web3未能顛覆掉Web2，但新興的大模型開發(fā)棧正在讓開發(fā)者從“云原生”時代邁向新的AI技術(shù)棧。

提示工程師或許不能觸動開發(fā)者奔赴大模型的神經(jīng)，但產(chǎn)品經(jīng)理或者領(lǐng)導的一句：能不能開發(fā)一個“agent”，能不能實現(xiàn)一條“chain”，“使用哪款向量數(shù)據(jù)庫”，卻成為了目前各大主流大模型應用公司中驅(qū)動技術(shù)同學攻克生成AI開發(fā)的難點所在。

那么，新興的技術(shù)棧究竟分哪幾層？哪里最為棘手？本文帶大家一探究竟。

1、技術(shù)棧需要更新了開發(fā)者迎來AI工程師時代

在過去一年，LangChain和LlamaIndex等工具的出現(xiàn)，使得AI應用程序的開發(fā)者生態(tài)系統(tǒng)開始成熟。甚至，現(xiàn)在還有一個術(shù)語來形容專注于人工智能的開發(fā)人員：“AI工程師”，根據(jù)其倡導者Shawn@swyx Wang的說法，這是“提示工程師”的下一步。他還創(chuàng)建了一張坐標圖，形象展示了AI工程師在更廣泛的人工智能生態(tài)系統(tǒng)中的位置：

圖源：swyx

大型語言模型（LLM）是AI工程師的核心技術(shù)。LangChain和LlamaIndex都是擴展和補充LLM的工具，這絕非巧合。但是，對于這類新的開發(fā)人員來說，還有什么其他工具可用呢？

到目前為止，我看到的LLM堆棧的最佳圖表來自風險投資公司Andreessen Horowitz（a16z）。以下是它對“LLM app stack”的看法：

圖源：a16z

2、沒錯，最頂層的還是數(shù)據(jù)

很明顯，LLM技術(shù)棧中最重要的是數(shù)據(jù)。在a16z的圖中，這是最頂層?！扒度肽Ｐ汀笔荓LM的用武之地——你可以從OpenAI、Cohere、Hugging Face或其他幾十種LLM選項中進行選擇，包括越來越流行的開源LLM。

但即使在使用LLM之前，還需要建立一個“數(shù)據(jù)管道”——它將Databricks和Airflow列為兩個示例，或者可以對數(shù)據(jù)進行“非結(jié)構(gòu)化”處理。這也適合數(shù)據(jù)周期，可以幫助企業(yè)在將數(shù)據(jù)輸入自定義LLM之前“清理”或簡單地整理數(shù)據(jù)。像Alation這樣的“數(shù)據(jù)智能”公司，就提供這種類型的服務——聽起來，有點像IT技術(shù)棧中更為人知的“商業(yè)智能”等工具。

數(shù)據(jù)層的最后一部分則是近期名聲大噪的向量數(shù)據(jù)庫，來存儲和處理LLM數(shù)據(jù)。根據(jù)微軟的定義，這是“一種將數(shù)據(jù)存儲為高維向量的數(shù)據(jù)庫，高維向量是特征或?qū)傩缘臄?shù)學表示?！睌?shù)據(jù)通過一種名為“embedding”的技術(shù)存儲為向量。

領(lǐng)先的向量數(shù)據(jù)庫供應商Pinecone在一次媒體交談時指出，Pinecone的工具經(jīng)常與數(shù)據(jù)管道工具（如Databricks）一起使用。在這種情況下，數(shù)據(jù)通常位于其他地方（例如，數(shù)據(jù)湖），然后通過機器學習模型將其轉(zhuǎn)換為嵌入。在對數(shù)據(jù)進行處理和分塊后，生成的向量被發(fā)送到Pinecone。

3、提示和查詢

接下來的兩層可以概括為提示和查詢——這是人工智能應用程序與LLM和（可選）其他數(shù)據(jù)工具接口的地方。A16z將LangChain和LlamaIndex定位為“編排框架”，這意味著開發(fā)人員一旦知道自己使用的是哪種LLM，就可以使用這些工具。

根據(jù)a16z的說法，像LangChain和LlamaIndex這樣的編排框架“抽象掉了提示鏈接的許多細節(jié)”，這意味著在應用程序和LLM之間查詢和管理數(shù)據(jù)。這個編排過程包括與外部API接口，從矢量數(shù)據(jù)庫檢索上下文數(shù)據(jù)，以及在多個LLM調(diào)用中維護內(nèi)存。a16z圖表中最有趣的方框是“游樂場”，其中包括OpenAI、nat.dev和Humanloop。

A16z在博客文章中沒有確切定義，但我們可以推斷，“游樂場”工具可以幫助開發(fā)人員施展A16z所說的“提示柔術(shù)”。在這些地方，開發(fā)人員可以嘗試各種提示技術(shù)。

Humanloop是一家英國公司，其平臺的一個功能是“協(xié)作提示工作區(qū)”。它進一步將自己描述為“用于生產(chǎn)LLM功能的完整開發(fā)工具包”。因此，基本上，它允許您嘗試LLM的東西，然后將其部署到應用程序中（如果它有效的話）。

4、流水線作業(yè)：LLMOps

大模型生產(chǎn)的流水線目前正在逐漸清晰。編排框的右側(cè)是許多操作框，包括LLM緩存和驗證。還有一系列與LLM相關(guān)的云和API服務，包括Hugging Face等開放的API存儲庫，以及OpenAI等專有的API提供商。

這可能是我們在“云原生”時代習慣的開發(fā)人員技術(shù)棧中最相似的地方，許多DevOps公司將人工智能添加到了他們的產(chǎn)品列表中，這絕非巧合。5月，我與Harness首席執(zhí)行官Jyoti Bansal進行了交談。Harness運行一個“軟件交付平臺”，專注于CI/CD流程的“CD”部分。

Bansai告訴我，人工智能可以減輕軟件交付生命周期中涉及的繁瑣和重復的任務，從基于現(xiàn)有功能生成規(guī)范到編寫代碼。此外，他還表示，人工智能可以自動化代碼審查、漏洞測試、錯誤修復，甚至為構(gòu)建和部署創(chuàng)建CI/CD管道。根據(jù)我在五月份的另一次對話，人工智能也在改變開發(fā)人員的生產(chǎn)力。來自構(gòu)建自動化工具Gradle的Trisha Gee告訴我，人工智能可以通過減少重復任務（如編寫樣板代碼）的時間來加速開發(fā)，并使開發(fā)人員能夠?qū)Ｗ⒂诖缶?，如確保代碼滿足業(yè)務需求。

5、Web3涼了，大模型開發(fā)棧來了

在新興的LLM開發(fā)技術(shù)棧中，我們看到了一系列新的產(chǎn)品類型，例如編排框架（LangChain和LlamaIndex）、向量數(shù)據(jù)庫和Humanloop等“游樂場”平臺。所有這些都擴展和/或補充了這個時代的底層核心技術(shù)：大型語言模型。

一如前幾年Spring Cloud、Kubernetes等云原生時代工具的興起。只不過當下，幾乎所有云原生時代的大、小、頂流企業(yè)都在極力將其工具適應AI工程化，這就會對LLM技術(shù)棧的未來發(fā)展非常有利。

沒錯，這一次的大模型儼然“站在巨人的肩膀上”，計算機技術(shù)中最好的創(chuàng)新總是建立在以前的基礎(chǔ)上。也許這就是“Web3”革命失敗的原因——與其說它是建立在上一代的基礎(chǔ)上，不如說它試圖篡奪它。

很明顯，LLM技術(shù)棧似乎做到了，它是從云開發(fā)時代到更新的、基于AI的開發(fā)者生態(tài)系統(tǒng)的橋梁。

參考鏈接：https://thenewstack.io/llm-app-ecosystem-whats-new-and-how-cloud-native-is-adapting/