本文將詳細(xì)介紹一個(gè)LLM驅(qū)動(dòng)型應(yīng)用程序的成本節(jié)約架構(gòu)FrugalGPT。

大型語(yǔ)言模型為計(jì)算機(jī)科學(xué)開辟了一個(gè)新的前沿；然而，它們（截至2024年）的運(yùn)營(yíng)成本遠(yuǎn)遠(yuǎn)高于計(jì)算機(jī)科學(xué)中的其他任何產(chǎn)品。對(duì)于希望將運(yùn)營(yíng)成本降至最低的公司來(lái)說，這是一個(gè)嚴(yán)重的問題。論文《FrugalGPT：如何在降低成本和提高性能的同時(shí)使用大型語(yǔ)言模型》（https://arxiv.org/abs/2305.05176）介紹了一種在保持質(zhì)量的同時(shí)顯著降低運(yùn)營(yíng)成本的框架。

如何衡量LLM的成本

當(dāng)前，已經(jīng)存在多種方法可以確定LLM的運(yùn)營(yíng)成本（電力使用、計(jì)算成本等）；但是，如果您使用第三方LLM（LLM-as-a-service），他們通常會(huì)根據(jù)您使用的詞元（token）向您收費(fèi)。不同的供應(yīng)商（OpenAI、Anthropic、Cohere等）使用不同的詞元計(jì)數(shù)方式，但為了簡(jiǎn)單起見，我們將考慮基于LLM處理的詞元數(shù)量的成本。

這種類型的框架最重要的部分是不同模型的成本不同。這篇論文的作者們構(gòu)造了一個(gè)方便的表格，表格數(shù)據(jù)可以很容易地展現(xiàn)成本間的差異，而且這些差異是非常顯著的。例如，在該表中，AI21的輸出詞元的成本比GPT-4的高出一個(gè)數(shù)量級(jí)！

本表數(shù)據(jù)來(lái)自上述FrugalGPT論文

作為成本優(yōu)化的一部分，我們總是需要找到一種方法來(lái)優(yōu)化答案質(zhì)量，同時(shí)還要盡可能將成本降至最低。通常，成本較高的模型往往是性能較高的模型，能夠給出比成本較低的模型更高質(zhì)量的答案。模型間的一般關(guān)系如下圖所示；其中，F(xiàn)rugalGPT的性能以紅色明顯展示在圖表的頂部位置。

注意，論文中的圖1c（即上圖）基于HEADLINES數(shù)據(jù)集創(chuàng)建，其根據(jù)LLM準(zhǔn)確回答問題的頻率對(duì)各種LLM進(jìn)行了比較。

級(jí)聯(lián)LLMS實(shí)現(xiàn)質(zhì)量最優(yōu)化

利用模型之間的巨大成本差異，研究人員推出的FrugalGPT系統(tǒng)能夠依賴于一系列的LLM實(shí)現(xiàn)給用戶提供答案。簡(jiǎn)單地說，用戶查詢從最便宜的LLM開始；如果答案足夠好，則查詢結(jié)束（返回答案）。但是，如果答案不夠好，則將查詢傳遞給下一個(gè)最便宜的LLM。

研究人員使用了以下邏輯：如果一個(gè)價(jià)格較低的模型答錯(cuò)了一個(gè)問題，那么價(jià)格較高的模型很可能會(huì)給出正確的答案。因此，假設(shè)價(jià)格越貴質(zhì)量就越高，為了最大限度地降低成本，規(guī)定模型鏈的訂購(gòu)順序是從最便宜到最昂貴。

論文中的圖2e展示了LLM級(jí)聯(lián)式示意圖。

很明顯，圖中展示的這種設(shè)置架構(gòu)依賴于確定答案何時(shí)足夠好，何時(shí)不夠好。為了解決這個(gè)問題，作者創(chuàng)建了一個(gè)DistilBERT模型，該模型將接受問題和答案，然后為答案打分。由于DistilBERT模型比序列中的其他模型小得多（指數(shù)量級(jí)），因此與其他模型相比，運(yùn)行它的成本幾乎可以忽略不計(jì)。

比查詢最佳LLM更好的平均質(zhì)量

人們可能會(huì)自然而然地問：如果質(zhì)量是最重要的，那么，為什么不查詢最好的LLM并研究如何降低運(yùn)行最好LLM的成本呢？

當(dāng)這篇論文發(fā)表時(shí)，GPT-4是作者們發(fā)現(xiàn)的最好的LLM；但是，GPT-4并不總是比FrugalGPT系統(tǒng)給出更好的答案！（眼尖的讀者會(huì)將其視為本文前面的成本相對(duì)于性能圖表的一部分）論文作者們推測(cè)，正如最有能力的人并不總是給出正確的答案一樣，最復(fù)雜的模型也不會(huì)。因此，通過使用DistilBERT對(duì)答案進(jìn)行過濾，您可以刪除任何不符合標(biāo)準(zhǔn)的答案，并增加獲得優(yōu)秀答案的幾率。

論文中的圖5a顯示了FrugalGPT優(yōu)于GPT-4的情形。

因此，這個(gè)系統(tǒng)不僅可以降低成本，而且可以提高質(zhì)量，而不僅僅是使用最好的LLM！

繼續(xù)研究節(jié)省成本問題

這篇論文的結(jié)果令人著迷。對(duì)我來(lái)說，這提出了一個(gè)問題，即我們?nèi)绾卧诓槐赝顿Y于進(jìn)一步的模型優(yōu)化的情況下進(jìn)一步節(jié)省成本。

實(shí)現(xiàn)這樣的可能性的一種辦法是將所有模型答案緩存在向量數(shù)據(jù)庫(kù)中，然后在開始LLM級(jí)聯(lián)之前進(jìn)行相似性搜索以確定緩存中的答案是否有效。這將通過用相對(duì)較低成本的查詢和相似性操作代替昂貴的LLM操作來(lái)顯著降低成本。

此外，這會(huì)讓你懷疑過時(shí)的模型是否仍然值得進(jìn)行成本優(yōu)化，就像你可以降低它們的每個(gè)詞元的成本一樣，它們?nèi)匀豢梢栽贚LM級(jí)聯(lián)上創(chuàng)造價(jià)值。同樣，這里的關(guān)鍵問題是，在什么時(shí)候通過在鏈上添加新的LLM來(lái)獲得遞減回報(bào)。

有待進(jìn)一步研究的問題

隨著世界創(chuàng)造出更多的LLM，我們也越來(lái)越多地構(gòu)建使用它們的系統(tǒng)，我們希望找到更加節(jié)約成本的方法來(lái)運(yùn)行它們。本文討論的FrugalGPT論文為未來(lái)的開發(fā)人員創(chuàng)建了一個(gè)強(qiáng)大的框架，讓我非常想知道這個(gè)框架能走多遠(yuǎn)。

在我看來(lái)，這個(gè)框架非常適合于基于不同用戶的答案統(tǒng)一型的一般查詢，例如導(dǎo)師型LLM。然而，對(duì)于答案因用戶而異的使用場(chǎng)景，例如充當(dāng)客戶服務(wù)代理的LLM，評(píng)分系統(tǒng)必須知道LLM與誰(shuí)交談。

總之，找到一個(gè)能為用戶特定交互而又節(jié)約成本的框架未來(lái)將是非常重要的。

主要參考文獻(xiàn)

[1] Chen, L.,等人，F(xiàn)rugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance (2023)，arXiv。

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計(jì)算機(jī)教師，自由編程界老兵一枚。

原文標(biāo)題：FrugalGPT and Reducing LLM Operating Costs，作者：Matthew Gunton

鏈接：https://towardsdatascience.com/frugalgpt-and-reducing-llm-operating-costs-ff1a6428bf96。