譯者 | 布加迪

審校 | 重樓

小語言模型（SLM）是大語言模型（LLM）的緊湊版。它們包含的參數(shù)通常少于大語言模型：大約30億個參數(shù)或更少。這使得它們相對輕量級，推理時間更快。

SLM方面一個值得研究的主題是將它們集成到檢索增強(qiáng)生成（RAG）系統(tǒng)中，以增強(qiáng)其性能。本文探討了這一最新趨勢，概述了將SLM集成到RAG系統(tǒng)中的好處和局限性。

簡述SLM

為了更好地描述SLM，重要的是闡明它與LLM的區(qū)別。

• 大小和復(fù)雜性：雖然LLM可能有多達(dá)數(shù)萬億個參數(shù)，但SLM小得多，通常只有幾百萬到幾十億個參數(shù)。這仍然相當(dāng)龐大，但生活中的一切都是相對的，尤其較之LLM。
• 所需資源：鑒于尺寸減小，SLM用于訓(xùn)練和推理的計算資源不如LLM那么多。這種更高的資源效率是SLM的主要優(yōu)勢之一。
• 模型性能：另一方面，由于全面的訓(xùn)練過程、數(shù)量更多的參數(shù)，LLM在準(zhǔn)確性方面往往更勝一籌，并且能夠應(yīng)對比SLM更復(fù)雜的任務(wù)：LLM就像一個更大的大腦！同時，SLM在理解和生成具有復(fù)雜模式的文本方面可能存在局限性。

除了資源和成本效率外，SLM的其他優(yōu)點還包括更高的部署靈活性，這是由于它是輕量級模型。另一個優(yōu)點是它可以更快地微調(diào)特定領(lǐng)域的數(shù)據(jù)集。

至于SLM的缺點，除了對非常具有挑戰(zhàn)性的語言任務(wù)而言局限性更大外，其通用性較差，并且在處理針對它訓(xùn)練的領(lǐng)域數(shù)據(jù)之外的語言時困難更大。

SLM與RAG系統(tǒng)的集成

將SLM集成到RAG系統(tǒng)中可以實現(xiàn)幾個目標(biāo)，比如提高特定領(lǐng)域應(yīng)用環(huán)境中的系統(tǒng)性能。如上所述，針對專用數(shù)據(jù)集微調(diào)SLM的成本明顯低于針對相同數(shù)據(jù)集微調(diào)LLM，并且RAG系統(tǒng)中的微調(diào)模型可以提供比使用通用文本訓(xùn)練的基礎(chǔ)模型更準(zhǔn)確、更符合上下文的響應(yīng)。總之，SLM-RAG集成可以確保經(jīng)過微調(diào)的生成器（SLM）生成的內(nèi)容與檢索到的信息緊密相關(guān)，從而提高整個系統(tǒng)的準(zhǔn)確性。

現(xiàn)在不妨回顧一下基本的RAG架構(gòu)是什么樣子的（本文中“SLM”替換生成器內(nèi)的“LLM”）：

圖1. RAG架構(gòu)

上面討論的SLM在RAG系統(tǒng)中的作用實質(zhì)上是成為系統(tǒng)的生成器。然而，將SLM集成到RAG系統(tǒng)中有很多方法。一種方法是成為額外的檢索器組件來增強(qiáng)性能，通過根據(jù)查詢相關(guān)性對檢索到的文檔進(jìn)行排名或重新排名，從而為生成器確保更高質(zhì)量的輸入，而生成器又可能是另一個SLM或LLM。SLM 還可能用于RAG系統(tǒng)中，以預(yù)處理或過濾檢索到的上下文，并確保僅將最相關(guān)或最高質(zhì)量的信息傳遞給生成器：這種方法名為預(yù)生成過濾或增強(qiáng)。最后還有混合RAG架構(gòu)，其中LLM和SLM可以作為生成器而共存：通過查詢路由機(jī)制，SLM負(fù)責(zé)處理簡單或特定領(lǐng)域的查詢，LLM 則負(fù)責(zé)處理需要更強(qiáng)上下文理解能力的復(fù)雜通用任務(wù)。

在RAG中使用SLM并不是各種情形下的首選方法，這種方法的一些挑戰(zhàn)和限制如下：

• 數(shù)據(jù)稀缺：高質(zhì)量、特定領(lǐng)域的數(shù)據(jù)集對于訓(xùn)練SLM至關(guān)重要，但并不總是容易找到。無法依賴足夠的數(shù)據(jù)可能會導(dǎo)致模型性能不佳。
• 詞匯限制：經(jīng)過微調(diào)的SLM缺乏全面的詞匯，這會影響它理解和生成具有不同語言模式的不同響應(yīng)的能力。
• 部署限制：盡管SLM的輕量級特性使其適合邊緣設(shè)備，但面對各種硬件確保兼容性和最佳性能仍然是一大挑戰(zhàn)。

由此我們得出結(jié)論，對于每個RAG應(yīng)用來說，SLM并不普遍優(yōu)于LLM。為您的RAG系統(tǒng)選擇SLM還是LLM應(yīng)該取決于幾個標(biāo)準(zhǔn)：在專注于特定領(lǐng)域任務(wù)的系統(tǒng)中，在資源受限的情況下，以及在數(shù)據(jù)隱私至關(guān)重要的情況下，SLM更適合，這使得它比LLM更容易用于云之外的推理。相反，當(dāng)復(fù)雜的查詢理解至關(guān)重要，并且需要檢索和處理更長的上下文窗口（大量文本信息）時，LLM是通用RAG應(yīng)用的首選方法。

結(jié)語

SLM提供了一種經(jīng)濟(jì)高效且靈活的LLM替代方案，尤其是對于簡化特定領(lǐng)域的RAG應(yīng)用程序的開發(fā)。本文討論了在RAG系統(tǒng)中利用SLM的優(yōu)勢和局限性，闡述了小語言模型在這些創(chuàng)新的檢索生成解決方案中的作用，這是當(dāng)今AI研究領(lǐng)域的一個活躍主題。

原文標(biāo)題：Exploring the Role of Smaller LMs in Augmenting RAG Systems，作者：Ivan Palomares Carrascosa