提升5.69倍，高效RAG上下文壓縮方法COCOM
GPT-4、Llama等開(kāi)閉大模型通過(guò)預(yù)訓(xùn)練的方式將海量數(shù)據(jù)積累成一個(gè)龐大的知識(shí)庫(kù)，再通過(guò)文本問(wèn)答的形式為用戶生成各種內(nèi)容。但這種方法僅局限于訓(xùn)練數(shù)據(jù)集，為了擴(kuò)大輸出范圍允許模型通過(guò)檢索額外的數(shù)據(jù)來(lái)豐富生成內(nèi)容，RAG（知識(shí)檢索增強(qiáng)）成為了必備功能之一。
RAG也有一個(gè)明顯的缺點(diǎn)，就是隨著上下文信息量的增加，模型的解碼時(shí)間顯著延長(zhǎng)，嚴(yán)重影響用戶獲取答案的效率。
所以，阿姆斯特丹大學(xué)、昆士蘭大學(xué)和NAVER實(shí)驗(yàn)室的研究人員聯(lián)合發(fā)布了創(chuàng)新壓縮方法COCOM（Context COmpression Model）。
論文地址：https://arxiv.org/abs/2407.09252
在傳統(tǒng)的RAG模型中，為了生成一個(gè)準(zhǔn)確的答案，系統(tǒng)需要考慮大量的上下文信息。這些信息可能來(lái)自多個(gè)文檔，每個(gè)文檔都包含了對(duì)生成答案可能有用的信息。
不過(guò)將這些長(zhǎng)文本直接輸入到大模型中會(huì)導(dǎo)致解碼時(shí)間顯著增加，因?yàn)槟Ｐ托枰幚砀嗟妮斎霐?shù)據(jù)，消耗的算力和推理時(shí)間也就更多。
COCOM使用了一種創(chuàng)新的上下文壓縮技術(shù)，將長(zhǎng)文本上下文轉(zhuǎn)換成一組緊湊的上下文嵌入。這些嵌入能夠捕捉原始文本的關(guān)鍵信息，并以一種更高效的方式提供給大模型，能夠在減少模型輸入大小的同時(shí)，保持提升生成內(nèi)容的質(zhì)量。
COCOM還使用了一個(gè)轉(zhuǎn)換器，幫助大模型對(duì)輸入的上下文進(jìn)行分詞處理，將其轉(zhuǎn)換成一系列的標(biāo)記。然后，這些標(biāo)記被輸入到一個(gè)壓縮模型中，并負(fù)責(zé)將這些標(biāo)記轉(zhuǎn)換成一組上下文嵌入。
在壓縮模型的訓(xùn)練過(guò)程中，研究者們采用了兩種主要的預(yù)訓(xùn)練任務(wù)：自編碼和基于上下文嵌入的語(yǔ)言建模。自編碼任務(wù)的目標(biāo)是訓(xùn)練模型將上下文嵌入重構(gòu)回原始的輸入文本，這有助于模型學(xué)習(xí)如何有效地壓縮和解壓上下文信息。
而基于上下文嵌入的語(yǔ)言建模任務(wù)則是訓(xùn)練模型根據(jù)壓縮后的嵌入生成文本的下一部分，這有助于模型學(xué)習(xí)如何利用上下文嵌入中的信息。
值得一提的是，COCOM的壓縮率非常靈活可以調(diào)節(jié)，通過(guò)調(diào)整壓縮率參數(shù)幫助開(kāi)發(fā)人員在減少解碼時(shí)間和保持答案質(zhì)量之間找到一個(gè)平衡點(diǎn)。
例如，一個(gè)較低的壓縮率可能會(huì)生成更多的嵌入，從而保留更多的上下文信息，但同時(shí)也會(huì)略微增加解碼時(shí)間。相反，一個(gè)較高的壓縮率會(huì)減少生成的嵌入數(shù)量，從而加快解碼效率，但可能會(huì)犧牲一些生成答案的質(zhì)量。
此外，COCOM還能夠處理多個(gè)上下文的情況。在知識(shí)密集型任務(wù)中，通常需要從多個(gè)文檔中提取信息以生成答案。COCOM能夠獨(dú)立地壓縮每個(gè)文檔的上下文，并將生成的嵌入向量作為一組提供給大模型，這種方法能幫助模型在處理多個(gè)上下文時(shí)仍保持高效率。
研究人員在Natural Questions、MS MARCO、HotpotQA測(cè)試平臺(tái)中評(píng)估了COCOM，并與現(xiàn)有AutoCompressor、xRAG、ICAE等壓縮方法進(jìn)行比較，COCOM的效率能提升5.69倍，內(nèi)存減少1.27倍。
本文轉(zhuǎn)自 AIGC開(kāi)放社區(qū) ，作者：AIGC開(kāi)放社區(qū)
