RAG只能應(yīng)用于文本檢索嗎？關(guān)于大模型應(yīng)用之RAG——檢索增強(qiáng)的思考 原創(chuàng)
“ RAG是一項(xiàng)入門很簡(jiǎn)單，但實(shí)際操作起來(lái)卻很困難的技術(shù)之一；RAG是模型無(wú)關(guān)的獨(dú)立技術(shù)棧，它的核心是文檔和檢索，RAG本身并不具備生成的能力，結(jié)合模型才具備生成能力 ”
最近在做RAG方面的應(yīng)用，關(guān)于RAG技術(shù)很多人應(yīng)該都了解過(guò)，畢竟其也算是大模型應(yīng)用的一個(gè)主要方向；具體應(yīng)用場(chǎng)景有智能客服，搜索引擎優(yōu)化，教育輔助等。
在傳統(tǒng)的印象中，RAG技術(shù)結(jié)合LLM(Large Language Model)大語(yǔ)言模型，做文檔類檢索增強(qiáng)；但RAG僅僅只能用來(lái)處理文檔類文本嗎？
RAG僅僅只是一項(xiàng)技術(shù)，一個(gè)工具，它和其它技術(shù)是相互獨(dú)立的；它可以和具體的應(yīng)用場(chǎng)景相結(jié)合，來(lái)解決實(shí)際問(wèn)題。
關(guān)于RAG應(yīng)用的思考
在RAG應(yīng)用的過(guò)程中，最近兩天突然有了一個(gè)想法，那就是RAG結(jié)合LLM模型；對(duì)具體的LLM模型有要求嗎？簡(jiǎn)單來(lái)說(shuō)就是，是不是任何一個(gè)LLM模型都可以用到RAG技術(shù)？
可能說(shuō)到這里有些人還不是很理解，舉例來(lái)說(shuō)LLM語(yǔ)言模型有多種任務(wù)類型，有翻譯類任務(wù)模型，情感分類模型，生成類模型和問(wèn)答，摘要模型等。
是否某些模型不能使用RAG技術(shù)？
但是轉(zhuǎn)念一想，RAG技術(shù)和大模型技術(shù)一樣，它是一項(xiàng)獨(dú)立的技術(shù)；即使沒(méi)有大模型RAG技術(shù)也是獨(dú)立存在的；RAG并不是大模型技術(shù)的子領(lǐng)域。
比如說(shuō)，在搜索引擎領(lǐng)域也可以應(yīng)用到RAG技術(shù)；而且RAG技術(shù)的本質(zhì)是建立一個(gè)外部知識(shí)庫(kù)，然后能夠進(jìn)行更加復(fù)雜和準(zhǔn)確高效的檢索，最后把檢索到的內(nèi)容返回給調(diào)用者就可以了，這里的調(diào)用者可以是任何人；比如說(shuō)能夠在海量文檔中準(zhǔn)確快速地檢索到我們需要的內(nèi)容。
所以RAG就類似于建立一個(gè)檔案館，然后能夠快速準(zhǔn)確地找到需要的資料；至于是大模型需要這些資料，還是搜索引擎需要這些資料，就不是RAG需要操心的了。
和傳統(tǒng)的字符匹配或簡(jiǎn)單分詞不同，RAG需要做到的是語(yǔ)義檢索；舉例來(lái)說(shuō)，描述愛(ài)情的句子中并一定需要出現(xiàn)愛(ài)情兩個(gè)字；而傳統(tǒng)的字符匹配機(jī)制，只有出現(xiàn)愛(ài)情的時(shí)候才能匹配到相應(yīng)的內(nèi)容。
ok，上面說(shuō)了RAG是一項(xiàng)獨(dú)立的技術(shù)，和大模型沒(méi)有直接關(guān)系；那么是否可以發(fā)散一下思維，RAG除了進(jìn)行文檔增強(qiáng)之外，是否可以應(yīng)用于圖像檢索增強(qiáng)，以及文字圖像混合檢索增強(qiáng)？
以上問(wèn)題從理論上來(lái)說(shuō)是完全可行的，因?yàn)镽AG主要負(fù)責(zé)的就是資料的維護(hù)和檢索；至于怎么使用這些資料就不關(guān)RAG的事了。而對(duì)RAG來(lái)說(shuō)，文檔資料和圖像資料沒(méi)有本質(zhì)上的區(qū)別。
因此，把RAG應(yīng)用于大語(yǔ)言模型那么就是文檔RAG，而把RAG應(yīng)用于圖像大模型，那么它就是圖像RAG，而RAG應(yīng)用于多模態(tài)那么就能實(shí)現(xiàn)文本和圖像的混合檢索。
當(dāng)然，雖然從理論上來(lái)說(shuō)RAG和模型無(wú)關(guān)，使用什么模型是你自己的事；但不同的模型還是有一定的區(qū)別，比如說(shuō)模型的上下文長(zhǎng)度，大模型的質(zhì)量也就是理解和生成能力等。
RAG并不依賴于具體的模型，但不同的模型在適配性方面可能會(huì)存在一定的差別。
本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires
