怎么解決大模型知識庫的檢索問題，RAG檢索增強(qiáng)之ReRank(重新排序) 原創(chuàng)
“ 面臨日益增長的海量數(shù)據(jù)，怎么高效和準(zhǔn)確的檢索數(shù)據(jù)一直是一個值得思考的問題 ”
對大模型應(yīng)用有所了解的人應(yīng)該都知道RAG技術(shù)——檢索增強(qiáng)，本公眾號前前后后也寫過好幾次關(guān)于RAG的文章；但在實(shí)際的企業(yè)應(yīng)用中，RAG還是面臨著各種各樣的問題，比如效率問題，準(zhǔn)確度問題等等。
這些問題雖然在一些應(yīng)用場景中并沒有什么影響，但在某些場景中卻是不可接受的；因此就有很多人想方設(shè)法的優(yōu)化RAG技術(shù)，比如使用更加高效和準(zhǔn)確的檢索算法，更加合理的數(shù)據(jù)結(jié)構(gòu)，優(yōu)化提示詞，關(guān)鍵詞等。
但總的來說有些時候還是差強(qiáng)人意，而隨著RAG技術(shù)的發(fā)展，ReRank技術(shù)被提了出來。ReRank技術(shù)可以說是對RAG技術(shù)的增強(qiáng)，雖然它還無法完全解決RAG存在的問題，但優(yōu)中選優(yōu)ReRank是比RAG更好的一種檢索方式。
ReRank——重新排序
什么是ReRank技術(shù)？
ReRank 中文翻譯過來就是重新排序技術(shù)，那么什么是重新排序技術(shù)，以及為什么需要重新排序技術(shù)？
在之前的檢索系統(tǒng)中，通常是通過字符匹配的方式進(jìn)行數(shù)據(jù)檢索；雖然后來有了ES這種檢索中間件，采用了分詞以及相似度搜索的方式實(shí)現(xiàn)了更加高效的數(shù)據(jù)檢索；但總體來說其效果也不是太好，特別是在語言分析方面。
雖然隨著大模型技術(shù)的出現(xiàn)，基于語義的向量檢索方式大行其道；但怎么從大量數(shù)據(jù)中高效與準(zhǔn)確的檢索出所需的數(shù)據(jù)，依然是一個亟待解決的問題。
同樣，外部知識檢索作為對大模型能力缺陷的補(bǔ)充，是目前企業(yè)應(yīng)用中最常見的解決方案；但面臨著日益復(fù)雜的應(yīng)用環(huán)境，以及用戶端的快速響應(yīng)，RAG技術(shù)目前仍然飽受詬病，特別是RAG技術(shù)看起來入門很容易，但想深入確實(shí)很難。
RAG技術(shù)所面臨的問題是什么？
RAG技術(shù)所面臨的兩個主要問題就是檢索的效率和準(zhǔn)確性；為什么會出現(xiàn)這種問題？
不論是使用傳統(tǒng)的檢索方式，還是使用embedding向量檢索的方式，面臨大量數(shù)據(jù)RAG技術(shù)依然力不從心。
一旦數(shù)據(jù)達(dá)到一定規(guī)?；蛘哂脩魧?shù)據(jù)準(zhǔn)確性要求較高，RAG技術(shù)就很難滿足用戶的需求。當(dāng)然，這是從應(yīng)用的角度得出的結(jié)論，那么從技術(shù)角度呢？
比如說，面臨一個數(shù)十億甚至上百億數(shù)據(jù)量的知識庫，基于RAG技術(shù)的檢索方式是怎么實(shí)現(xiàn)的？
在檢索方面剛開始使用的就是最傳統(tǒng)的暴力搜索算法，什么是暴力搜索算法？
所謂的暴力搜索就是，遍歷全部數(shù)據(jù)，然后通過字符匹配或相似度搜索以及向量搜索等方式查詢出所需要的數(shù)據(jù)。
但有一點(diǎn)算法基礎(chǔ)的人應(yīng)該都知道，雖然八大排序算法在小規(guī)模數(shù)據(jù)中具有很大的優(yōu)勢；但在大量數(shù)據(jù)中八大排序完全沒什么用。
原因是什么？
原因就是效率太低。
雖然后期通過優(yōu)化，比如說通過數(shù)據(jù)治理的方式，把不同的數(shù)據(jù)根據(jù)某種規(guī)則進(jìn)行分倉，或者構(gòu)建索引加快檢索速度；但等到索引大量增長的時候，依然會出現(xiàn)很多問題。
所以，現(xiàn)在更加高級的檢索方式，ReRank就出現(xiàn)了。
ReRank的技術(shù)實(shí)現(xiàn)原理是什么？
ReRank技術(shù)就像一個篩子，通過多篩幾次的方式檢索到所需要的數(shù)據(jù)；第一遍通過快速檢索等方式，從海量的數(shù)據(jù)中快速檢索出所需要的數(shù)據(jù)；比如說全世界的知識作為一個數(shù)據(jù)庫，這時你需要查詢與孫悟空相關(guān)的數(shù)據(jù)。
這時ReRank技術(shù)就用最快的方式，從這個數(shù)據(jù)庫中檢索到所有與孫悟空有關(guān)的內(nèi)容，不論是齊天大圣，還是孫猴子等等，甚至與其無關(guān)的其它三大名著的內(nèi)容。
為什么要這樣做？
這樣做的原因就是，面對如此龐大的數(shù)據(jù)庫，遍歷所有數(shù)據(jù)顯然是不可能的，即使技術(shù)上能實(shí)現(xiàn)，時間上也不允許。
所以，第一遍就通過最快速的方式從中檢索到與任何與孫悟空有關(guān)的數(shù)據(jù)；比如說檢索到了一百萬條數(shù)據(jù)。
然后再從這一百萬條數(shù)據(jù)中再次檢索，也就是再過一遍篩子；比如使用語義檢索，從中匹配出相關(guān)度更高的數(shù)據(jù)。
最后通過多次篩選，通過精確匹配等方式，拿到最終的數(shù)據(jù)。
這樣做有一個很明顯的好處就是，雖然遍歷一百萬數(shù)據(jù)也很難；但至少比遍歷全部數(shù)據(jù)要簡單的多。
這也是分治思想在數(shù)據(jù)檢索中的一種應(yīng)用；這就像我們選兵員一樣；先把全國的青壯年選出來，然后再在里面優(yōu)中選優(yōu)，這樣選出來的士兵素質(zhì)肯定會更好，也會更快。
本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires
