1、RIG 新模式

上月，谷歌在 Huggingface 和 Kaggle 兩大平臺(tái)發(fā)布了兩個(gè)新型開源模型：datagemma-rag-27b-it與datagemma-rig-27b-it。特別是其中的RIG（Retrieval Interleaved Generation）檢索交錯(cuò)生成模型，它開創(chuàng)了大型語(yǔ)言模型（LLM）與外部數(shù)據(jù)庫(kù)交互的新方法。

2、RAG VS RIG

對(duì)于那些對(duì)大型語(yǔ)言模型（LLM）有所了解的同學(xué)來(lái)說(shuō)，他們清楚 LLM 是通過(guò)訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)知識(shí)的。因此，在使用大型模型時(shí)，我們可能會(huì)遇到“幻覺”和“信息過(guò)時(shí)”等問(wèn)題，這些問(wèn)題通常是因?yàn)橛?xùn)練數(shù)據(jù)庫(kù)中缺乏相關(guān)知識(shí)或者訓(xùn)練數(shù)據(jù)未能及時(shí)更新所致。鑒于 LLM 訓(xùn)練所需的高昂時(shí)間和經(jīng)濟(jì)成本，在實(shí)際應(yīng)用中，我們通常會(huì)采用 RAG（Retrieval Augmented Generation）技術(shù)，即為 LLM “接入”一個(gè)最新的數(shù)據(jù)庫(kù)，以便通過(guò)檢索手段利用 LLM 的能力來(lái)回答用戶關(guān)于特定或最新數(shù)據(jù)的問(wèn)題。

RAG 的工作流程如下：

1. 用戶查詢提交：用戶向 LLM 發(fā)送查詢或提示詞。

2. 數(shù)據(jù)檢索：LLM 將用戶的查詢轉(zhuǎn)化為數(shù)據(jù)庫(kù)查詢，并向外部數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)檢索。

3. 響應(yīng)生成：LLM 結(jié)合自身的知識(shí)庫(kù)和檢索到的結(jié)果，生成相應(yīng)的答案。

如圖所示，當(dāng)被問(wèn)及“再生資源的使用是否有所上升？”時(shí)，RAG 應(yīng)用通過(guò)檢索得到的數(shù)據(jù)表來(lái)獲取信息，從而提供了準(zhǔn)確的數(shù)據(jù)驅(qū)動(dòng)的答案。

而此次發(fā)布的 RIG 模型則采用了不同的方法—檢索交錯(cuò)生成。這里的“交錯(cuò)”指的是在生成部分回答和檢索外部數(shù)據(jù)之間進(jìn)行交替。該模型不會(huì)等到所有數(shù)據(jù)檢索完畢才開始生成回答；相反，它是將檢索和響應(yīng)生成這兩個(gè)過(guò)程相互交織，使得檢索和回答的生成能夠同步進(jìn)行。

RIG 模型的操作流程可以概括為以下幾個(gè)核心步驟：

1. 用戶查詢提交：用戶向 LLM 發(fā)送查詢或提示。

2. 部分響應(yīng)構(gòu)建：LLM 利用其內(nèi)置知識(shí)開始構(gòu)建響應(yīng)。然而，這個(gè)響應(yīng)可能包含對(duì)需要外部數(shù)據(jù)部分的占位符或初步推測(cè)。

3. 實(shí)時(shí)數(shù)據(jù)檢索：當(dāng) LLM 發(fā)現(xiàn)信息缺失或不完整時(shí)，它會(huì)即時(shí)搜索外部資源（例如：數(shù)據(jù)庫(kù)、知識(shí)圖譜或基于 Web 的 API）。模型可能會(huì)進(jìn)行多次檢索，以便利用新獲得的數(shù)據(jù)來(lái)豐富其響應(yīng)。

4. 交錯(cuò)檢索與生成：在構(gòu)建響應(yīng)的過(guò)程中，模型在生成響應(yīng)的不同部分和根據(jù)需求獲取數(shù)據(jù)之間動(dòng)態(tài)切換。比如：如果 LLM 以“可再生能源現(xiàn)在……”開頭，它會(huì)在完成該部分響應(yīng)之前暫停，以便檢索特定的可再生能源利用率數(shù)據(jù)。

5. 最終響應(yīng)輸出：在檢索并整合了所有必需的數(shù)據(jù)后，LLM 將完成響應(yīng)并呈現(xiàn)給用戶。

3、RIG 效果

谷歌此次發(fā)布的兩個(gè)開源模型均針對(duì) Data Commons 進(jìn)行了專門的優(yōu)化和測(cè)試，目的是為了應(yīng)對(duì)大型模型與實(shí)際數(shù)字?jǐn)?shù)據(jù)交互的挑戰(zhàn)。"Data Commons是一個(gè)公開可訪問(wèn)的知識(shí)圖譜，它包含了超過(guò)2400億個(gè)數(shù)據(jù)點(diǎn)，涉及數(shù)十萬(wàn)個(gè)統(tǒng)計(jì)變量。這些數(shù)據(jù)點(diǎn)來(lái)源于聯(lián)合國(guó)（UN）、世界衛(wèi)生組織（WHO）、疾病控制和預(yù)防中心（CDC）以及人口普查局等可靠機(jī)構(gòu)。通過(guò)將這些數(shù)據(jù)集整合成一套統(tǒng)一的工具和AI模型，我們?yōu)檎咧贫ㄕ?、研究人員和組織提供了獲取精確洞察力的手段。"

同時(shí)，谷歌在 Colab 上也為這兩個(gè)模型提供了 Notebook，以便用戶更方便地進(jìn)行體驗(yàn)。接下來(lái)，讓我們觀察 RIG 模型在 Data Commons 上的實(shí)際應(yīng)用效果。

問(wèn)題：巴基斯坦在衛(wèi)生目標(biāo)方面取得了哪些進(jìn)展？

datagemma-rig-27b-it 的回答：

Here are some key points:


Progress made:


Increased life expectancy: Life expectancy at birth has increased from [DC#1(62.102 yr [1] || 61.8 years)] in 2000 to [DC#2(66.269 yr [2] || 67.2 years)] in 2020.
Reduced maternal mortality: Maternal mortality ratio has declined from [DC#3(387.3715 Per 100,000 live births [3]* || 276 per 100,000 live births)] in 2000 to [DC#4(177.7277 Per 100,000 live births [4]* || 140)] in 2018.
...


FOOTNOTES
[1] - Per datacatalog.worldbank.org, value was 62.102 yr in 2000. See more at https://datacommons.org/explore#q=what%20was%20the%20life%20expectancy%20in%20Pakistan%20in%202000%3F&mode=toolformer_rig 
[2] - Per datacatalog.worldbank.org, value was 66.269 yr in 2020. See more at https://datacommons.org/explore#q=what%20was%20the%20life%20expectancy%20in%20Pakistan%20in%202020%3F&mode=toolformer_rig 


...

4、結(jié)論

從上述回答可以觀察到，與 RAG 類似，RIG 的主要功能是減少 LLM 在應(yīng)用中的幻覺現(xiàn)象。通過(guò)將實(shí)時(shí)數(shù)據(jù)檢索與響應(yīng)生成過(guò)程緊密結(jié)合，RIG 在構(gòu)建回答過(guò)程中不斷查詢可靠的數(shù)據(jù)源，這有助于模型基于現(xiàn)實(shí)世界的事實(shí)數(shù)據(jù)來(lái)形成輸出，從而顯著降低產(chǎn)生幻覺的可能性。

RIG 的另一個(gè)明顯優(yōu)勢(shì)在于其在生成響應(yīng)的同時(shí)能夠?qū)崟r(shí)調(diào)整。與 RAG 僅在生成響應(yīng)前進(jìn)行一次數(shù)據(jù)檢索不同，RIG 在響應(yīng)生成過(guò)程中進(jìn)行動(dòng)態(tài)的交錯(cuò)檢索。若 LLM 遇到多個(gè)缺失或不完整的信息點(diǎn)，它能夠迭代式地獲取數(shù)據(jù)，并在此過(guò)程中優(yōu)化其回答。

在實(shí)際應(yīng)用中，RIG 更能充分利用參數(shù)規(guī)模較小的 LLM 的性能。RAG 將所有查詢和結(jié)果單詞都輸入 LLM，其答案的質(zhì)量很大程度上取決于 LLM 處理上下文長(zhǎng)度的能力。而 RIG 的方法則是針對(duì)特定數(shù)據(jù)進(jìn)行檢索，對(duì)上下文長(zhǎng)度的處理能力要求更低；此外，對(duì)于無(wú)法檢索到的數(shù)據(jù)，RIG 會(huì)使用占位符來(lái)提示用戶，這使得它提供的數(shù)值答案相對(duì)更加可靠，特別適合對(duì)數(shù)據(jù)準(zhǔn)確性要求較高的敏感領(lǐng)域，比如：價(jià)格咨詢、金融服務(wù)和醫(yī)療咨詢等場(chǎng)景。

本文轉(zhuǎn)載自公眾號(hào)玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/1P4xID8qEHB1fvOdsD5oHQ??