1. 一眼概覽

CHiP 提出了一種跨模態(tài)分層偏好優(yōu)化方法，通過(guò)視覺(jué)與文本偏好雙重引導(dǎo)，顯著提升多模態(tài)大模型（MLLMs）在幻覺(jué)檢測(cè)任務(wù)中的表現(xiàn)，最高減少55.5%的幻覺(jué)率。

2. 核心問(wèn)題

多模態(tài)大模型（如GPT-4V、LLaVA）雖具強(qiáng)大能力，但常產(chǎn)生“幻覺(jué)”——即圖文語(yǔ)義不一致、生成不符合圖像內(nèi)容的描述?，F(xiàn)有DPO方法僅基于文本偏好，難以有效對(duì)齊圖像和文本的表示，也無(wú)法細(xì)粒度定位幻覺(jué)段落，限制了模型可信度與實(shí)用性。

3. 技術(shù)亮點(diǎn)

• 雙模態(tài)偏好對(duì)齊：引入視覺(jué)偏好優(yōu)化模塊，使模型可從圖像對(duì)比中學(xué)習(xí)更準(zhǔn)確的語(yǔ)義表達(dá)；
• 多粒度文本偏好優(yōu)化：創(chuàng)新性地在響應(yīng)、段落和token級(jí)別進(jìn)行分層優(yōu)化，更精細(xì)捕捉幻覺(jué)信息；
• 大幅降低幻覺(jué)率：在ObjHal數(shù)據(jù)集上，相比DPO，CHiP在Muffin和LLaVA模型上分別減少了52.7%和55.5%的幻覺(jué)率。

4. 方法框架

CHiP 包含兩個(gè)核心模塊：

? 視覺(jué)偏好優(yōu)化模塊：構(gòu)造視覺(jué)偏好圖像對(duì)（如原圖 vs. 旋轉(zhuǎn)圖），引導(dǎo)模型識(shí)別哪幅圖更能生成優(yōu)質(zhì)響應(yīng)，實(shí)現(xiàn)跨模態(tài)語(yǔ)義對(duì)齊；

? 分層文本偏好優(yōu)化模塊：

a.響應(yīng)級(jí)：優(yōu)化整個(gè)回答的偏好選擇；

b.段落級(jí)：關(guān)注實(shí)體詞和修改段的貢獻(xiàn)；

c.Token級(jí)：每個(gè)詞級(jí)別計(jì)算KL散度，引導(dǎo)模型逐詞去幻覺(jué)。

5. 實(shí)驗(yàn)結(jié)果速覽

CHiP 在多項(xiàng)權(quán)威幻覺(jué)評(píng)測(cè)基準(zhǔn)上展現(xiàn)了顯著優(yōu)勢(shì)，尤其在與主流基線方法 DPO 進(jìn)行對(duì)比時(shí)表現(xiàn)尤為突出。在 Object HalBench 數(shù)據(jù)集上，CHiP 將基于 LLaVA 模型的響應(yīng)級(jí)幻覺(jué)率從原先的 42.7% 降低至 14.1%，提降幅度達(dá)到 55.5%；同時(shí)，基于 Muffin 模型的幻覺(jué)率也從 43.8% 降至 11%，顯示出強(qiáng)大的跨模型泛化能力。

在 MMHal-Bench 上，CHiP 顯著減少了由 GPT-4 評(píng)估判定的幻覺(jué)內(nèi)容，幻覺(jué)率從原先的 38.9% 降至僅 4.9%，大幅提升了多模態(tài)問(wèn)答的可信度。

6. 實(shí)用價(jià)值與應(yīng)用

CHiP 作為統(tǒng)一的跨模態(tài)對(duì)齊方案，顯著增強(qiáng)了多模態(tài)大模型在以下場(chǎng)景的可信度與應(yīng)用能力：

? AI助手問(wèn)答/多模態(tài)搜索：降低錯(cuò)誤描述風(fēng)險(xiǎn)；

? 醫(yī)療/安防等高可信場(chǎng)景：避免幻覺(jué)導(dǎo)致誤判；

? 對(duì)齊評(píng)估基準(zhǔn)建設(shè)：提供細(xì)粒度對(duì)齊訓(xùn)練方法，利于多模態(tài)訓(xùn)練范式優(yōu)化。

7. 開(kāi)放問(wèn)題

? 若視覺(jué)偏好圖像之間差異極小（如微小旋轉(zhuǎn)），CHiP是否仍能有效學(xué)習(xí)？

? 分層文本偏好機(jī)制是否可遷移至音頻、多輪對(duì)話等其他模態(tài)任務(wù)？

? CHiP能否與RLHF等強(qiáng)化學(xué)習(xí)范式結(jié)合，進(jìn)一步提升對(duì)齊能力？