偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

無需人類或GPT-4打標(biāo)簽!南大&曠視研究院無監(jiān)督范式大幅降低視覺大模型對齊成本

人工智能 新聞
于是團(tuán)隊經(jīng)過研究,通過構(gòu)造偏好樣本對的方式解決了視覺語言模型的偏好對齊問題,并提出了Self-Supervised Visual Preference Alignment(SeVa)范式。

不用打標(biāo)簽,也能解決視覺大模型的偏好對齊問題了。

南大與曠視研究院的研究人員,推出了適用于VLM的無監(jiān)督范式。

對比偏好對齊前后,可以發(fā)現(xiàn)模型的輸出發(fā)生了顯著的變化。

圖片

目前的視覺大模型已經(jīng)比較成熟,但作者發(fā)現(xiàn)它們在用戶體感方面仍然有所欠缺。

于是團(tuán)隊經(jīng)過研究,通過構(gòu)造偏好樣本對的方式解決了視覺語言模型的偏好對齊問題,并提出了Self-Supervised Visual Preference Alignment(SeVa)范式。

該范式基于LLaVa-1.5-7B/13B完成,整個過程無需GPT-4或者是人類參與打標(biāo)簽,目前項目已經(jīng)開源!

圖片

構(gòu)建正負(fù)樣本對比數(shù)據(jù)集

目前視覺大模型基本上在流程上已經(jīng)非常成熟——預(yù)訓(xùn)練+指導(dǎo)監(jiān)督微調(diào)(SFT)+對齊(可選)。

去年下半年開始,工業(yè)界和學(xué)術(shù)界主要聚焦在多模態(tài)大模型的數(shù)據(jù)(數(shù)據(jù)構(gòu)造,配比,打標(biāo)簽)和模型結(jié)構(gòu)(Connector,打開模型權(quán)重等)的設(shè)計上,目標(biāo)是提升VLM的理解能力(傳統(tǒng)QA+多模態(tài)benchmark)。

但是,研究團(tuán)隊發(fā)現(xiàn)部分開源大模型,雖然在跑分時有不錯的性能,但在用戶體感方面會比較欠缺——不遵循指令,產(chǎn)生幻覺回答,違背3H準(zhǔn)則(helpfulness, harmless, honest)等問題紛紛出現(xiàn)。

研究團(tuán)隊認(rèn)為,多模態(tài)對齊的一大難點(diǎn),在于偏好數(shù)據(jù)的構(gòu)造。

主要的原因是,純NLP領(lǐng)域的偏好數(shù)據(jù)非常昂貴且稀缺(一般需要GPT-4或者人類的參與),Vision-Language領(lǐng)域的偏好數(shù)據(jù)還沒有形成一個成熟的pipeline(數(shù)據(jù)構(gòu)造方式,數(shù)據(jù)質(zhì)量,數(shù)據(jù)的效果都還沒完全得到驗證)。

因此,本文首次提出一套自動化構(gòu)造偏好數(shù)據(jù)的pipeline用于Alignment的訓(xùn)練。作者通過嚴(yán)格的實驗,從多個角度展示了該pipeline對多模理解和用戶友好性的提升。

研究當(dāng)中,作者發(fā)現(xiàn)VLM對于圖像層面的擾動非常敏感,也就是說,輕微的圖像增廣就會使得VLM對同一個Question產(chǎn)生錯誤且不同的回答。

具體來說,作者將多種圖像層面的擾動分別作用于LLaVA-1.5的測試階段,并在3個常規(guī)的多模態(tài)benchmark上運(yùn)行,得到的結(jié)果如下:

圖片

因此SeVa將原始圖像產(chǎn)生的回答作為正樣本,將增廣后的圖像產(chǎn)生的回答作為負(fù)樣本,用于構(gòu)造DPO的數(shù)據(jù)集并訓(xùn)練。

圖片

△SeVa的6行偽代碼實現(xiàn)

如果以流程圖的形式來展示,SeVa的工作流如下:

圖片

具體來說,作者使用LLaVA665k 數(shù)據(jù)集中的TextVQA和OCRVQA來構(gòu)造DPO數(shù)據(jù),基于7B和13B的LLaVA-v1.5模型,使用其pretrained+SFT作為DPO的初始化權(quán)重,結(jié)合LoRA訓(xùn)練語言模型,r默認(rèn)在512/1024。

實驗結(jié)果表明,僅僅使用8k構(gòu)造的無監(jiān)督的數(shù)據(jù)能夠顯著提高VLM的指令遵循能力、降低幻覺,并且在多模態(tài)等benchmark上提升明顯。

而且構(gòu)造過程輕而易舉、成本低廉,不需要任何人類或者是GPT-4的標(biāo)注。

圖片

另外,作者還系統(tǒng)闡述了在DPO訓(xùn)練中用到的偏好分布與對比損失之間的關(guān)系。他們的形式在一定程度上是一致的,但是核心區(qū)別在于負(fù)樣本的定義。

和對比學(xué)習(xí)統(tǒng)一之后的好處是,可以輕易的通過對比學(xué)習(xí)的思路,在DPO中添加更多由SeVa構(gòu)建的負(fù)樣本對,從而推導(dǎo)出一個更加通用的DPO形式。

圖片

讓視覺模型更符合人類偏好

在9個benchmark上,SeVa幾乎都能夠做到穩(wěn)定的提升,特別是在GPT-4評估的MMVet,和LLaVA-bench上提升顯著,在用于評估幻覺的指標(biāo)POPE、SHR上也有穩(wěn)定的性能提升。

圖片

進(jìn)一步實驗表明,SeVa DPO的范式比SFT在微調(diào)VLM上具有更大的優(yōu)勢,例如訓(xùn)練時間更短、數(shù)據(jù)量更少、pipeline無需監(jiān)督等,另外再性能上也有所提升。

換句話說,該實驗也證明了Preference Alignment在某些情況會遠(yuǎn)遠(yuǎn)超過SFT的效率。

圖片

而且,經(jīng)過DPO之后,SeVa的輸出會更加的與模型得到的Question更加的接近。

同時,SeVa每次回答的一致性也更高,對于不同temperature的擾動擁有更強(qiáng)的魯棒性。

圖片

通過可視化,作者還發(fā)現(xiàn),SeVa的輸出結(jié)果比原始LLaVA(未經(jīng)過DPO訓(xùn)練)更加的優(yōu)質(zhì)(在win-lose的比例上明顯占優(yōu))。

同時,經(jīng)過DPO之后,SeVA產(chǎn)生了普遍比LLaVA更長更詳細(xì)的回答。以上兩個方面的可視化也解釋了為什么SeVa能夠更加的與人類的偏好對齊。

圖片

另外,本文還進(jìn)行了諸多關(guān)于SeVa的細(xì)化和分析,有很多有意思的結(jié)論:

  • SeVa能夠被視作一種特殊的對比學(xué)習(xí)方法。
  • SeVa構(gòu)造的數(shù)據(jù)進(jìn)行DPO訓(xùn)練后,模型會產(chǎn)生更長token的輸出,并且抗干擾能力更強(qiáng)。
  • 正負(fù)樣本之間的margin很重要,過大或過小都會sup-optimal。
  • 對齊過程中的LoRA參數(shù)非常關(guān)鍵。

論文地址:https://arxiv.org/abs/2404.10501
GitHub:https://github.com/Kevinz-code/SeVa

責(zé)任編輯:張燕妮 來源: 量子位
相關(guān)推薦

2024-07-22 09:01:20

2023-07-05 09:57:11

2023-05-05 09:42:12

2023-07-09 14:50:48

模型調(diào)優(yōu)

2023-06-01 12:46:46

GPT-4數(shù)學(xué)OpenAI

2024-04-01 12:41:55

2023-12-16 09:45:56

論文GPT-4AI

2023-11-26 18:04:00

IDEA視覺

2024-02-07 12:13:03

AI模型

2023-09-20 15:21:48

2023-05-08 12:47:48

IBM模型

2024-03-20 13:18:46

模型多模態(tài)體系

2025-02-26 13:00:00

2023-06-05 12:32:48

模型論文

2023-11-13 07:56:16

AI模型

2024-02-27 16:30:37

OpenAIGPT-4Mistral AI

2024-01-26 15:25:27

GPT-4人工智能大模型

2023-12-04 12:56:08

AI數(shù)據(jù)

2022-06-14 14:28:02

AI大牛
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號