BAAI剛剛開(kāi)源了Emu3多模態(tài)大模型，僅使用單個(gè)transformer，使用下一個(gè)token預(yù)測(cè)的方法從0進(jìn)行訓(xùn)練！通過(guò)將圖像、文本和視頻tokenize到一個(gè)統(tǒng)一的離散的空間中，直接通過(guò)預(yù)測(cè)下一個(gè)token實(shí)現(xiàn)文本、圖像和視頻生成。

Homepage:??? https://emu.baai.ac.cn/????

Github: ???https://github.com/baaivision/Emu3???

Model: https://huggingface.co/BAAI/Emu3-Gen

Emu3

Emu3 在生成和感知任務(wù)中超越了多個(gè)任務(wù)的專用模型，表現(xiàn)優(yōu)于主流開(kāi)源模型如 SDXL、LLaVA-1.6 和 OpenSora-1.2，同時(shí)不需要基于Diffison或組合多種不同架構(gòu)。 

Emu3 能夠根據(jù)文本輸入生成高質(zhì)量的圖像，通過(guò)簡(jiǎn)單地預(yù)測(cè)下一個(gè)視覺(jué)標(biāo)記來(lái)實(shí)現(xiàn)。該模型自然支持靈活的分辨率和風(fēng)格。 

Emu3 展現(xiàn)出強(qiáng)大的視覺(jué)語(yǔ)言理解能力，能夠感知物理世界并提供連貫的文本響應(yīng)。值得注意的是，這種能力是在不依賴 CLIP 和預(yù)訓(xùn)練 LLM 的情況下實(shí)現(xiàn)的。 

Emu3 通過(guò)預(yù)測(cè)視頻序列中的下一個(gè)token來(lái)因果生成視頻，與 Sora 的視頻擴(kuò)散模型不同。在上下文中有視頻的情況下，Emu3 還能自然延伸視頻并預(yù)測(cè)接下來(lái)會(huì)發(fā)生什么。

方法

Emu3 采用混合語(yǔ)言、圖像和視頻數(shù)據(jù)從零開(kāi)始進(jìn)行訓(xùn)練。語(yǔ)言數(shù)據(jù)來(lái)自 Aquila 的高質(zhì)量中英文語(yǔ)料庫(kù)。圖像數(shù)據(jù)經(jīng)過(guò)精心篩選，確保分辨率和美學(xué)質(zhì)量，使用 LAION-AI 的美學(xué)預(yù)測(cè)工具過(guò)濾，并結(jié)合來(lái)自 DenseFusion 的補(bǔ)充數(shù)據(jù)。視頻數(shù)據(jù)涵蓋多種類別，經(jīng)過(guò)分段、文本檢測(cè)和運(yùn)動(dòng)評(píng)估，以確保視頻質(zhì)量。最后利用 GPT-4V 為圖像和視頻生成文本標(biāo)注。

模型采用 SBER-MoVQGAN 訓(xùn)練視覺(jué)編碼器，實(shí)現(xiàn)高效的視頻和圖像編碼。預(yù)訓(xùn)練和后訓(xùn)練過(guò)程中，Emu3 集成文本和視覺(jué)信息，通過(guò)下一標(biāo)記預(yù)測(cè)任務(wù)優(yōu)化生成質(zhì)量，并運(yùn)用直接偏好優(yōu)化（DPO）提升模型與人類偏好的對(duì)齊。最終，模型通過(guò)圖像-文本訓(xùn)練和指令調(diào)優(yōu)增強(qiáng)視覺(jué)語(yǔ)言理解能力。

能力

視頻生成

未來(lái)幀預(yù)測(cè)

多模態(tài)對(duì)話

本文轉(zhuǎn)載自公眾號(hào)思源數(shù)據(jù)科學(xué) 作者：思源Source

原文鏈接：??https://mp.weixin.qq.com/s/J6MTvki9YjXU5aqcrfi8JA??