Framepack AI 是由斯坦福大學(xué)的研究人員開(kāi)發(fā)的一種開(kāi)創(chuàng)性的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它徹底改變了視頻生成模型處理長(zhǎng)篇內(nèi)容的方式。

該論文核心是解決了長(zhǎng)期以來(lái)一直困擾視頻生成系統(tǒng)的基本“遺忘漂移困境”。

通過(guò)實(shí)施一種創(chuàng)新的壓縮技術(shù)，根據(jù)幀的重要性對(duì)幀進(jìn)行優(yōu)先級(jí)排序，無(wú)論視頻時(shí)長(zhǎng)如何，F(xiàn)ramepack AI 都能保持固定的轉(zhuǎn)換器上下文長(zhǎng)度。

這一成就使 AI 系統(tǒng)能夠在不增加計(jì)算要求的情況下處理更多的幀，使長(zhǎng)視頻生成不僅成為可能，而且實(shí)用且高效。

Framepack AI 關(guān)鍵創(chuàng)新

• 固定上下文長(zhǎng)度 無(wú)論輸入視頻長(zhǎng)度如何，都能保持恒定的計(jì)算瓶頸，從而能夠高效處理較長(zhǎng)的視頻
• 漸進(jìn)式壓縮 對(duì)不太重要的幀應(yīng)用更高的壓縮率，優(yōu)化內(nèi)存使用，同時(shí)保留關(guān)鍵的視覺(jué)信息
• 防漂移采樣 新穎的采樣方法，可生成具有雙向上下文的幀，以防止質(zhì)量隨時(shí)間推移而下降
• 高兼容架構(gòu) 通過(guò)微調(diào)與現(xiàn)有的預(yù)訓(xùn)練視頻擴(kuò)散模型配合使用，而無(wú)需從頭開(kāi)始重新訓(xùn)練

AI視頻生成中的遺忘漂移困境

視頻生成模型一直在努力創(chuàng)建更長(zhǎng)的視頻，以便在其整個(gè)持續(xù)時(shí)間內(nèi)保持一致性和質(zhì)量。這種限制限制了 AI 生成視頻的實(shí)際應(yīng)用。 當(dāng)模型嘗試生成較長(zhǎng)的視頻時(shí)，它們會(huì)：

• 忘記前一幀中的細(xì)節(jié)，導(dǎo)致字符、設(shè)置或動(dòng)作不一致
• 累積錯(cuò)誤，這些錯(cuò)誤會(huì)隨著時(shí)間的推移而復(fù)合，導(dǎo)致視覺(jué)降級(jí)和偽影 FramePack 的創(chuàng)新方法同時(shí)解決了這兩個(gè)問(wèn)題，為 AI 生成的內(nèi)容創(chuàng)建開(kāi)辟了新的可能性。

Framepack工作原理

漸進(jìn)式幀壓縮

防漂移采樣方法

FramePack 引入了創(chuàng)新的采樣方法，這些方法以不同的時(shí)間順序生成幀，以防止質(zhì)量下降。

Framepack性能結(jié)果

主要結(jié)論

• 倒置防漂移采樣方法在 7 個(gè)指標(biāo)中的 5 個(gè)指標(biāo)中取得了最佳結(jié)果，明顯優(yōu)于其他方法。
• 與生成 1 或 4 幀相比，每個(gè)部分生成 9 幀會(huì)產(chǎn)生更好的感知，更高的人工評(píng)估分?jǐn)?shù)證明了這一點(diǎn)。
• 與其他架構(gòu)相比，F(xiàn)ramePack 在所有指標(biāo)上的漂移誤差都較低。
• 該方法通過(guò)微調(diào)與 HunyuanVideo 和 Wan 等現(xiàn)有視頻擴(kuò)散模型兼容。

推理效率

場(chǎng)景應(yīng)用

本文轉(zhuǎn)載自??沐白AI筆記??，作者：楊沐白