論文鏈接：https:arxiv.orgpdf2510.20888項目鏈接：https:bytedance.github.ioVideoAsPrompt亮點直擊提出VAP這一統(tǒng)一語義控制視頻生成范式，將具備目標(biāo)語義的參考視頻視為可泛化的上下文控制視頻提示。基于混合Transformer架構(gòu)構(gòu)建即插即用的上下文視頻生成框架，該框架能有效防止災(zāi)難性遺忘，支持多樣下游任務(wù)，并對未見的語義條件具備強大的零樣本泛化能力。構(gòu)建并發(fā)布當(dāng)前最大的語義控制視頻生成數(shù)據(jù)集VAPData，涵蓋100種語...

文章鏈接：https:arxiv.orgpdf2510.23576項目鏈接：https:pkuepic.github.ioUrbanVLAWeb圖1：UrbanVLA的實際部署展示了在具有未知布局、動態(tài)障礙物和不同光照的各種環(huán)境中的zeroshot泛化能力，并突出了其執(zhí)行跨度超過500米的長距離城市微移動任務(wù)的能力。亮點直擊首個專為城市微出行設(shè)計的路由條件VLA框架：首次提出了一個專門用于城市微出行（如送貨機器人）的路由條件視覺語言動作（VisionLanguageAction,VLA）模型，它能夠?qū)?..

論文鏈接：https:arxiv.orgpdf2510.20822項目鏈接：https:holocine.github.io圖1.僅憑文字提示，HoloCine就能整體生成連貫的電影多鏡頭視頻敘事。圖中展示了我們模型的多功能性，包括各種原創(chuàng)場景（前三行）和向《泰坦尼克號》致敬的電影場景（后三行）。所有場景都表現(xiàn)出卓越的角色一致性和敘事連貫性。最后一排的擴展畫面展示了流暢的鏡頭內(nèi)運動和質(zhì)量。亮點直擊HoloCine，這是一種通過兩個專門設(shè)計的架構(gòu)解鎖整體生成潛力的...

論文鏈接：https:arxiv.orgpdf2510.16888Git鏈接：https:github.comPKUYuanGroupEditR1亮點直擊EditR1框架：結(jié)合DiffusionNFT技術(shù)與預(yù)訓(xùn)練多模態(tài)大模型（MLLM）構(gòu)建免訓(xùn)練獎勵機制，實現(xiàn)對擴散模型的指令驅(qū)動圖像編輯微調(diào)。驗證獎勵信號優(yōu)越性：證明該框架提供的獎勵信號具備更高的人類偏好對齊度，可生成穩(wěn)定、低成本、低幻覺的反饋信號，有效提升訓(xùn)練穩(wěn)定性。實證性能突破：實驗表明，該方法顯著提升UniWorldV2、QwenImageEdi...

文章鏈接:??https:arxiv.orgpdf2510.19808??代碼鏈接：?https:github.comapplepicobanana400k??亮點直擊大規(guī)模且真實：包含約40萬個基于真實世界照片生成的圖像編輯樣本，克服了以往數(shù)據(jù)集依賴合成圖像或規(guī)模有限的問題。多目標(biāo)訓(xùn)練支持：數(shù)據(jù)集不僅包含25.8萬個用于監(jiān)督式微調(diào)的單輪編輯樣本，還提供了5.6萬個偏好對（成功vs.失敗的編輯），可用于直接偏好優(yōu)化（DPO）和獎勵模型訓(xùn)練，以提升模型的魯棒性和對齊能力。復(fù)...

文章鏈接：https:arxiv.orgpdf2510.12747項目鏈接：https:zhuang2002.github.ioFlashVSR代碼鏈接：https:github.comOpenImagingLabFlashVSR模型鏈接：https:huggingface.coJunhaoZhuangFlashVSR高分辨率視頻修復(fù)的效率和性能比較與最先進的VSR模型（如DOVE和SeedVR23B）相比，F(xiàn)lashVSR能還原更清晰的紋理和更細(xì)致的結(jié)構(gòu)。它使用單個A100GPU在768×1408視頻上實現(xiàn)了接近實時的17FPS性能，與最快的一步擴散VSR模型相比，速度提高...

文章鏈接：https:arxiv.orgpdf2510.09608Git鏈接：https:github.commithanlabstreamingvlmDemo鏈接：https:streamingvlm.hanlab.ai亮點直擊訓(xùn)練與推理統(tǒng)一的流式架構(gòu)：通過重疊窗口全注意力SFT，將有限長度訓(xùn)練與無限長度推理自然對齊。高效KV緩存復(fù)用機制：結(jié)合attentionsink、短窗口視覺緩存與長窗口文本緩存，實現(xiàn)低延遲、高穩(wěn)定的實時視頻理解。真實長時評測基準(zhǔn)構(gòu)建：構(gòu)建了首個平均時長超2小時的實時視頻評測集InfStreams...

論文鏈接：https:arxiv.orgpdf2509.24695項目鏈接：https:nvlabs.github.ioSanaVideo亮點直擊SANAVideo，一種小型擴散模型，旨在實現(xiàn)高效訓(xùn)練和快速推理，同時不影響輸出質(zhì)量。通過大幅降低計算門檻，SANAVideo使高質(zhì)量視頻生成對更廣泛的用戶和系統(tǒng)變得更加可訪問和實用。改進主要體現(xiàn)在三個關(guān)鍵組件上:線性DiT、帶KV緩存的塊線性注意力、高效數(shù)據(jù)過濾和訓(xùn)練。模型在生成720p視頻時的延遲比最先進的Wan2.1快了13倍以上（見圖1(...

論文鏈接：https:arxiv.orgpdf2510.03550REVEL任務(wù)示例上圖所示的流式視頻處理結(jié)果包括編輯和動畫，并帶有對象平移（"Trans"）、變形（"Defor"）和旋轉(zhuǎn)（"Rot"）等拖動效果，均由我們的DragStream方法生成。亮點直擊流式拖拽導(dǎo)向交互視頻操作（REVEL），這是一項新任務(wù)，使用戶能夠在視頻生成過程中隨時拖動任何對象，從而通過拖拽式操作實現(xiàn)對視頻生成模型（VDMs）輸出的流式細(xì)粒度控制無訓(xùn)練范式下解決REVEL有兩個關(guān)鍵挑戰(zhàn)：i...

論文鏈接：https:arxiv.orgpdf2510.14975項目鏈接：https:dobyxu.github.ioWithAnyone亮點直擊MultiID2M：一個包含50萬張包含多個可識別名人的團體照片的大規(guī)模數(shù)據(jù)集，每個名人有數(shù)百張參考圖片，展現(xiàn)各種多樣性以及額外的150萬張未配對的團體照片。這一資源支持多身份生成模型的預(yù)訓(xùn)練和評估。MultiIDBench：一個綜合性基準(zhǔn)測試，提供標(biāo)準(zhǔn)化評估協(xié)議用于身份定制，能夠系統(tǒng)地和內(nèi)在地評估多身份圖像生成方法。WithAnyone：一...

文章鏈接:https:arxiv.orgabs2510.11000項目主頁:https:nenhang.github.ioContextGen【導(dǎo)語】AI作圖正在從“自由創(chuàng)作”走向“精確工程”。面對商業(yè)應(yīng)用中對多主體身份一致性和空間布局的客制化要求，現(xiàn)有的Diffusion模型仍有不足。浙江大學(xué)ReLER團隊提出了ContextGen，這一創(chuàng)新框架通過整合布局錨定和身份注意力兩大機制，顯著提升了模型在復(fù)雜多實例生成（MIG）任務(wù)上的可靠性和保真度。亮點直擊ContextGen框架：創(chuàng)新性采用基...

文章鏈接：https:arxiv.orgpdf2510.09012Git鏈接：https:github.comkrennic999ARsample圖1：頂行：我們的方法生成的圖像具有更精細(xì)的細(xì)節(jié)和更好的結(jié)構(gòu)。下一行：我們的方法結(jié)合現(xiàn)有的加速方法，我們方法將推理成本降低了15%。(左側(cè)兩對來自LlamaGen；右側(cè)來自LuminamGPT。推理步驟和延遲均已報告）。亮點直擊受圖像信息稀疏且分布不均的現(xiàn)象啟發(fā)，而這種特性可通過token的熵反映，本文提出了一種面向自回歸（AR）圖像生成的熵驅(qū)...

文章鏈接：https:arxiv.orgpdf2510.08485?項目鏈接：https:mce.github.ioprojectInstructXGit鏈接：https:github.comMCEInstructXtabreadmeovfileInstructX的案例。在圖像和視頻編輯方面的最先進性能。亮點直擊InstructX，一個在單模型中執(zhí)行圖像和視頻編輯的統(tǒng)一框架。研究分析了MLLM與擴散模型的集成，并為未來的研究提供了新的見解。討論了一種簡單而有效的方法，通過圖像訓(xùn)練數(shù)據(jù)擴展零樣本視頻編輯能力。該設(shè)計使Instruct...

文章鏈接：https:arxiv.orgpdf2510.08555項目鏈接：https:onevfall.github.ioprojectpagevideocanvasGit鏈接：https:onevfall.github.ioprojectpagevideocanvas亮點直擊引入并形式化了任意時空視頻補全任務(wù)，這是一個統(tǒng)一的框架，涵蓋了廣泛的可控視頻生成場景。VideoCanvas，第一個將InContextConditioning范式應(yīng)用于任意時空補全任務(wù)的框架。進一步引入混合條件策略：SpatialZeroPadding和TemporalRoPEInterpolation。該方法...

文章鏈接：https:arxiv.orgpdf2510.05580項目鏈接：https:stellarneuron.github.iometavla亮點直擊探索了一個尚未充分研究的方向：通過引入多樣的輔助任務(wù)，以可忽略的優(yōu)化開銷提升后訓(xùn)練階段的效率與泛化能力。MetaVLA，一套可插拔的模塊與訓(xùn)練方案，能夠?qū)崿F(xiàn)快速且可擴展的適應(yīng)性訓(xùn)練，并具備強泛化能力。MetaVLA工程實現(xiàn)友好，對主干架構(gòu)和底層訓(xùn)練流程均保持無關(guān)性。全面實驗表明，MetaVLA在顯著提高效率的同時提供了更優(yōu)的...

文章鏈接：https:arxiv.orgpdf2510.05094?項目鏈接：https:eyelinelabs.github.ioVChaingit鏈接：https:github.comEyelineLabsVChain亮點直擊VChain，一種利用多模態(tài)大模型的視覺思維鏈（chainofvisualthought）來將高層推理引入視頻生成的新框架。設(shè)計了視覺思維推理（VisualThoughtReasoning）流程，這是一個由GPT引導(dǎo)的流程，用于合成稀疏且具有因果基礎(chǔ)的關(guān)鍵幀，以指導(dǎo)視頻生成。大量實驗表明，在這些關(guān)鍵幀上進行稀疏監(jiān)...

文章鏈接：https:arxiv.orgpdf2510.04201Git鏈接：https:github.commhsonkyleWorldToImage效果展示亮點直擊智能體式優(yōu)化框架。提出了一種診斷與選擇智能體，它在語義分解、概念替換和基于網(wǎng)頁證據(jù)的多模態(tài)對齊之間進行選擇。面向T2I的世界知識注入。將提示詞優(yōu)化擴展到文本之外，通過整合圖像檢索與條件生成來處理新概念，在無需重新訓(xùn)練的情況下實現(xiàn)語義保真度SOTA?？偨Y(jié)速覽解決的問題T2I模型的知識時效性問題：由于預(yù)訓(xùn)練數(shù)...

論文鏈接：https:arxiv.orgpdf2509.15496Git鏈接：https:byteaigc.github.ioLynx亮點直擊介紹了Lynx，一個高保真的個性化視頻生成框架，旨在從單個輸入圖像中保留身份。Lynx采用基于適配器的設(shè)計，具有兩個專用組件：IDadapter和Refadapter。IDadapter利用交叉注意力從單個面部圖像中注入提取的身份特征。具體來說，面部嵌入使用面部識別模型獲得，并通過感知器重采樣器轉(zhuǎn)換為一組緊湊的身份token，從而實現(xiàn)豐富且高效的表示學(xué)...

文章鏈接：https:arxiv.orgpdf2509.21318第一印象：4步模型中的高保真樣本亮點直擊穩(wěn)定高效的少步蒸餾算法（“時間步共享”）：該創(chuàng)新從根本上解決了少步蒸餾中梯度噪聲大、訓(xùn)練不穩(wěn)定的核心難題，通過利用軌跡中的真實樣本點，確保了流預(yù)測的可靠性，從而在極少的步驟下（如4步）仍能生成高質(zhì)量圖像。突破容量限制的訓(xùn)練策略（“分時間步微調(diào)”）：該策略巧妙地化解了少步模型中“美學(xué)質(zhì)量”與“語義保真度”之間的內(nèi)在矛盾。...

在五一假期期間，HuggingFace上出現(xiàn)了一款爆火的圖像編輯模型，號稱用一個LoRA就可以實現(xiàn)像GPT4o一樣的圖像編輯功能。該項目不僅沖上了HuggingFace周榜第二名，僅次于Qwen3；還在外網(wǎng)社交媒體上火出圈，用戶紛紛秀出使用體驗，之前AI生成未來也和大家分享過：而就在最近，該工作已被NeurIPS2025正式接收！這個模型就是由浙大和哈佛團隊提出的一種新型圖像編輯方法ICEdit，僅需要以往模型0.1%的訓(xùn)練數(shù)據(jù)（50k）以及1%的訓(xùn)練參數(shù)...