論文鏈接：https:arxiv.orgpdf2506.15563給定用戶提供的邊界框和主題提示，WinWinLay使用預(yù)訓(xùn)練的擴(kuò)散模型(如SDXL)生成可控且逼真的圖像,無需使用配對數(shù)據(jù)進(jìn)行任何微調(diào)。亮點(diǎn)直擊首次對現(xiàn)有反向引導(dǎo)方法進(jìn)行了理論分析?；谠摾碚摱匆?，提出了面向布局生成圖像（LayouttoImage）的先進(jìn)方法WinWinLay，在控制精度與真實(shí)感質(zhì)量上實(shí)現(xiàn)顯著突破。提出新型非局部注意力能量函數(shù)，在保持物體自然結(jié)構(gòu)的同時(shí)，使模型更嚴(yán)格遵循空間約...

論文鏈接：https:arxiv.orgpdf2506.15564Git鏈接：https:github.comshowlabShowo亮點(diǎn)直擊提出了一種改進(jìn)的原生統(tǒng)一多模態(tài)模型，無縫整合自回歸建模與流匹配技術(shù)，能夠跨（交錯(cuò)）文本、圖像及視頻實(shí)現(xiàn)廣泛的多模態(tài)理解與生成任務(wù)?；?D因果VAE空間，通過語義與低維特征的雙路徑時(shí)空融合機(jī)制，構(gòu)建了可擴(kuò)展至多模態(tài)理解與生成、圖像與視頻模態(tài)的統(tǒng)一視覺表示。設(shè)計(jì)了一種兩階段訓(xùn)練流程，高效學(xué)習(xí)統(tǒng)一多模態(tài)模型，既能保留語言...

文章鏈接：https:arxiv.orgpdf2506.18899項(xiàng)目鏈接：https:filmasterai.github.ioFilMaster生成的視頻樣本亮點(diǎn)直擊一種融合電影原則的新型系統(tǒng):提出FilMaster，首個(gè)基于AI的綜合性電影生成系統(tǒng)，明確圍繞電影原則設(shè)計(jì)，以指導(dǎo)鏡頭語言和電影節(jié)奏。它填補(bǔ)了從劇本到成片的鴻溝。從真實(shí)電影中學(xué)習(xí)攝影技術(shù):提出一種新穎的多鏡頭協(xié)同RAG鏡頭語言設(shè)計(jì)模塊，從大量真實(shí)電影中學(xué)習(xí)攝影模式，生成連貫且富有表現(xiàn)力的視覺效果，實(shí)現(xiàn)多鏡...

論文鏈接：https:arxiv.orgpdf2506.13594項(xiàng)目鏈接：https:ai4scientificimaging.orgdive3d效果展示與GaussianSplatting基線的比較。Dive3D可以在不同的3D表示中生成3D對象Dive3D3DGaussianSplattings亮點(diǎn)直擊SIM損失替代KL散度：提出基于梯度匹配的SIM損失，從根本上解決KL散度導(dǎo)致的模式坍塌問題，顯著提升多樣性。統(tǒng)一框架：首次將擴(kuò)散蒸餾和獎(jiǎng)勵(lì)引導(dǎo)優(yōu)化統(tǒng)一為發(fā)散最小化問題，實(shí)現(xiàn)多目標(biāo)協(xié)同優(yōu)化。全方面性能提升：在多樣性...

論文鏈接：https:arxiv.orgpdf2506.10395亮點(diǎn)直擊解耦視覺編碼架構(gòu)：首創(chuàng)分任務(wù)設(shè)計(jì)視覺編碼器，解決理解與生成的固有矛盾。三階段漸進(jìn)訓(xùn)練：通過數(shù)據(jù)分層優(yōu)化，實(shí)現(xiàn)細(xì)粒度多模態(tài)對齊與強(qiáng)指令跟隨能力。任務(wù)協(xié)同效應(yīng)：首次揭示圖像理解與生成在統(tǒng)一框架中的相互增強(qiáng)作用。開源組件高效整合：巧妙結(jié)合CLIP、擴(kuò)散模型和LLM，平衡性能與計(jì)算成本。Pisces在圖像生成和理解方面都表現(xiàn)出色總結(jié)速覽解決的問題統(tǒng)一多模態(tài)模型的性能差距...

論文鏈接：https:arxiv.orgpdf2506.10975git地址：?https:chenwl20.github.ioGenWorld亮點(diǎn)直擊高質(zhì)量真實(shí)場景數(shù)據(jù)集：GenWorld首次專注于現(xiàn)實(shí)世界場景（如自動(dòng)駕駛），提供多樣化、高逼真度的生成視頻，彌補(bǔ)領(lǐng)域空白。物理合理性驅(qū)動(dòng)檢測：提出通過3D多視角一致性（而非傳統(tǒng)像素瑕疵）區(qū)分生成視頻，適應(yīng)生成技術(shù)快速發(fā)展的挑戰(zhàn)。簡單有效的模型設(shè)計(jì)：SpannDetector僅需結(jié)合立體重建和時(shí)序模塊即實(shí)現(xiàn)顯著性能提升，為可解釋檢...

論文鏈接：https:arxiv.orgpdf2505.24873項(xiàng)目鏈接：https:minimaxremover.github.io亮點(diǎn)直擊提出了一種輕量且高效的基于DiT的視頻目標(biāo)移除架構(gòu)。MiniMaxRemover。受到“文本提示并不適合目標(biāo)移除任務(wù)”這一觀察的啟發(fā)，用可學(xué)習(xí)的對比tokens（contrastivetokens）替代了文本條件，用于控制移除過程。這些tokens被直接集成到自注意力流中，能夠移除預(yù)訓(xùn)練視頻生成模型中的所有交叉注意力層。在第一階段中，本文模型參數(shù)更少，并...

論文鏈接：https:arxiv.orgpdf2504.04158項(xiàng)目主頁：https:cvpr2025jarvisir.github.ioGithub倉庫：https:github.comLYL1015JarvisIRHuggingfaceOnlineDemo:https:huggingface.cospacesLYL1015JarvisIR背景與動(dòng)機(jī)在自動(dòng)駕駛等現(xiàn)實(shí)應(yīng)用場景中，視覺感知系統(tǒng)常常受到多種天氣退化（如雨、霧、夜間、雪）的影響。傳統(tǒng)的單任務(wù)方法依賴特定先驗(yàn)知識(shí)，而allinone方法只能解決有限的退化組合同時(shí)又存在嚴(yán)重的領(lǐng)域差異，難以應(yīng)對復(fù)雜的...

香港大學(xué)和阿里達(dá)摩院聯(lián)合提出頭號(hào)玩家（PlayerOne）模型，該方法可以根據(jù)用戶提供的圖像構(gòu)建一個(gè)支持用戶自由動(dòng)作控制且場景一致的真實(shí)世界，通過攝像設(shè)備實(shí)時(shí)捕捉用戶的動(dòng)作序列，PlayerOne能夠?qū)⑦@些動(dòng)態(tài)信息無縫融入到構(gòu)建的虛擬世界中，使用戶能夠以第一人稱視角，在如同頂級(jí)AAA游戲般的高質(zhì)量場景中，自由地進(jìn)行探索與互動(dòng)?！裾撐臉?biāo)題：PlayerOne:EgocentricWorldSimulator●項(xiàng)目主頁：??https:playeronehku.github.io...

文章鏈接:https:arxiv.orgabs2506.05327項(xiàng)目主頁:https:aimuofa.github.ioPMLoss代碼鏈接:https:github.comaimuofaPMLoss在新視角合成（NovelViewSynthesis,NVS）技術(shù)飛速發(fā)展的今天，3D高斯?jié)姙R（3DGaussianSplatting,3DGS）以其出色的實(shí)時(shí)渲染能力和照片級(jí)的視覺效果，成為了該領(lǐng)域的主流技術(shù)。為了擺脫傳統(tǒng)3DGS“逐場景優(yōu)化”的束縛，前饋式（Feedforward）3DGS應(yīng)運(yùn)而生，它僅需一次網(wǎng)絡(luò)推理即可完成場景重建，極大地提升了...

文章鏈接：https:arxiv.orgpdf2506.05302項(xiàng)目地址：https:perceiveanything.github.io亮點(diǎn)直擊PAM（PerceiveAnythingModel），一種端到端的區(qū)域級(jí)視覺語言模型，旨在實(shí)現(xiàn)圖像和視頻中快速、全面、細(xì)粒度的視覺理解。SemanticPerceiver（語義感知器）的組件，有效利用SAM2主干網(wǎng)絡(luò)中的中間視覺特征，將通用視覺信息、定位信息和語義先驗(yàn)融合為視覺token。開發(fā)了一套先進(jìn)的數(shù)據(jù)精煉與增強(qiáng)流程，結(jié)合領(lǐng)先的VLM（如GPT4o）與人工專...

文章地址：https:arxiv.orgpdf2505.19415開源地址：https:hanghuacs.github.ioMMIGBench亮點(diǎn)直擊統(tǒng)一的任務(wù)覆蓋與多模態(tài)輸入：收集了超過380組（涵蓋動(dòng)物、物體、人類和風(fēng)格等類別），共計(jì)1,750張以物體為中心的多視圖圖像，支持嚴(yán)格的基于參考圖像的生成任務(wù)。構(gòu)建了4,850條富含標(biāo)注的提示語，涵蓋組合性（屬性、關(guān)系、物體、數(shù)量）、風(fēng)格（固定模式、專業(yè)風(fēng)格、自然風(fēng)格、人類書寫）、寫實(shí)性（想象類）以及常識(shí)性（比較、否定...

論文鏈接：???https:openaccess.thecvf.comcontentCVPR2025papersHuImprovingAutoregressiveVisualGenerationwithClusterOrientedTokenPredictionCVPR2025paper.pdf???項(xiàng)目鏈接：https:sjtuplayer.github.ioprojectsIARGit鏈接：https:github.comsjtuplayerIAR單位：上海交通大學(xué)、騰訊優(yōu)圖、浙江大學(xué)1.引言使用自回歸進(jìn)行視覺生成最近已成為一個(gè)研究重點(diǎn)。然而，現(xiàn)有的方法主要是將自回歸架構(gòu)轉(zhuǎn)移到視覺生成中，但很少研...

論文鏈接：https:arxiv.orgpdf2505.19874項(xiàng)目鏈接：https:stylear.github.io代碼鏈接：https:github.comwuyi2020StyleAR亮點(diǎn)直擊提出了一種訓(xùn)練框架，使AR模型能夠利用二元文本到圖像數(shù)據(jù)執(zhí)行風(fēng)格對齊的文本到圖像生成，避免了在指令微調(diào)過程中擴(kuò)展文本圖像圖像三元組數(shù)據(jù)的困難。提出了一種風(fēng)格增強(qiáng)tokens（styleenhancedtokens）技術(shù)，有效解決了風(fēng)格對齊文本到圖像生成任務(wù)中的內(nèi)容泄露問題，并顯著提升了提示詞遵循性和風(fēng)格...

近年來，強(qiáng)化學(xué)習(xí)（ReinforcementLearning）在提升大型語言模型（LLM）推理能力上的應(yīng)用持續(xù)升溫，尤其在“思維鏈”（ChainofThought，簡稱CoT）推理方面顯示出強(qiáng)大潛力。如今，這一趨勢正從文本領(lǐng)域延伸至圖像生成。當(dāng)圖像生成也被抽象為一種逐步?jīng)Q策的推理過程時(shí)，我們不禁要問：經(jīng)典的DPO（直接偏好優(yōu)化）和GRPO（組相對策略優(yōu)化）在圖像生成場景中表現(xiàn)如何？誰在這個(gè)新戰(zhàn)場更勝一籌？近日，一項(xiàng)由香港中文大學(xué)、北京大學(xué)和...

論文鏈接：https:arxiv.orgpdf2505.20292項(xiàng)目鏈接：https:pkuyuangroup.github.ioOpenS2VNexus亮點(diǎn)直擊全新的S2V（SubjecttoVideo）基準(zhǔn)測試：引入了用于全面評估S2V模型的OpenS2VEval，并提出了三種與人類感知一致的新自動(dòng)評估指標(biāo)。S2V模型選擇的新見解：通過使用OpenS2VEval進(jìn)行評估，揭示了多種主體到視頻生成（S2V）模型的優(yōu)勢與劣勢，提供了關(guān)鍵性見解。大規(guī)模S2V數(shù)據(jù)集：構(gòu)建了OpenS2V5M數(shù)據(jù)集，包括510萬條高質(zhì)量常規(guī)數(shù)...

文章鏈接：https:arxiv.orgpdf2506.03140項(xiàng)目鏈接：https:camclonemaster.github.io亮點(diǎn)直擊CamCloneMaster，一種新穎的框架，能夠?qū)崿F(xiàn)基于參考視頻的精確相機(jī)控制來生成視頻。該框架無需相機(jī)參數(shù)或測試時(shí)微調(diào)，為用戶提供了便捷直觀的體驗(yàn)。CamCloneMaster通過標(biāo)記拼接（tokenconcatenation）這一簡單高效的方法，在單一模型中集成了相機(jī)控制的圖像到視頻（I2V）生成和視頻到視頻（V2V）重生成功能，無需額外的控制模塊。構(gòu)建...

論文鏈接：https:arxiv.orgpdf2505.21060項(xiàng)目鏈接：https:nickisdope.github.ioStyl3R亮點(diǎn)直擊提出了一種前饋網(wǎng)絡(luò)用于3D風(fēng)格化，該網(wǎng)絡(luò)處理稀疏無位姿的內(nèi)容圖像和任意風(fēng)格圖像，無需測試時(shí)優(yōu)化，并能很好地泛化到域外輸入——使其適用于交互式應(yīng)用。設(shè)計(jì)了一種雙分支網(wǎng)絡(luò)架構(gòu)，將外觀建模與結(jié)構(gòu)建模解耦，有效增強(qiáng)了新視角合成與3D風(fēng)格化的聯(lián)合學(xué)習(xí)。本文方法實(shí)現(xiàn)了最先進(jìn)的零樣本3D風(fēng)格化性能，超越了現(xiàn)有零樣本方法，并接近...

論文鏈接：??https:arxiv.orgpdf2505.22642??項(xiàng)目鏈接：?https:younggyo.mefasttd3??亮點(diǎn)直擊提出了FastTD3，一種簡單、快速且高效的強(qiáng)化學(xué)習(xí)算法，能夠解決多種運(yùn)動(dòng)和操作任務(wù)，而之前的RL算法需要數(shù)十小時(shí)才能完成或無法解決?？梢酝ㄟ^一個(gè)極其簡單的方案實(shí)現(xiàn)：使用大批次更新、并行仿真、分布式強(qiáng)化學(xué)習(xí)以及精心調(diào)優(yōu)的超參數(shù)來訓(xùn)練TD3智能體。展示了各種設(shè)計(jì)選擇的有效性。發(fā)布了一個(gè)易于使用的開源FastTD3實(shí)現(xiàn)，以加...

文章地址：https:arxiv.orgabs2505.23758開源地址：https:lorashop.github.io（待開源）亮點(diǎn)直擊首創(chuàng)多概念LoRA編輯框架：首次實(shí)現(xiàn)無需重新訓(xùn)練微調(diào)，直接在給定圖片中無縫插入多個(gè)由LoRA定義的定制化概念（物體、人物、風(fēng)格）。解耦掩碼自動(dòng)提取技術(shù):創(chuàng)新性利用模型內(nèi)部特征圖，自動(dòng)生成每個(gè)LoRA概念的空間影響區(qū)域掩碼，精準(zhǔn)定位編輯位置。免訓(xùn)練動(dòng)態(tài)融合機(jī)制:在推理階段動(dòng)態(tài)混合多個(gè)LoRA權(quán)重，僅在其對應(yīng)掩碼區(qū)域內(nèi)激活特定...