ImprovedIterativeRefinementforCharttoCodeGenerationviaStructuredInstruction20250615｜SJTU,ShanghaiInno,LehighU,BIGAI,BIGAI??8??http:arxiv.orgabs2506.14837v1??????https:huggingface.copapers2506.14837??研究背景與意義問(wèn)題定義與現(xiàn)狀概述多模態(tài)大語(yǔ)言模型（MLLMs）在視覺(jué)理解領(lǐng)域表現(xiàn)卓越，但在圖表到代碼生成任務(wù)中仍存在明顯不足。該任務(wù)不僅要求模型精準(zhǔn)理解高密度、多維度的圖表信息，還需將其準(zhǔn)確轉(zhuǎn)...

REIMAGINE:SymbolicBenchmarkSynthesisforReasoningEvaluation20250618｜MSRCUK,MicrosoftResearchIndia｜ICML2025??2??http:arxiv.orgabs2506.15455v1??????https:huggingface.copapers2506.15455??研究背景與意義問(wèn)題定義與現(xiàn)狀當(dāng)前大型語(yǔ)言模型（LLMs）在多種推理基準(zhǔn)測(cè)試中表現(xiàn)出較高準(zhǔn)確率，但仍存在爭(zhēng)議，即這些結(jié)果是否源自真正的推理能力，還是僅僅是訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)記憶。推理作為一種認(rèn)知過(guò)程，涉及基于事實(shí)...

RoboRefer:TowardsSpatialReferringwithReasoninginVisionLanguageModelsforRobotics20250604｜BUAA,PKU,BAAI??32??http:arxiv.orgabs2506.04308v1??????https:huggingface.copapers2506.04308??????https:zhoues.github.ioRoboRefer??研究背景與意義問(wèn)題定義與現(xiàn)狀空間指稱是機(jī)器人理解并與三維物理世界交互的基礎(chǔ)能力。盡管現(xiàn)有預(yù)訓(xùn)練視覺(jué)語(yǔ)言模型（VLMs）在二維視覺(jué)任務(wù)上表現(xiàn)優(yōu)異，但它們?cè)趶?fù)雜三維場(chǎng)景的...

Perception,Reason,Think,andPlan:ASurveyonLargeMultimodalReasoningModels20250508｜HIT,Shenzhen??79??http:arxiv.orgabs2505.04921v1??????https:huggingface.copapers2505.04921??????https:github.comHITszTMGAwesomeLargeMultimodalReasoningModels??研究背景與意義智能推理的核心地位：推理作為智能行為的核心，賦予人工智能系統(tǒng)在多變、不確定及多模態(tài)環(huán)境中做出決策、歸納總結(jié)及跨領(lǐng)域泛化的能力。隨...

BreakingtheModalityBarrier:UniversalEmbeddingLearningwithMultimodalLLMs20250424｜USYD,DeepGlint,AlibabaGroup,ICL(Imperial)??28??http:arxiv.orgabs2504.17432v1??????https:huggingface.copapers2504.17432??????https:garygutc.github.ioUniME??研究背景與意義背景概述：當(dāng)前多模態(tài)表示學(xué)習(xí)領(lǐng)域，CLIP框架因其跨模態(tài)對(duì)比學(xué)習(xí)能力被廣泛采用，尤其在圖文檢索和聚類任務(wù)中表現(xiàn)突出。然而，CLIP存在文本...

Step1XEdit:APracticalFrameworkforGeneralImageEditing20250424｜StepFun,??55???http:arxiv.orgabs2504.17761v1????????https:huggingface.copapers2504.17761????????https:github.comstepfunaiStep1XEdit???研究背景與意義領(lǐng)域現(xiàn)狀與挑戰(zhàn)近年來(lái)，圖像編輯技術(shù)迅速發(fā)展，尤其是在多模態(tài)大模型（如GPT4o、Gemini2Flash）推動(dòng)下，實(shí)現(xiàn)了基于自然語(yǔ)言的高質(zhì)量圖像編輯。這些閉源模型在理解復(fù)雜編輯指令和...

Seaweed7B:CostEffectiveTrainingofVideoGenerationFoundationModel20250411｜ByteDance,ByteDanceSeed??83??http:arxiv.orgabs2504.08685v1??????https:huggingface.copapers2504.08685??????https:seaweed.video??研究背景與意義Seaweed7B是一種中等規(guī)模的視頻生成基礎(chǔ)模型，參數(shù)量約為70億。該研究的核心目標(biāo)是探索一種成本高效的訓(xùn)練策略，在計(jì)算資源有限的情況下實(shí)現(xiàn)與大規(guī)模模型相媲美的性能。視頻生成領(lǐng)...

TextCrafter:AccuratelyRenderingMultipleTextsinComplexVisualScenes20250330｜NJU,ChinaMobile,HKUST??61???http:arxiv.orgabs2503.23461v2????????https:huggingface.copapers2503.23461????????https:github.comNJUPCALabTextCrafter.git???研究背景與意義復(fù)雜視覺(jué)文本生成（CVTG）任務(wù)近年來(lái)受到廣泛關(guān)注，其核心挑戰(zhàn)在于如何在圖像的不同區(qū)域生成精確、清晰且上下文一致的文本內(nèi)容?，F(xiàn)有模型如FLUX...

TokenHSI:UnifiedSynthesisofPhysicalHumanSceneInteractionsthroughTaskTokenization20250325｜ShanghaiAILab,HKU,IndependentResearcher,SEU,FeelingAI｜CVPR2025??14???http:arxiv.orgabs2503.19901v1????????https:huggingface.copapers2503.19901????????https:liangpan99.github.ioTokenHSI???研究背景與意義TokenHSI旨在解決當(dāng)前物理角色控制方法中普遍存在的局限性，即無(wú)法有效整合多種復(fù)雜的人...

EfficientPersonalizationofQuantizedDiffusionModelwithoutBackpropagation20250319｜SNU,INMC&IPAI??18???http:arxiv.orgabs2503.14868v1????????https:huggingface.copapers2503.14868????????https:ignoww.github.ioZOODiPproject???研究背景與意義當(dāng)前擴(kuò)散模型在圖像生成領(lǐng)域表現(xiàn)出色，但其訓(xùn)練、微調(diào)和推理過(guò)程需要大量的計(jì)算和內(nèi)存資源。盡管量化技術(shù)成功減少了推理時(shí)的內(nèi)存使用，但訓(xùn)練和微調(diào)這...

UnifiedRewardModelforMultimodalUnderstandingandGeneration20250307｜FDU,SII,ShanghaiAILab,ShanghaiAcademyofArtificialIntelligenceforScience??75??http:arxiv.orgabs2503.05236v1??????https:huggingface.copapers2503.05236??????https:codegoat24.github.ioUnifiedReward??研究背景與意義本文提出了一種名為UNIFIEDREWARD的統(tǒng)一獎(jiǎng)勵(lì)模型，旨在解決多模態(tài)理解和生成任務(wù)中的偏好對(duì)齊問(wèn)題。現(xiàn)有模型通常...

SWERL:AdvancingLLMReasoningviaReinforcementLearningonOpenSoftwareEvolution20250225｜MetaFAIR,UIUC,MetaGenAI,CMU??37???http:arxiv.orgabs2502.18449v1????????https:huggingface.copapers2502.18449????????https:github.comfacebookresearchswerl???研究背景與意義近年來(lái)，大型語(yǔ)言模型（LLMs）在軟件工程（SE）任務(wù)中的應(yīng)用引起了廣泛關(guān)注。研究者們探索了LLMs在自動(dòng)化復(fù)雜SE任務(wù)中的潛力，例如...

OmniAlignV:TowardsEnhancedAlignmentofMLLMswithHumanPreference20250225｜SJTU,ShanghaiAILab,NJU,FDU,ZJU??54???http:arxiv.orgabs2502.18411v1????????https:huggingface.copapers2502.18411????????https:github.comPhoenixZ810OmniAlignV???研究背景與意義隨著多模態(tài)大語(yǔ)言模型（MLLMs）的快速發(fā)展，現(xiàn)有的研究主要集中在提升模型的基礎(chǔ)能力，如物體識(shí)別、OCR等，而在與人類偏好對(duì)齊方面存在顯著差...

研究背景與意義在當(dāng)今的語(yǔ)言模型研究中，長(zhǎng)上下文建模被廣泛認(rèn)為是提升模型能力的關(guān)鍵。然而，傳統(tǒng)的注意力機(jī)制在處理長(zhǎng)序列時(shí)，計(jì)算復(fù)雜度高，導(dǎo)致顯著的延遲和資源消耗。研究者們逐漸意識(shí)到稀疏注意力機(jī)制可能是解決這一問(wèn)題的有效途徑。本文提出了一種名為“NativeSparseAttention（NSA）”的機(jī)制，旨在通過(guò)算法創(chuàng)新與硬件優(yōu)化的結(jié)合，實(shí)現(xiàn)高效的長(zhǎng)上下文建模。研究背景長(zhǎng)上下文建模的重要性：隨著應(yīng)用需求的多樣化，長(zhǎng)上下...

研究背景與意義在當(dāng)前的人工智能研究領(lǐng)域，視覺(jué)語(yǔ)言模型（VLMs）正迅速發(fā)展，特別是在大型語(yǔ)言模型（LLMs）和視覺(jué)模型（LVMs）取得顯著進(jìn)展的背景下。本文提出的EVEv2.0模型，旨在解決現(xiàn)有編碼器驅(qū)動(dòng)的VLMs在多模態(tài)理解和推理中的局限性。研究表明，現(xiàn)有的編碼器驅(qū)動(dòng)方法在靈活性和適用性上存在一定挑戰(zhàn)，尤其是在處理復(fù)雜的視覺(jué)信息時(shí)。因此，EVEv2.0通過(guò)引入無(wú)編碼器的設(shè)計(jì)，試圖減少視覺(jué)和語(yǔ)言之間的干擾，從而提升模型的整...

研究背景與意義研究背景：隨著大規(guī)模語(yǔ)言模型（LLMs）的迅速發(fā)展，訓(xùn)練這些模型所需的計(jì)算資源和帶寬需求也隨之增加。傳統(tǒng)的分布式訓(xùn)練方法面臨著設(shè)備協(xié)同和通信延遲等挑戰(zhàn)，這使得在數(shù)千個(gè)加速器上進(jìn)行有效訓(xùn)練變得復(fù)雜。研究意義：本文提出的StreamingDiLoCo方法，旨在通過(guò)放寬設(shè)備協(xié)同的要求，降低訓(xùn)練過(guò)程中的帶寬需求，從而提高訓(xùn)練效率。這一方法的成功實(shí)施將為分布式訓(xùn)練提供新的思路，助力在有限的帶寬條件下實(shí)現(xiàn)大規(guī)模...

研究背景與意義在當(dāng)前的人工智能研究中，如何提升大型語(yǔ)言模型（LLM）的推理能力是一個(gè)重要的課題。傳統(tǒng)的推理方法往往依賴于明確的推理步驟和形式化的問(wèn)題定義，但這在處理復(fù)雜的自然語(yǔ)言任務(wù)時(shí)顯得力不從心。本文提出了一種名為“MindEvolution”的進(jìn)化搜索策略，旨在通過(guò)利用語(yǔ)言模型生成、重組和優(yōu)化候選答案，以應(yīng)對(duì)自然語(yǔ)言規(guī)劃任務(wù)中的推理挑戰(zhàn)。研究的意義在于，它不僅提供了一種新的思路來(lái)提升LLM的推理深度，還展示了...