整體偏向工程實現(xiàn)，DocResearcher從名字可以看出，首先這個框架需要進行文檔解析提取文檔的圖文多模態(tài)元素，文檔解析相關(guān)技術(shù)鏈路《??文檔智能??》。其次是多模態(tài)深度研究（通過迭代分解問題、積累證據(jù)、驗證信息，實現(xiàn)多文檔、多跳、多輪的深度推理。）和銜接兩者的多模態(tài)檢索架構(gòu)。DocReseaRcHeR架構(gòu)多模態(tài)文檔深度研究的典型應(yīng)用場景。用戶在多輪對話的上下文中提出一個需要多跳推理的問題，其中真實證據(jù)跨越多個文檔和...

本文僅看RexOmni中關(guān)于坐標(biāo)量化的思路。DetectAnythingviaNextPointPrediction,https:arxiv.orgabs2510.12798檢測器在定位方面表現(xiàn)優(yōu)異，但缺乏語言理解能力。多模態(tài)大模型（MLLMs）語言理解能力較強，但在定位方面存在困難。2）檢測器與多模態(tài)大模型（MLLMs）在最優(yōu)化難度上的差異RexOmni的核心思路是：將“連續(xù)坐標(biāo)回歸”轉(zhuǎn)化為MLLM擅長的“離散token預(yù)測任務(wù)”。因此，任務(wù)目標(biāo)就是讓MLLM“能懂坐標(biāo)”。直接坐標(biāo)預(yù)測策略使用...

olmOCR2相關(guān)對比：持?jǐn)?shù)據(jù)、模型和代碼完全開源olmOCR2是一套面向文檔OCR的端到端解決方案，其核心方法圍繞RLVR，通過“合成數(shù)據(jù)規(guī)?；瘑卧獪y試定獎勵RL訓(xùn)練提性能”的閉環(huán)，解決傳統(tǒng)OCR系統(tǒng)在復(fù)雜場景（數(shù)學(xué)公式、表格、多列布局）中的痛點。現(xiàn)有問題傳統(tǒng)OCR系統(tǒng)的性能評估依賴編輯距離，計算模型輸出與GroundTruth的字符級差異（插入、刪除、替換次數(shù)）。圖1：傳統(tǒng)編輯距離的局限性：閱讀順序問題圖2：傳統(tǒng)編輯距離的局限性：...

DeepSeekOCR是一個端到端的多模態(tài)文檔解析模型，是Vary、GOTOCR2.0的后續(xù)，前期也有詳細(xì)介紹《??【多模態(tài)&文檔智能】OCRfree感知多模態(tài)大模型技術(shù)鏈路及訓(xùn)練數(shù)據(jù)細(xì)節(jié)??》。其核心目標(biāo)是用極少的視覺token（visiontokens）解碼出大量文本token（texttokens）。視覺token壓縮比和性能比較VLMs中的典型視覺編碼?：處理長文本時視覺token過多、激活內(nèi)存大的問題多模態(tài)文檔解析相關(guān)就不再過多介紹了，詳細(xì)可以看專欄《???文...

文檔解析這條賽道真卷，《文檔智能》目前整體技術(shù)路線分三類：pipline式、兩階段式和端到端，如下：piplinelayout+VLMVLMfinetune下面再來看一個兩階段方案，由layout+VLM組成PaddleOCRVL0.9B。方法PaddleOCRVL正如上圖，PaddleOCRVL分兩階段：階段1：PPDocLayoutV2，負(fù)責(zé)布局分析，定位語義區(qū)域并預(yù)測其閱讀順序。PPDocLayoutV2結(jié)構(gòu)式RTDETR以及一個具有六個transformer層的輕量級指針網(wǎng)絡(luò)，以準(zhǔn)確預(yù)測布局元素的閱讀順序。版...

現(xiàn)有RAG系統(tǒng)的各個模塊的任務(wù)目標(biāo)不一致：傳統(tǒng)方法（如監(jiān)督微調(diào)SFT）單獨優(yōu)化查詢重寫、文檔檢索、答案生成等模塊，但單個模塊的“局部最優(yōu)”無法保證最終答案的“全局最優(yōu)”。MMOARAG創(chuàng)新點是將RAG系統(tǒng)的可訓(xùn)練模塊建模為協(xié)作式多智能體，讓所有智能體的優(yōu)化目標(biāo)統(tǒng)一對齊到“最終答案質(zhì)量”（如F1分?jǐn)?shù)），通過多智能體強化學(xué)習(xí)（MAPPO算法）實現(xiàn)模塊間的聯(lián)合優(yōu)化，解決這個問題。MMOARAG的整體框架總結(jié)如下：模塊角色（智能體...

前期，筆者在《文檔智能》專欄中介紹了pipline式、兩階段式和端到端的多個文檔解析相關(guān)方案及技術(shù)點。如：piplinelayout+VLMVLMfinetune下面再來看一個兩階段（一個VLM既做layout，也做OCRformat）的VLM文檔解析模型MinerU2.5。方法MinerU2.5的框架，在第一階段，MinerU2.5對下采樣后的頁面執(zhí)行快速的全局布局分析。在第二階段，MinerU2.5利用布局分析結(jié)果從原始高分辨率文檔中裁剪出關(guān)鍵區(qū)域，并在這些原始分辨率的局部區(qū)域內(nèi)...

現(xiàn)有金融RAG的兩大痛點：一是多模態(tài)數(shù)據(jù)（文本表格圖表）的統(tǒng)一處理，二是通用金融知識與公司特異性需求的平衡。金融領(lǐng)域的問答（如分析SEC10K報告中的供應(yīng)鏈風(fēng)險、季度毛利率）需要“精準(zhǔn)結(jié)合多模態(tài)數(shù)據(jù)、兼顧通用規(guī)則與公司特性、快速響應(yīng)高頻查詢與實時需求。完整的VeRitasFiRAG流水線。該圖展示了三條并行的知識檢索路徑：多路徑檢索（藍(lán)色）、記憶庫查找（綠色）和工具使用（紅色）。圍繞金融領(lǐng)域多模態(tài)問答RAG框架Veritas...

下面再看一個思路，圍繞解決在視覺豐富文檔（VRDs，如含圖表、多頁報告、幻燈片的PDF）理解的缺陷：丟失布局與結(jié)構(gòu)上下文：傳統(tǒng)RAG將文檔拆分為孤立塊（如段落）嵌入，忽略跨頁依賴（如“章節(jié)標(biāo)題后續(xù)內(nèi)容”關(guān)聯(lián)）和布局層級（如“圖表標(biāo)題注釋”的視覺關(guān)聯(lián)），易漏檢關(guān)鍵證據(jù)。過度依賴語義嵌入：僅通過文本圖像嵌入的相似度檢索，無法處理依賴符號結(jié)構(gòu)線索的查詢（如“統(tǒng)計所有源自Pew研究中心的圖表”）——這類查詢需聚合“...

多模態(tài)大模型VLMs視覺token數(shù)量多會影響推理的計算性能，也有相關(guān)工作在token壓縮上進行了研究，token剪枝是與token壓縮不同的提高計算性能的另一種方法，下面來看一個專為文檔理解設(shè)計的剪枝思路，在多模態(tài)文檔理解場景的視覺token的剪枝工作，目標(biāo)是在VLMs處理文檔圖像前，提前過濾無信息背景區(qū)域，以降低計算成本同時保持文檔理解性能。如上圖框架三個組件：二值文本區(qū)域分類器（綠色）、保持索引的token剪枝（藍(lán)色）以及一...

ThinkingAugmentedPreTraining（TPT，思考增強預(yù)訓(xùn)練）提出源于當(dāng)前LLM訓(xùn)練的兩大核心瓶頸，這也是方法設(shè)計的出發(fā)點：高質(zhì)量數(shù)據(jù)耗盡：LLM訓(xùn)練依賴海量數(shù)據(jù)（如最新開源模型已用10萬億Token），但人類創(chuàng)作的高質(zhì)量Web數(shù)據(jù)已接近枯竭，繼續(xù)擴大數(shù)據(jù)規(guī)模成本極高；高價值Token難學(xué)習(xí)：部分關(guān)鍵Token（如數(shù)學(xué)題答案“890”、邏輯推理結(jié)論）背后依賴復(fù)雜的多步推理（如多項式除法、余數(shù)定理），固定模型容量下，直接學(xué)習(xí)這類Token只...

看到一篇博客，寫的不錯，原文：Ahitchhiker'sguideintoLLMposttraining,https:tokensforthoughts.notion.siteposttraining101本文僅作譯記錄。概述本文檔旨在作為理解大語言模型（LLM）后訓(xùn)練基礎(chǔ)的指南，涵蓋了從預(yù)訓(xùn)練模型到指令微調(diào)模型的完整流程。指南將梳理后訓(xùn)練的全生命周期，探討以下內(nèi)容：從“下一個token預(yù)測”到“指令遵循”的轉(zhuǎn)變過程有監(jiān)督微調(diào)（SupervisedFineTuning,SFT）基礎(chǔ)，包括數(shù)據(jù)集構(gòu)建與損失函數(shù)各類...

首先從源碼角度看Qwen3VL的改進，核心圍繞增強多模態(tài)融合深度（DeepStack）、優(yōu)化視覺特征處理、提升時序建模精度（視頻時間戳編碼）以及精細(xì)化歸一化設(shè)計（文本專用RMSNorm），整體更注重多模態(tài)任務(wù)中的特征對齊與深層交互。然后概述DeepStack用于多模態(tài)大模型的核心思想。Qwen3VL源碼側(cè)改進點代碼側(cè)改動如下：1.??hiddenact"silu"???>??hiddenact"gelupytorchtanh"??2.Qwen3VLProcessor引入??Qwen3VLVideoProcesso...

pptRAG主要分下面3種：基于layout+OCR的pipline的以文本主導(dǎo)的RAG方案?；赩LMs+圖片向量模型的多模態(tài)RAG方案。綜合上述兩種的混合檢索那么哪種方式更好？下面主要記錄一下評估結(jié)論。數(shù)據(jù)集SlideVQA和LPM數(shù)據(jù)集中的示例SlideVQA：是一個為推動演示文稿VQA研究而開發(fā)的數(shù)據(jù)集，包含來自SlideShare的2619個ppt，包含超過52000個ppt和14484個VQA樣本。該數(shù)據(jù)集評估模型在文本和視覺ppt元素之間檢索相關(guān)內(nèi)容并進行推理的能力，每個...

VLMs性能的持續(xù)提升，視覺token的消耗呈指數(shù)級增長。例如，一張2048×1024的圖片在LLaVA1.5中需要576個視覺token，而在Qwen2.5VL中則需2678個視覺token。因此，避免過度使用視覺token顯得尤為重要。大多數(shù)方法使用預(yù)定的Threshold來修剪或合并固定數(shù)量的視覺Token。然而，不同問題和圖像中的冗余程度各不相同。因此，是否真的應(yīng)該在所有場景中應(yīng)用統(tǒng)一的Token壓縮比例？下圖探討了簡單地降低了圖像分辨率以減少視覺token的數(shù)量...

前期在《文檔智能專欄》中詳細(xì)介紹了各種pipline（MinerU、ppstructure、Docling等）、檢測+多模態(tài)VLM（monkeyocr等）、端到端（olmocr等）的文檔解析技術(shù)鏈路及相關(guān)方案。piplinelayout+VLMVLMfinetune下面再來看一個端到端的解析方案，騰訊開源的多模態(tài)大模型POINTSReader，實測了下效果一般，但可以看看數(shù)據(jù)合成及思路。方法1、數(shù)據(jù)形式這個不用多說，基本上各種文檔解析的格式都趨向大同，純文本使用Markdown、表格使用html...

VLMs已具備調(diào)用圖像中心工具的能力，稱為“thinkingwithimage”（以圖思考），通過支持細(xì)粒度推理提升模型對復(fù)雜視覺場景的理解能力。然而，開源VLMs在“需要試錯探索的復(fù)雜視覺搜索任務(wù)”中存在顯著短板，表現(xiàn)兩大問題：復(fù)雜任務(wù)上準(zhǔn)確率極低高難度視覺搜索數(shù)據(jù)集熵（如DeepEyes）的準(zhǔn)確率遠(yuǎn)低于實際應(yīng)用需求。推理模式單一+交互輪次有限現(xiàn)有開源模型（如DeepEyes）無法生成靈活的推理策略，僅能進行“單次定位觀察”的簡單流...

前文在??RAG常見13種分塊策略大總結(jié)（一覽表）???提到，分塊策略在RAG中至關(guān)重要，目的是提高效率、相關(guān)性和上下文保持。但也會帶來冗余。引發(fā)長上下文RAG應(yīng)用的效率痛點：在RAG等依賴外部知識的任務(wù)（如多輪對話、長文檔總結(jié)）中，LLMs需要將檢索到的大量段落拼接為長上下文輸入，但這會引發(fā)兩大問題：高延遲與高內(nèi)存消耗：長上下文需占用大量鍵值緩存（KVCache），且生成第一個token的時間（TTFT，TimetoFirstToken）隨...

多模態(tài)大模型在推理上雖然效果好，但會強制執(zhí)行“逐步思考”流程，導(dǎo)致輸出token量激增，冗余思考過程不會提升簡單任務(wù)的準(zhǔn)確性，反而可能因“過度推理”引入噪聲?，F(xiàn)有模型無法根據(jù)任務(wù)復(fù)雜度自主選擇“思考模式”（需推理）或“非思考模式”（直接回答），需要手動觸發(fā)是否思考的條件（如qwen3的開關(guān)控制）或者如KeyeVL通過人工標(biāo)注“任務(wù)復(fù)雜度標(biāo)簽”觸發(fā)思考模式，但人工標(biāo)注成本高、覆蓋場景有限，且推理時需額外輸出“復(fù)...

前期介紹了通過GRPO的方式解決多模態(tài)大模型OCR幻覺的思路《??GRPO強化學(xué)習(xí)緩解多模態(tài)大模型OCR任務(wù)的幻覺思路及數(shù)據(jù)生成思路???》。由于多模態(tài)大模型的OCR感知能力不是特別強，容易像LLM一樣產(chǎn)生幻覺即生成輸入圖像中并不存在的詞匯。LVLMs設(shè)計用于通用目的，在OCR任務(wù)上的表現(xiàn)往往不如在特定領(lǐng)域數(shù)據(jù)集上訓(xùn)練的專家模型?；糜X例子下面來看一個方案，首先通過利用自身的OCR能力識別輸入圖像中的內(nèi)容，然后調(diào)用其他工具（即...