傳統(tǒng)的基于OCR的pipline的相關(guān)技術(shù)路線（如下圖），目前多模態(tài)大模型的出現(xiàn)，文檔解析技術(shù)鏈路出現(xiàn)了新的一些玩法。最近看到一個新產(chǎn)品，EasyDoc（https:www.easylinkai.comeasydoc），在原有的OCR鏈路中引入了多模態(tài)大模型進行圖表理解，由此，筆者又更新了一張圖，如下：圖2：OCRpipline結(jié)合多模態(tài)大模型的文檔智能解析技術(shù)路線下面我們來看結(jié)合?EasyDoc這個新框架，看看Easydoc文檔解析過程中的相關(guān)技術(shù)實踐路線、通過實際...

社區(qū)問答（CQA）是一種協(xié)作式的問答模式，用戶可以在在線平臺上發(fā)布問題，社區(qū)成員則提供答案。這種模式利用集體智慧，通過投票、評論和編輯等方式不斷優(yōu)化答案，從而提高共享知識的質(zhì)量。隨著LLMs的興起，LLMs已成為CQA的強大工具。然而，現(xiàn)有的CQA方法主要關(guān)注靜態(tài)的社區(qū)知識，難以適應(yīng)現(xiàn)實世界中的動態(tài)場景。挑戰(zhàn)：系統(tǒng)需要有效地結(jié)合靜態(tài)的領(lǐng)域知識和動態(tài)的社區(qū)歷史，以提高答案的質(zhì)量和相關(guān)性。隨著社區(qū)的發(fā)展，歷史問答數(shù)...

前面文章??什么時候用GraphRAG？RAGVSGraphRAG綜合分析???如下表經(jīng)過評測提到：HippoRAG2生成的圖更為密集，提高了信息連接性和覆蓋范圍。并且這種變種的GraphRAG在需要多跳推理和上下文綜合的任務(wù)中表現(xiàn)優(yōu)異。下面我們來看一看HippoRAG2如何通過增加知識圖譜等結(jié)構(gòu)來增強向量嵌入，以解決一些差距，即理解和關(guān)聯(lián)性。供參考。方法HippoRAG模擬了大腦皮層和海馬體在人類記憶中的不同作用。使用LLM將語料庫轉(zhuǎn)換為知識圖譜(KG...

Embedding和reranker模型的核心思想是通過任務(wù)感知的方式評估相關(guān)性。給定一個查詢和一個文檔，模型根據(jù)由指令定義的相似性標準評估它們的相關(guān)性。下面來詳細的看下Qwen3Embedding模型架構(gòu)、訓(xùn)練方法、數(shù)據(jù)策略，供參考。模型架構(gòu)Qwen3Embedding、reranker模型架構(gòu)Qwen3嵌入和重排序模型基于Qwen3基礎(chǔ)模型的densebackbone，提供三種參數(shù)規(guī)模：0.6B、4B和8B。這些模型通過初始化Qwen3基礎(chǔ)模型來利用其在文本建模和指令遵循方面的...

現(xiàn)有工作主要包括圖表問答（ChartQA）基準、圖表理解模型和視覺答案定位（VAG）。ChartQA基準如FigureQA、DVQA、PlotQA和ChartQA等，主要集中在圖表問答任務(wù)上，但缺乏顯式的視覺定位，從而忽略了VLMs在ChartQA上的可解釋性。RefChartQA通過將ChartQA與視覺定位相結(jié)合，并提供了一個新的基準測試，使模型能夠引用圖表圖像中的多個粒度元素。該基準擴展了現(xiàn)有的ChartQA資源，專注于涉及算術(shù)或邏輯推理的問題。RefChartQA框架：將...

前期《文檔智能》專欄詳細中介紹了文檔智能解析詳細pipline鏈路技術(shù)方案，如下圖：現(xiàn)在來看一個新思路，指出pipline鏈路依賴大量標注數(shù)據(jù)、并且會出現(xiàn)錯誤傳播問題，導(dǎo)致解析效果不佳，故提出一個基于布局強化學(xué)習(xí)（layoutRL）的多模態(tài)大模型的端到端的解析框架，通過強化學(xué)習(xí)（GRPO）的方式訓(xùn)練模型的布局感知能力。（ps：筆者看來，在通用場景下解析效果也許并不會有文中評價的那么好，但這個數(shù)據(jù)合成思路及強化學(xué)習(xí)的訓(xùn)練方...

手動創(chuàng)建幻燈片既費時又費力，如何從參考圖像自動生成可編輯的幻燈片？現(xiàn)有的問題：如Autopresent的方法，通過構(gòu)建大批量的SFT數(shù)據(jù)生成ppt代碼來生成ppt。然而，自然語言描述難以準確描述幻燈片的視覺設(shè)計，LLMs在處理復(fù)雜PPT時存在局限性，特別是包含多樣元素類型和高元素密度的情況；LLMs對pythonpptx庫的理解不足，導(dǎo)致生成的代碼可能存在語法錯誤或不可執(zhí)行。SlideCoder提出一個基于RAG的思想布局感知的檢索增強框架，用于...

系統(tǒng)的評估總是有趣的，在前文，我們通過一個類似的benchmark得出結(jié)論：GraphRAG在需要多跳推理和上下文綜合的任務(wù)中表現(xiàn)優(yōu)異，但在簡單事實檢索任務(wù)中不如傳統(tǒng)RAG。見《???什么時候用GraphRAG？RAGVSGraphRAG綜合分析??》本文，再來看一個評估工作，同樣是一個GraphRAGbench，也再次通過評估得出GraphRAG適合多跳推理場景，并且系統(tǒng)的評估了九大GraphRAG（RAPTOR、LightRAG、GraphRAG、GRetriever、HippoRAG、GFMRAG、DAL...

RAGVSGraphRAG最近的研究報告稱，在許多實際任務(wù)中，GraphRAG的表現(xiàn)往往不如普通的RAG。因此產(chǎn)生一個問題：GraphRAG真的有效嗎？在哪些場景下，GraphRAG有收益？為了解決這個問題，提出GraphRAGBench，這是一個評測GraphRAG的基準，目的是評估GraphRAG模型在層次知識檢索和深度上下文推理方面的性能。文章指出的評測方式及評測結(jié)論可以參考。GraphRAGBench具有一個全面的數(shù)據(jù)集，任務(wù)難度逐漸增加，涵蓋事實檢索、復(fù)雜推理、上...

目前的如微軟開源的GraphRAG的工作流程都較為復(fù)雜，難以孤立地評估各個組件的貢獻，傳統(tǒng)的檢索方法在處理復(fù)雜推理任務(wù)時可能不夠有效，特別是在需要理解實體間關(guān)系或多跳知識的情況下。先說結(jié)論，看完后感覺這個框架性能上不會比GraphRAG高，僅在單一數(shù)據(jù)集上進行了評測，不過優(yōu)化思路可以借鑒下，比如：雙層次檢索提高圖檢索準確性等。供參考。方法整體流程圖構(gòu)建及索引這一步主要是使用LLM構(gòu)建知識圖譜（KG），涉及預(yù)處理（多...

給定一個問題Q，基于圖的RAG的關(guān)鍵思想是從圖中檢索相關(guān)信息（例如，節(jié)點、子圖或文本信息），將其與Q一起作為提示，然后輸入到LLM中。如下圖：因此，現(xiàn)有工作的工作流主要包括兩個階段：(1)離線索引：從給定語料庫D構(gòu)建知識圖譜G(V,E)，其中每個頂點代表一個實體，每條邊表示兩個實體之間的關(guān)系，并基于知識圖譜構(gòu)建索引。(2)在線檢索：使用索引從知識圖譜中檢索相關(guān)信息（例如節(jié)點、子圖或文本信息），并將檢索到的信息提供給...

Walk&Retrieve基于知識圖譜，利用基于圖遍歷和知識表述來進行零樣本RAG的語料庫生成。解決RAG系統(tǒng)的幻覺問題。該框架思路比較簡單，核心點在于零樣本RAG的語料庫生成，下面來看看，供參考。方法架構(gòu)語料生成在框架中，語料生成該方法的核心步驟。該階段從知識圖譜中提取相關(guān)信息，并將其轉(zhuǎn)化為適合LLM處理的文本格式。語料生成包括以下幾個步驟：基于圖的遍歷、知識表示和索引。1.基于圖的遍歷隨機游走：隨機游走是一種隨機過程...

最近字節(jié)、滑鐵盧大學(xué)相關(guān)團隊同時放出了他們使用Agent進行海報生成的技術(shù)方案，P2P和Paper2Poster，傳統(tǒng)方案如類似ppt生成等思路，基本上采用固定的模版，提取相關(guān)的關(guān)鍵元素進行模版填充，因此，海報生成的質(zhì)量完全依賴于規(guī)則模版的豐富程度。下面來看一下這兩個團隊使用Agent進行海報生成的技術(shù)思路，覆蓋多種技術(shù)鏈路，如：文檔智能解析、LLM、布局生成、Agent等。比如有趣，下面來看看這兩個技術(shù)方案，供參考。學(xué)術(shù)論文>學(xué)...

下面來看一下字節(jié)最新開源的多模態(tài)文檔解析方案，筆者實際測下來性能還有待提升（鑒于合成數(shù)據(jù)，泛化性還較差，存在幻覺），不過思路可以借鑒下，供參考。Dolphin性能創(chuàng)新點兩階段解析架構(gòu)：Dolphin采用了分析解析范式，首先進行頁面級布局分析，生成結(jié)構(gòu)化布局元素序列，然后在第二階段通過異構(gòu)錨點提示進行并行內(nèi)容解析。端到端的文檔解析，模型參數(shù)量?。?00M+），易于落地提供了數(shù)據(jù)合成的思路，大規(guī)模數(shù)據(jù)增強模型的泛化能...

模型架構(gòu)Dense模型結(jié)構(gòu)改進：GQA、SwiGLU、RoPE、RMSNormwithprenormalization與Qwen2.5相似。移除了Qwen2中的移除QKV偏置，減少模型復(fù)雜性，在注意力機制中引入QKNorm來確保穩(wěn)定訓(xùn)練。MoE模型結(jié)構(gòu)改進：改進點描述細粒度專家分割增強模型的表達能力和效率。全局批次負載均衡損失鼓勵專家專業(yè)化，提高模型整體性能。移除共享專家與Qwen2.5MoE不同，Qwen3MoE設(shè)計中排除了共享專家。128個總專家，每個token激活8個專家增加專家數(shù)...

基于LLM的生成式檢索（GR）在進行文檔知識檢索時或多或少的會引入幻覺，在一些對精度要求比較高的場景（如：金融等）如何緩解幻覺，下面來看下支付寶生成式檢索緩解幻覺方案，供參考。方法技術(shù)框架如上圖所示，框架分為兩部分：知識蒸餾推理和決策Agent知識蒸餾推理目的：通過利用更大規(guī)模的LLM生成顯式的推理數(shù)據(jù)，增強較小規(guī)模的LLMbasedGR模型的訓(xùn)練。知識蒸餾推理模塊提升了GR模型的檢索精度，減少了幻覺現(xiàn)象。思路如下：推...

如何在多個語料庫（多源異構(gòu)知識庫，如：文本、圖片、視頻）中檢索和整合來自不同模態(tài)和粒度的知識？UniversalRAG：一個多模態(tài)RAG框架，用于從多個模態(tài)和粒度的語料庫中檢索和整合知識。下面來看看思路，供參考。方法(A)單一模態(tài)的RAG僅檢索一種模態(tài)的數(shù)據(jù)。(B)單一語料庫的RAG專注于檢索數(shù)據(jù)模態(tài)，而忽略語義。(C)UniversalRAG使用路由器和多個語料庫有效地支持多樣化的查詢，涵蓋不同的模態(tài)和粒度。從上圖可以看到，Universal...

閱讀順序在文檔智能解析中的位置閱讀順序檢測旨在捕獲人類讀者能夠自然理解的單詞序列?，F(xiàn)有的OCR引擎通常按照從上到下、從左到右的方式排列識別到的文本行，但這并不適用于某些文檔類型，如多欄模板、表格等。LayoutReader模型使用seq2seq模型捕獲文本和布局信息，用于閱讀順序預(yù)測，在實驗中表現(xiàn)出色，并顯著提高了開源和商業(yè)OCR引擎在文本行排序方面的表現(xiàn)。Github:https:github.comyujunhuicsLayoutReader權(quán)重地址:https:ww...

前期也提到，在實際場景中，用戶通常需要檢索多模態(tài)文檔，包括文本、圖像、表格和圖表。這需要一個更復(fù)雜的檢索系統(tǒng)，能夠處理多模態(tài)信息，并根據(jù)用戶查詢提供相關(guān)文檔或段落。檢索多模態(tài)文檔將有助于AI聊天機器人、搜索引擎和其他應(yīng)用程序向用戶提供更準確、更相關(guān)的信息。因此衍生了一系列的多模態(tài)RAG方案，如：??開源多模態(tài)RAG的視覺文檔(OCRFree)檢索增強生成方案VDocRAG???提到的諸多方案。下面來看看www會議開設(shè)的多...

基于視覺編碼器的MLLM的基本構(gòu)成：MLLM通常由預(yù)訓(xùn)練的模態(tài)編碼器、預(yù)訓(xùn)練的LLM和一個連接它們的模態(tài)接口三個模塊組成。模態(tài)編碼器(如：CLIPViT視覺編碼器、Whisper音頻編碼器等)將原始信息（如圖像或音頻）壓縮成更緊湊的表示。預(yù)訓(xùn)練的LLM則負責(zé)理解和推理處理過的信號。模態(tài)接口用于對齊不同的模態(tài)，實現(xiàn)異構(gòu)模態(tài)表征空間的語義對齊。下面這張圖概括的比較好。上述工作都是基于視覺編碼器的多模態(tài)大模型，下面來看一個Encoder...