編輯 | 聽雨

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

在AI快速進(jìn)化的浪潮中，文字和圖像的界限正在被重新定義。那些能“看懂”文件、理解圖表、讀出語義的視覺語言模型（VLM），正在讓傳統(tǒng)OCR（光學(xué)字符識別）進(jìn)入一個(gè)全新的智能階段。如果你還以為OCR只是“識字”的工具，那你可能錯過了它真正的革命性變化。

這兩天，小編讀到AI開源平臺Hugging Face 發(fā)布的一篇關(guān)于開源 OCR 模型的文章，提供了全面的模型選擇和使用指南。

里面涵蓋了 DeepSeek-OCR、PaddleOCR-VL、dots.ocr 等六大主流模型的詳細(xì)分析對比，包括輸出格式、功能特性和多語言支持，同時(shí)提供 OmniDocBenchmark、OlmOCR-Bench、CC-OCR 三大權(quán)威基準(zhǔn)測試的介紹，幫助詳細(xì)評估模型性能。

除此之外，文章里還提供這些模型的本地和云端部署的完整代碼示例，包括如何使用 vLLM、Transformers 等多種推理框架。

在這份指南中，你將了解到：

• 當(dāng)前模型的格局與能力
• 何時(shí)應(yīng)微調(diào)模型 vs. 直接使用開箱即用模型
• 選擇模型時(shí)需要考慮的關(guān)鍵因素
• 如何超越傳統(tǒng) OCR，進(jìn)入多模態(tài)檢索與文檔問答

對于需要為項(xiàng)目集成 OCR 功能的開發(fā)者，或正在構(gòu)建文檔處理系統(tǒng)的團(tuán)隊(duì)，這篇文章非常值得一讀。

話不多說，咱們開始吧！

一、從OCR到文檔AI：新的起點(diǎn)

光學(xué)字符識別（OCR）是計(jì)算機(jī)視覺最古老也最實(shí)用的任務(wù)之一。早期OCR只負(fù)責(zé)“識別文字”；而如今，隨著視覺語言模型（VLM）的興起，它已經(jīng)變成能“理解文檔”的智能系統(tǒng)。

這些新模型不僅能識別掃描件中的文字，還能：

• 處理低質(zhì)量掃描與手寫體；
• 理解表格、圖表、圖片等復(fù)雜結(jié)構(gòu)；
• 甚至直接回答關(guān)于文檔的問題。

換句話說：OCR 不再只是“看見”，而是能“看懂”。

二、現(xiàn)代OCR的核心能力

1、轉(zhuǎn)錄

最新的 OCR 模型能夠?qū)⑽谋緝?nèi)容轉(zhuǎn)錄為機(jī)器可讀格式，輸入包括：

• 手寫文字
• 多語言字符（拉丁文、阿拉伯文、日文等）
• 數(shù)學(xué)公式
• 化學(xué)式
• 圖像、版面標(biāo)簽、頁碼等

OCR 模型可將它們轉(zhuǎn)化為機(jī)器可解析的格式（如 HTML、Markdown 等）。

2、處理復(fù)雜文檔組件

除了純文本，一些模型還能識別：

• 圖片
• 圖表
• 表格

有些模型甚至能檢測圖片在文檔中的位置并正確插入，有的還能生成圖片描述并嵌入相應(yīng)位置，這在將 OCR 輸出傳給 LLM 時(shí)尤為有用。典型模型包括OlmOCR（AllenAI）和 PaddleOCR-VL（PaddlePaddle）。

模型常見的輸出格式包括：

• DocTags
• HTML
• Markdown

不同的輸出格式會影響表格與圖表的呈現(xiàn)方式：有的模型將圖表視作圖像保留；而另一些模型則將圖表轉(zhuǎn)化為 Markdown 表格或 JSON，如下例所示

Chart Rendering

同理，表格會被轉(zhuǎn)換為機(jī)器可讀格式，同時(shí)保留列名、標(biāo)題等上下文。

輸出格式：

現(xiàn)代 OCR 模型常用輸出格式如下：

• DocTag：類 XML 格式，保留布局、文本樣式、元素層級信息（如 Docling 模型所用）

DocTags

• HTML：常見文檔解析格式，表達(dá)結(jié)構(gòu)清晰
• Markdown：最易讀的格式，簡潔但不支持復(fù)雜表格
• JSON：常用于結(jié)構(gòu)化表格或圖表數(shù)據(jù)，不用于整篇輸出

選擇建議:

 數(shù)字重建：選 DocTags / HTML（保留布局）

 LLM 問答輸入：選 Markdown + 圖片描述

 程序化分析：選 JSON 輸出

3、空間定位感知

文檔常有復(fù)雜布局（如多欄排版、浮動圖片）。傳統(tǒng) OCR 需在后處理中手動排序文字，極易出錯。現(xiàn)代 OCR 模型引入布局元數(shù)據(jù)（“anchors”），用邊界框（bounding boxes）錨定文本，從而保留閱讀順序與位置關(guān)系，這個(gè)過程也稱為grounding/anchoring，有助于減少幻覺錯誤。

模型提示

OCR 模型可接受圖片輸入，有時(shí)還支持文本提示（prompt）。例如：

• Granite-Docling 支持指令切換，如“Convert this page to Docling”或“Convert this formula to LaTeX”。
• OlmOCR（AllenAI） 依賴較長的系統(tǒng)提示詞。它基于 Qwen2.5-VL 微調(diào)，因此也能處理其他任務(wù)，但 OCR 性能最佳。

三、2025最新OCR模型橫評

為了幫助你更容易選擇合適的模型，我們整理了一份目前最有代表性的開源OCR模型對比表（非完整清單）。下面這些模型都有一個(gè)共同點(diǎn)：它們都具備版面感知能力（layout-aware），能解析表格、圖表、數(shù)學(xué)公式等復(fù)雜文檔結(jié)構(gòu)。

每個(gè)模型所支持的語言列表可在其 Model Card（模型卡）中找到。除 Chandra 使用 OpenRAIL 許可證 和 Nanonets 許可證不明確外，其余模型均為開源。文中的“平均分”（Average Score）來自模型卡上公布的評測結(jié)果，主要基于 OlmOCR Benchmark（一個(gè)僅含英文的標(biāo)準(zhǔn)測試集）。

值得注意的是：目前許多模型都基于Qwen2.5-VL或Qwen3-VL微調(diào)而來，所以文末也列出了Qwen3-VL的原始表現(xiàn)以作參考。

 模型對比

注：Qwen3-VL 是強(qiáng)大的視覺語言模型，能做文檔理解等任務(wù)，但并非專為 OCR 微調(diào)。使用時(shí)建議結(jié)合 prompt 實(shí)驗(yàn)。

從整體評分來看，國外模型依然在準(zhǔn)確率和結(jié)構(gòu)化能力上占據(jù)上風(fēng)。

在OlmOCR基準(zhǔn)測試中，Chandra（83.1）與 OlmOCR-2（82.3）表現(xiàn)最佳，穩(wěn)居第一梯隊(duì)，展現(xiàn)出強(qiáng)大的版面理解與表格解析能力。dots.ocr（79.1）也有不錯的綜合表現(xiàn)，尤其在圖像嵌入和手寫識別上表現(xiàn)均衡。

國產(chǎn)模型方面，DeepSeek-OCR（75.4）雖略低于國外頂尖模型，但在中文識別、跨語言泛化與推理速度上表現(xiàn)突出，成為最具潛力的新秀。Qwen3-VL則更偏向通用視覺語言模型，雖然沒有固定 OCR 提示詞優(yōu)化，但在圖表重構(gòu)與古籍識別上具備獨(dú)特優(yōu)勢。PaddleOCR-VL延續(xù)了其輕量高效的傳統(tǒng)，支持 109 種語言，適合大規(guī)模部署與實(shí)際工程應(yīng)用。

四、模型評估與基準(zhǔn)

沒有“通吃型模型”。評估時(shí)要看任務(wù)需求（如表格輸出格式、語言等）。推薦基準(zhǔn)：

• OmniDocBenchmark：文檔類型多樣（書籍、雜志、教材），支持 HTML / Markdown 表格評估。
• OlmOCR-Bench：以“單元測試”式評估英文文檔，涵蓋表格、版式、公式。
• CC-OCR（多語言）：覆蓋多語言，但質(zhì)量較低；是目前少數(shù)支持英文/中文以外語言的基準(zhǔn)。

建議：若你的領(lǐng)域（如醫(yī)療、金融）在公開數(shù)據(jù)集中未被覆蓋，應(yīng)自行收集代表性樣本來評估模型。

五、成本與部署效率

大多數(shù)OCR模型都在3B~7B參數(shù)之間，推理成本遠(yuǎn)低于封閉API。舉例：

• OlmOCR-2（配合vLLM/SGLang）：H100上每百萬頁成本約$178；
• DeepSeek-OCR：A100單卡可日處理20萬頁；
• 支持量化版，進(jìn)一步降本。

總體來看，開源模型在大規(guī)模使用時(shí)性價(jià)比顯著優(yōu)于閉源方案。

六、開源OCR數(shù)據(jù)集

雖然開源模型爆發(fā)，但可用數(shù)據(jù)集仍稀缺。目前代表性數(shù)據(jù)包括：

• olmOCR-mix-0225（AllenAI）：已被至少72個(gè)模型使用；
• isl_synthetic_ocr：高質(zhì)量合成數(shù)據(jù)；
• Medical History of British India：人工校正的歷史檔案；
• VLM生成數(shù)據(jù) + 篩選算法：正成為主流趨勢。

未來，更多“可訓(xùn)練即用”的開放數(shù)據(jù)集將推動社區(qū)加速前進(jìn)。

七、本地與云端部署指南

 本地部署

• 多數(shù)模型支持 vLLM? 或 transformers 加載；
• 一行命令即可運(yùn)行：vllm serve nanonets/Nanonets-OCR2-3B

或用Python調(diào)用OpenAI兼容接口，輕松推理圖文。

MLX for Apple Silicon

Apple 推出的 MLX 框架可在 Mac 上本地運(yùn)行 OCR 模型。

安裝方式：

云端部署

• Hugging Face Inference Endpoints：一鍵托管推理；
• Hugging Face Jobs：支持批量OCR推理，自動批處理數(shù)千張文檔，無需GPU本地部署。

八、OCR：文檔AI的未來

Visual Document Retrieval

支持直接對PDF堆棧進(jìn)行“視覺搜索”的模型，可搭配向量數(shù)據(jù)庫構(gòu)建多模態(tài)RAG系統(tǒng)。

Document Question Answering

相比先轉(zhuǎn)文本再喂LLM，更推薦直接使用如 Qwen3-VL 這類視覺語言模型——能保留圖表、公式、圖片上下文，避免信息損失。

可以預(yù)見，未來的文檔AI將不再只是OCR的升級，而是多模態(tài)智能的落地場景。開源模型的興起，讓成本和隱私問題不再是阻礙；而視覺語言模型的普及，則讓“文檔理解”從專業(yè)能力變成了普惠工具。我們正處在一個(gè)轉(zhuǎn)折點(diǎn)上——當(dāng)機(jī)器開始“讀懂”人類的文字，信息的邊界也將被重新定義。

評論區(qū)的各位大佬：

你目前在用哪款OCR模型？更看重“精度”還是“速度”？

你覺得文檔AI的下一個(gè)突破點(diǎn)，會是更強(qiáng)的模型能力，還是更好的應(yīng)用場景？

歡迎在評論區(qū)聊聊你的看法！

參考鏈接：https://huggingface.co/blog/ocr-open-models

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：聽雨