关键字 · 文档

全部详情 / 开源项目

MiniCPM-OCR:拍歪了、卷边了也能读,把文档和 PDF 变成 Markdown

1.3B 小模型把扫描、拍照、弯曲的文档解析成 Markdown,另配 Jev 模型给每块结果打分。网页、iPhone 离线、本地部署都能用。

如果你经常要把纸质文件、扫描件或者 PDF 里的内容整理出来,这个项目值得收藏。视频里介绍的开源项目叫 MiniCPM-OCR,属于 OpenBMB 的 MiniCPM 系列(README 顶部写的“面壁小钢炮 MiniCPM”)。我们在 2026 年 11 月 6 日录视频时,它在 GitHub 上约有 830 颗星;代码、文档和模型权重全部采用 Apache License 2.0 开源。
它最打动人的地方有两点:第一,主模型只有 13 亿参数(1.3B),却能把扫描、拍照、弯曲甚至翻拍的文档解析成干净的 Markdown;第二,它还配了一个专门“挑错”的小模型,会给每一块识别结果打分,告诉你哪些内容最好再人工核对一遍。

01它是什么:一个负责读,一个负责查

  1. MiniCPM-OCR 1.0(1.3B):MiniCPM-V/o 家族里第一个 OCR 专用模型,覆盖文本、表格、公式、图表与印章识别,以及结构化信息抽取,支持中英文档与 PDF 解析。
  2. MiniCPM-OCR Jev(2B):独立的判别模型。把区域原图和对应的 OCR 结果交给它,就会得到一个 0 到 1 的质量评分,分数越高越倾向于判断结果正确。用来筛出可靠结果,标出需要人工复核的内容。

整页解析分两个阶段:先用 PP-DocLayoutV3 版面模型找出文本、表格、公式、图表、印章等区域并分析阅读顺序;再把每个区域切块交给 MiniCPM-OCR 1.0 逐块识别,最后按阅读顺序拼成 Markdown 或 JSON。表格输出成 HTML,公式输出成 LaTeX。

02它能读什么样的文档

  1. 复杂的采集条件:扫描件、手机拍照、页面弯曲、倾斜,以及对着屏幕或纸张再拍一次的翻拍件。
  2. 各种内容:正文、表格、公式、图表和印章;示例里有手写笔记、复杂公式、报纸、财务报表、盖印文件、插图、历史文献和扫描文档。
  3. 关键信息抽取(KIE):可以按业务需要把文档里的关键内容提取出来。
  4. 图片和 PDF 都行:pip SDK 1.0.4 起默认自动校正页面方向,也支持 GIF 输入,JSON 输出格式和在线文档解析 API 一致。

03小模型的成绩和速度

下面这些数字都来自项目 README:

  1. 在 Real5-OmniDocBench 上取得 93.68 分,README 称之为 SOTA;在 OmniDocBench v1.6、Wild-OmniDocBench 和 olmOCR-Bench 上也表现领先。
  2. 在通用 OCR 评测 OCRBench v2 上取得 54.7 分。
  3. 用 DSpark 解码加速后,端到端处理效率提升 55%;解析吞吐量达到每秒 1.2 页,约为 PaddleOCR-VL-1.6 的 1.49 倍、MinerU2.5 Pro 的 3.62 倍。
  4. Jev 只有 2B 参数,在 JevOCRBench 上的 AUROC(×100)达到 93.6,超过 JEV-35B-A3B 的 90.1,接近 Qwen3.5-397B-A17B 的 93.8。

简单理解:AUROC 越高,说明它越能分清哪些识别结果是对的、哪些是错的。

04三步上手:先在网页和手机上试(不用部署)

  1. 步骤 1:打开在线体验平台。国内用户打开 platform.modelbest.cn 上的文档解析页面,海外用户打开 platform.modelbest.ai 上的同一个页面。把一张文件照片或一份 PDF 交给它,就能看到识别结果,按钮和登录方式以页面说明为准。
  2. 步骤 2:对照原图看版面和 Markdown。看表格是不是按行列还原了,公式是不是变成了可编辑的 LaTeX,阅读顺序有没有乱。建议拿一张拍歪了的收据或一页带表格的报告来试。
  3. 步骤 3:在 iPhone 上离线解析。这个功能目前只在 iOS 上提供:通过公开的 TestFlight 安装,模型文件约 1.6 GB,设备内存至少 6 GB,第一次使用前要先下载模型。之后文件就不必离开你的手机。

05在自己的电脑上部署

如果你有一台带 NVIDIA 显卡的 Linux 电脑,可以把整套流程搬到本地。按教程部署后,文档处理与模型推理都在本地完成,不需要上传原始文档、图片或解析结果;只有安装依赖和第一次下载模型时需要联网。

  1. 系统:Linux x86_64,命令以 Ubuntu 22.04 为例。
  2. 显卡:NVIDIA GPU,教程命令在 RTX 5090(32 GB)上验证过。
  3. 驱动:NVIDIA 驱动 580 或以上(CUDA 13),旧驱动见 FAQ。
  4. Python:3.12,由 uv 自动下载。
  5. 磁盘:至少预留 40 GB,其中模型本身约 3 GB。

教程用两个独立的 Python 环境、两个终端:一个跑 SDK(版面检测、切块和拼接),一个跑推理服务(识别)。

  1. 安装 SDK 环境:创建虚拟环境,装上 `minicpm-ocr` 和 PaddlePaddle GPU 版。
  2. 准备推理服务环境:教程默认用 vLLM,装好编译工具后在仓库根目录运行 `bash scripts/install.sh vllm`(96 核机器上约 40 分钟)。
  3. 新开一个终端启动 vLLM 服务,默认开启 DSpark 加速,完整启动命令直接从教程复制。
  4. 回到 SDK 环境运行 `minicpmvocr parse`,把 `doc.pdf` 解析成 `doc.md`。第一次运行会自动下载版面模型。
克隆仓库
git clone https://github.com/OpenBMB/MiniCPM-OCR.git
cd MiniCPM-OCR
第 1 步:SDK 环境(教程原样)
pip install uv
uv venv .minicpm-ocr --python 3.12 --seed
source .minicpm-ocr/bin/activate

python -m pip install --upgrade "minicpm-ocr[all]"
python -m pip install "paddlepaddle-gpu==3.3.0" \
  -i https://www.paddlepaddle.org.cn/packages/stable/cu129/
第 4 步:解析文档(教程原样)
source .minicpm-ocr/bin/activate

minicpmvocr parse \
  --device cuda:0 \
  --server-url http://127.0.0.1:18499 \
  --model minicpm-ocr \
  --input doc.pdf \
  --output doc.md

SDK 还有一个 `--json FILE` 参数,可以另外输出 JSON。想让编码 Agent 帮你配环境,README 给了一句现成的指令:

发给编码 Agent
Read and execute https://github.com/OpenBMB/MiniCPM-OCR/blob/main/docs/SKILL.md

06没有 5090?还有 Docker、llama.cpp 和 Ollama

换推理框架时,SDK 的版面检测和拼接都不变。除了 FlagOS,这些框架默认都带 DSpark 加速:

  1. Docker:官方镜像 openbmbofficial/minicpm-ocr,内置权重、SDK、vLLM 和解析后端。需要 Linux x86-64、NVIDIA GPU、兼容 CUDA 12.9 的驱动和 NVIDIA Container Toolkit。
  2. llama.cpp:用 GGUF 版本(Q8_0 主模型约 0.81 GB、视觉投影器约 0.90 GB、DSpark 草稿模型约 0.33 GB,三个都要下载)。Apple Silicon 默认启用 Metal,Mac 上也能跑;Linux 用 NVIDIA 显卡要加 `-DGGML_CUDA=ON`。
  3. Ollama:要求 v0.40.12 或更新,同样加载这三个 GGUF 文件。
  4. vLLM / SGLang:适合有 NVIDIA 显卡、要批量处理文档的场景。
  5. FlagOS:多芯片部署,不支持 DSpark。

仓库还开源了一个 Web Demo,可以部署本地的文档解析网页,支持中英文界面。需要先跑通 SDK 全页面解析,前端需要 Node.js 22 或更高。

07Jev:给每块结果打分,决定哪些要人工看

OCR 再准也会有错,麻烦的是你不知道错在哪。Jev 基于 Qwen3.5-2B 训练,输出头换成二分类头。输入一个文本、公式或表格区域的原图和候选文本,输出 0 到 1 的评分。

  1. 自动筛选,减少人工复核:按自己的业务样本定一个阈值,高于阈值的自动进入后续流程,其余交给人工。阈值越高,自动通过的越少。
  2. 多模型择优:让几个 OCR 模型分别解析同一个区域,Jev 打分,选最高的那个。所有候选都低于阈值时,交给人工复核。

具体阈值,建议先在真实场景下做小批量验证再确定。

08许可和常见问题

整个项目采用 Apache License 2.0,包括代码、文档和两个模型的权重。两个模型都支持二次微调,仓库里有 LLaMA-Factory 和 Swift 的微调教程。

  1. 一定要有显卡吗?不一定。在线平台和 iOS Demo 都不需要;Apple Silicon 的 Mac 上 llama.cpp 默认用 Metal。教程里的 vLLM 本地部署需要 NVIDIA 显卡。
  2. 本地部署会把文件传到云端吗?不会。处理与推理都在本地完成,只有安装依赖和第一次下载模型时需要联网。
  3. 能识别中文吗?能。支持中英双语文档与 PDF 解析。
  4. 显存不够怎么办?减小 `--max-model-len`,必要时降低 `--gpu-memory-utilization`。更多问题见仓库 FAQ。

09相关链接

资料来源

延伸阅读