关键字 · 文档
MiniCPM-OCR:拍歪了、卷边了也能读,把文档和 PDF 变成 Markdown
1.3B 小模型把扫描、拍照、弯曲的文档解析成 Markdown,另配 Jev 模型给每块结果打分。网页、iPhone 离线、本地部署都能用。
如果你经常要把纸质文件、扫描件或者 PDF 里的内容整理出来,这个项目值得收藏。视频里介绍的开源项目叫 MiniCPM-OCR,属于 OpenBMB 的 MiniCPM 系列(README 顶部写的“面壁小钢炮 MiniCPM”)。我们在 2026 年 11 月 6 日录视频时,它在 GitHub 上约有 830 颗星;代码、文档和模型权重全部采用 Apache License 2.0 开源。
它最打动人的地方有两点:第一,主模型只有 13 亿参数(1.3B),却能把扫描、拍照、弯曲甚至翻拍的文档解析成干净的 Markdown;第二,它还配了一个专门“挑错”的小模型,会给每一块识别结果打分,告诉你哪些内容最好再人工核对一遍。
01它是什么:一个负责读,一个负责查
- MiniCPM-OCR 1.0(1.3B):MiniCPM-V/o 家族里第一个 OCR 专用模型,覆盖文本、表格、公式、图表与印章识别,以及结构化信息抽取,支持中英文档与 PDF 解析。
- MiniCPM-OCR Jev(2B):独立的判别模型。把区域原图和对应的 OCR 结果交给它,就会得到一个 0 到 1 的质量评分,分数越高越倾向于判断结果正确。用来筛出可靠结果,标出需要人工复核的内容。
整页解析分两个阶段:先用 PP-DocLayoutV3 版面模型找出文本、表格、公式、图表、印章等区域并分析阅读顺序;再把每个区域切块交给 MiniCPM-OCR 1.0 逐块识别,最后按阅读顺序拼成 Markdown 或 JSON。表格输出成 HTML,公式输出成 LaTeX。
02它能读什么样的文档
- 复杂的采集条件:扫描件、手机拍照、页面弯曲、倾斜,以及对着屏幕或纸张再拍一次的翻拍件。
- 各种内容:正文、表格、公式、图表和印章;示例里有手写笔记、复杂公式、报纸、财务报表、盖印文件、插图、历史文献和扫描文档。
- 关键信息抽取(KIE):可以按业务需要把文档里的关键内容提取出来。
- 图片和 PDF 都行:pip SDK 1.0.4 起默认自动校正页面方向,也支持 GIF 输入,JSON 输出格式和在线文档解析 API 一致。
03小模型的成绩和速度
下面这些数字都来自项目 README:
- 在 Real5-OmniDocBench 上取得 93.68 分,README 称之为 SOTA;在 OmniDocBench v1.6、Wild-OmniDocBench 和 olmOCR-Bench 上也表现领先。
- 在通用 OCR 评测 OCRBench v2 上取得 54.7 分。
- 用 DSpark 解码加速后,端到端处理效率提升 55%;解析吞吐量达到每秒 1.2 页,约为 PaddleOCR-VL-1.6 的 1.49 倍、MinerU2.5 Pro 的 3.62 倍。
- Jev 只有 2B 参数,在 JevOCRBench 上的 AUROC(×100)达到 93.6,超过 JEV-35B-A3B 的 90.1,接近 Qwen3.5-397B-A17B 的 93.8。
简单理解:AUROC 越高,说明它越能分清哪些识别结果是对的、哪些是错的。
04三步上手:先在网页和手机上试(不用部署)
- 步骤 1:打开在线体验平台。国内用户打开 platform.modelbest.cn 上的文档解析页面,海外用户打开 platform.modelbest.ai 上的同一个页面。把一张文件照片或一份 PDF 交给它,就能看到识别结果,按钮和登录方式以页面说明为准。
- 步骤 2:对照原图看版面和 Markdown。看表格是不是按行列还原了,公式是不是变成了可编辑的 LaTeX,阅读顺序有没有乱。建议拿一张拍歪了的收据或一页带表格的报告来试。
- 步骤 3:在 iPhone 上离线解析。这个功能目前只在 iOS 上提供:通过公开的 TestFlight 安装,模型文件约 1.6 GB,设备内存至少 6 GB,第一次使用前要先下载模型。之后文件就不必离开你的手机。
05在自己的电脑上部署
如果你有一台带 NVIDIA 显卡的 Linux 电脑,可以把整套流程搬到本地。按教程部署后,文档处理与模型推理都在本地完成,不需要上传原始文档、图片或解析结果;只有安装依赖和第一次下载模型时需要联网。
- 系统:Linux x86_64,命令以 Ubuntu 22.04 为例。
- 显卡:NVIDIA GPU,教程命令在 RTX 5090(32 GB)上验证过。
- 驱动:NVIDIA 驱动 580 或以上(CUDA 13),旧驱动见 FAQ。
- Python:3.12,由 uv 自动下载。
- 磁盘:至少预留 40 GB,其中模型本身约 3 GB。
教程用两个独立的 Python 环境、两个终端:一个跑 SDK(版面检测、切块和拼接),一个跑推理服务(识别)。
- 安装 SDK 环境:创建虚拟环境,装上 `minicpm-ocr` 和 PaddlePaddle GPU 版。
- 准备推理服务环境:教程默认用 vLLM,装好编译工具后在仓库根目录运行 `bash scripts/install.sh vllm`(96 核机器上约 40 分钟)。
- 新开一个终端启动 vLLM 服务,默认开启 DSpark 加速,完整启动命令直接从教程复制。
- 回到 SDK 环境运行 `minicpmvocr parse`,把 `doc.pdf` 解析成 `doc.md`。第一次运行会自动下载版面模型。
git clone https://github.com/OpenBMB/MiniCPM-OCR.git cd MiniCPM-OCR
pip install uv uv venv .minicpm-ocr --python 3.12 --seed source .minicpm-ocr/bin/activate python -m pip install --upgrade "minicpm-ocr[all]" python -m pip install "paddlepaddle-gpu==3.3.0" \ -i https://www.paddlepaddle.org.cn/packages/stable/cu129/
source .minicpm-ocr/bin/activate minicpmvocr parse \ --device cuda:0 \ --server-url http://127.0.0.1:18499 \ --model minicpm-ocr \ --input doc.pdf \ --output doc.md
SDK 还有一个 `--json FILE` 参数,可以另外输出 JSON。想让编码 Agent 帮你配环境,README 给了一句现成的指令:
Read and execute https://github.com/OpenBMB/MiniCPM-OCR/blob/main/docs/SKILL.md
06没有 5090?还有 Docker、llama.cpp 和 Ollama
换推理框架时,SDK 的版面检测和拼接都不变。除了 FlagOS,这些框架默认都带 DSpark 加速:
- Docker:官方镜像 openbmbofficial/minicpm-ocr,内置权重、SDK、vLLM 和解析后端。需要 Linux x86-64、NVIDIA GPU、兼容 CUDA 12.9 的驱动和 NVIDIA Container Toolkit。
- llama.cpp:用 GGUF 版本(Q8_0 主模型约 0.81 GB、视觉投影器约 0.90 GB、DSpark 草稿模型约 0.33 GB,三个都要下载)。Apple Silicon 默认启用 Metal,Mac 上也能跑;Linux 用 NVIDIA 显卡要加 `-DGGML_CUDA=ON`。
- Ollama:要求 v0.40.12 或更新,同样加载这三个 GGUF 文件。
- vLLM / SGLang:适合有 NVIDIA 显卡、要批量处理文档的场景。
- FlagOS:多芯片部署,不支持 DSpark。
仓库还开源了一个 Web Demo,可以部署本地的文档解析网页,支持中英文界面。需要先跑通 SDK 全页面解析,前端需要 Node.js 22 或更高。
07Jev:给每块结果打分,决定哪些要人工看
OCR 再准也会有错,麻烦的是你不知道错在哪。Jev 基于 Qwen3.5-2B 训练,输出头换成二分类头。输入一个文本、公式或表格区域的原图和候选文本,输出 0 到 1 的评分。
- 自动筛选,减少人工复核:按自己的业务样本定一个阈值,高于阈值的自动进入后续流程,其余交给人工。阈值越高,自动通过的越少。
- 多模型择优:让几个 OCR 模型分别解析同一个区域,Jev 打分,选最高的那个。所有候选都低于阈值时,交给人工复核。
具体阈值,建议先在真实场景下做小批量验证再确定。
08许可和常见问题
整个项目采用 Apache License 2.0,包括代码、文档和两个模型的权重。两个模型都支持二次微调,仓库里有 LLaMA-Factory 和 Swift 的微调教程。
- 一定要有显卡吗?不一定。在线平台和 iOS Demo 都不需要;Apple Silicon 的 Mac 上 llama.cpp 默认用 Metal。教程里的 vLLM 本地部署需要 NVIDIA 显卡。
- 本地部署会把文件传到云端吗?不会。处理与推理都在本地完成,只有安装依赖和第一次下载模型时需要联网。
- 能识别中文吗?能。支持中英双语文档与 PDF 解析。
- 显存不够怎么办?减小 `--max-model-len`,必要时降低 `--gpu-memory-utilization`。更多问题见仓库 FAQ。
09相关链接
资料来源
下一个好用的工具是什么?
每条视频都有一篇完整详情。关注 @serrini666,第一时间看到新分享。
