MiniCPM-OCR – 壁端侧文档解析模型

MiniCPM‑OCR是OpenBMB面壁智能推出的轻量化开源多模态OCR模型，依托MiniCPM多模态基座做专项迭代，整套项目代码托管于GitHub仓库。模型面向端侧硬件做深度优化，支持高分辨率任意长宽比图像输入，不限制固定图片尺寸，处理截图、印刷扫描件、拍摄文档、表格图片。除文字提取之外，完成表格转 Markdown、版面解析，支持数十种语种识别，量化版本可在消费级显卡、移动设备完成推理，提供完整推理脚本，方便二次开发与私有化部署。

MiniCPM-OCR特点

支持任意长宽比图像，可处理超高分辨率文档画面，不用强制裁剪缩放预处理。

轻量化模型体量，INT4 量化版本内存占用低，GPU、边缘设备、移动端都可以运行。

不只是单纯文字输出，识别表格、列表、标题层级，直接输出 Markdown 结构化文档。

覆盖数十种语种，对倾斜、反光、轻微模糊的拍摄文档图片有不错容错表现。

配套完整开源推理代码，可直接对接上层业务，支持 LoRA 微调适配行业文档。

兼容主流推理库，transformers、vLLM、SGLang 都可以加载权重运行。

MiniCPM-OCR技术原理

以 MiniCPM 多模态基座作为主干，视觉编码器对整张图像做特征提取，不做强制分块切割。训练数据集混合印刷文档、手机拍摄文档、截图、多语种样本，加入倾斜、反光、噪声类干扰样本。训练流程融合文字重建任务与版面理解任务，模型同时学习字符识别、表格行列关系、标题段落层级。后训练阶段使用文档指令样本，对齐输出 Markdown 格式的生成逻辑。量化流程针对视觉‑语言联合模块做适配，降低量化带来识别精度损失。

MiniCPM-OCR项目地址

• GitHub仓库：https://github.com/OpenBMB/MiniCPM-OCR

MiniCPM-OCR功能

图片内文字提取，处理扫描件、手机拍摄文档、电脑截图。

表格识别转换，把图片表格转为 Markdown 表格文本。

识别标题、段落、列表，保留原始文档的基础版面逻辑。

多语种文本识别，处理中外混合文本画面。

批量图片输入，批量完成文档解析。

输出纯文本或者 Markdown 格式结果，可供下游知识库、检索系统使用。

支持自有行业数据集微调，产出垂直领域识别版本。

MiniCPM-OCR应用场景

个人与小团队做纸质资料数字化，手机拍摄文档直接转为电子文本。

企业内部截图、报表图片解析，提取表格内容入库。

档案馆、图书馆处理扫描档案，完成文本信息抽取。

科研人员解析论文截图、文献图片，提取正文与表格。

移动端 APP 嵌入，在手机本地完成图片文字识别，不用上传云端。

算法研究方向开展端侧 OCR、多模态文档理解对照实验。

MiniCPM-OCR如何使用

访问 OpenBMB 的 GitHub 仓库，克隆 MiniCPM‑OCR 项目代码，前往 HuggingFace 或者 ModelScope 下载预训练权重。

搭建 Python 运行环境，安装 transformers、图像处理、推理加速相关依赖包。

修改配置文件，填入权重存放路径，选择全精度或者量化版本。

传入文档图片，设置输出格式为纯文本或者 Markdown，执行推理脚本获取解析结果。

硬件资源有限场景加载 INT4 量化权重，降低显存、内存占用。

批量任务编写循环脚本，读取本地图片文件夹批量输出解析文件。

垂直业务场景准备行业文档数据集，使用 LoRA 脚本完成微调，导出权重投入业务。

业务开发封装推理接口，对接自有程序，完成图片文档解析调用。