MiniCPM-V 4.7 – 面壁智能开源端侧多模态大模型

MiniCPM-V4.7 是 OpenBMB 面壁智能推出的新一代开源多模态模型，包含 1B 稠密版本与 35B-A3B 稀疏 MoE 版本，采用 Apache2.0 许可协议开放权重。模型支持图文、多图、视频与 PDF 文档解析，上下文窗口达到 256K，搭载自研 LES 前瞻专家调度技术，35B-A3B 版本推理仅激活 3B 参数，可在手机、平板等移动终端完成本地运行。内置视觉 token 压缩机制，开发者切换压缩倍率平衡画面细节与算力消耗，适配 iOS、安卓、鸿蒙、Intel、AppleSilicon 等多类硬件平台。

MiniCPM-V 4.7特点

双版本架构划分，1B 版本侧重轻量化设备部署，35B-A3B 版本承载高难度多模态任务。

LES 前瞻专家调度，提前预加载专家模块，减少端侧 SSD 读取带来的延迟。

256K 超长上下文，一次性读取多页文档、连续视频帧与批量图片信息。

视觉编码器内置早期压缩，4 倍与 16 倍压缩模式自由切换。

DSpark 推测采样加持，提升端侧解码速度，移动端可维持稳定输出速率。

全平台硬件适配，覆盖手机、平板、消费级显卡、CPU、NPU，多量化格式可选。

MiniCPM-V 4.7技术原理

35B-A3B 采用稀疏混合专家架构，总参数量 35B，每次输入 token 路由选择少量专家参与计算。LES 前瞻专家调度预测下一层路由信息，并行完成专家权重预取与计算任务，路由逻辑不发生改动。视觉模块使用 M-RoPE 位置编码与 ViT 早期压缩方案，在编码器内部缩减视觉 token 数量，降低后续计算量。训练环节搭配大量图文、视频、文档样本完成多模态对齐，后训练加入指令微调。逐层混合精度量化压缩权重体积，DSpark 草稿模型先行生成候选 token，主模型批量校验，缩短解码耗时。

MiniCPM-V 4.7项目地址

• GitHub仓库：https://github.com/OpenBMB/MiniCPM-V

MiniCPM-V 4.7功能

单图与多图理解，识别图片内容，解读图表、截图、手写笔记信息。

视频内容解析，读取连续帧画面，提炼视频内事件、文字与物体信息。

文档 OCR 识别，解析 PDF、扫描件，提取文本、表格并完成内容问答。

多模态问答，结合图像信息输出文字分析，完成识图推理。

图文内容生成，依据图片信息撰写描述、报告、代码与方案文本。

本地离线推理，设备不联网状态下执行多模态任务，数据留存本地。

MiniCPM-V 4.7应用场景

移动端智能助手开发，手机平板离线识图、文档阅读、视频内容分析。

硬件设备厂商，在嵌入式终端搭载视觉理解能力，处理拍摄画面。

文档数字化工作室，批量解析扫描文件、截图，提取表格与文字内容。

开发者开展端侧多模态算法测试，对比不同压缩策略的模型效果。

开源项目二次开发，搭建离线知识库、图文检索、视觉智能体。

教育场景材料解析，识别试卷、习题图片，完成题目信息提取。

MiniCPM-V 4.7如何使用

1. 访问 HuggingFace 或者 ModelScope 项目页面，选择 1B 或者 35B-A3B 权重下载，核对文件完整性。

2. 准备运行环境，安装 vLLM、llama.cpp、SGLang 或 OpenVINO 推理组件。

3. 配置硬件参数，选择量化格式，设置视觉 token 压缩倍率与上下文窗口。

4. 导入图片、视频或 PDF 文件，构造多模态提示送入模型。

5. 启动推理，获取图文解析结果，观察解码速度与画面识别精度。

6. 调整压缩参数，高压缩模式提升速度，低压缩模式保留更多图像细节。

7. 完成本地测试后，接入移动端工程，打包部署至手机、平板设备。

MiniCPM-V 4.7同类产品对比

表格