MapFlow是北大PKU‑DAIR团队推出的异构大模型推理服务系统,实现不同模型之间注意力图状态复用,面向共享分词器的多模型混合部署场景。系统针对prefill预填充阶段做性能优化,降低 15‑20% 预填充延迟,P90 首 token 延迟约束下吞吐最高提升 25%。项目适配 vLLM 推理框架,兼容 PagedAttention 内存管理机制,配套注意力状态压缩、块缓存管理器与融合计算内核,完整代码开源发布,可在多模型共存的推理集群开展部署验证。

MapFlow特点
复用注意力图而非 KV 缓存,适配不同参数量、不同层数的异构模型之间状态迁移。
内置注意力状态压缩器,将稠密注意力矩阵转换为块稀疏存储格式,削减内存占用。
块缓存管理器基于上下文前缀哈希维护缓存块,规避内存碎片,支持一份缓存服务多个接收模型。
实现 Triton 编写的融合计算内核,跳过完整注意力矩阵重建步骤,减少 GPU 显存读写开销。
原生对接 vLLM 现有运行时,不用大规模改动原有推理调度逻辑。
维持输出语义质量,配合局部重算策略,抵消跨模型状态迁移带来的精度偏移。
MapFlow技术原理
相同上下文与分词器输入下,不同Transformer模型生成的注意力图具备相近token依赖结构。发送端模型完成 prefill 计算,提取注意力矩阵,经过块式压缩保存稀疏重要块。接收端模型调取缓存注意力块,通过轻量线性转换适配自身层、头维度差异。融合内核直接读取稀疏块,在 GPU 片上完成多头线性变换与 Value 张量相乘累加,避免生成完整稠密中间矩阵。局部重算机制识别缓存适配度偏低的层,重新执行部分计算,保证生成内容不出现明显偏差。缓存生命周期跟随上下文前缀,多条请求共享相同上下文时重复利用已有压缩状态。
MapFlow项目地址
- GitHub仓库:https://github.com/PKU-DAIR/MapFlow
MapFlow功能
跨模型注意力图缓存与迁移,发送模型输出的注意力状态供给接收模型使用。
注意力矩阵块稀疏压缩,筛选高权重注意力块,缩减缓存存储体积。
块缓存调度管理,基于上下文前缀索引,处理缓存命中、失效、回收流程。
融合推理内核执行,稀疏块直接参与注意力计算,跳过稠密矩阵重建。
对接vLLM推理链路,替换原有prefill阶段部分计算流程,输出标准 token 流。
性能指标采集,统计预填充延迟、首token耗时、集群吞吐,用于效果比对。
MapFlow应用场景
多模型混合推理集群,同时部署大尺寸基座、轻量化蒸馏模型的服务节点。
科研方向,异构大模型推理优化、KV 缓存替代方案相关对照实验。
企业推理服务,多模型路由业务,大量请求共享长上下文前缀的业务负载。
推理框架二次开发,为vLLM新增跨模型状态复用扩展模块。
性能调优验证,对比原生prefill、KV缓存复用、注意力图复用不同方案开销。
MapFlow同类产品对比
表格
| 项目 | MapFlow(PKU-DAIR) | 传统 KV Prefix Cache(vLLM 原生) |
|---|---|---|
| 开发方 | 北大 DAIR 实验室 | vLLM 社区 |
| 产品类型 | 跨异构模型注意力图复用推理加速系统 | 同模型 KV 缓存前缀复用方案 |
| 核心亮点 | 复用注意力图而非 KV,支持不同架构模型之间上下文交接;块稀疏压缩 + Triton 融合内核,集成 vLLM;多模型串联 Agent 流水线显著降低 Prefill 耗时,开源 | 成熟稳定、生态完善;仅支持相同模型复用 KV;实现简单,是线上主流部署方案 |
| 适用场景 | 多模型串联路由、LLM Agent 流水线、异构模型级联推理、长上下文多模型调度 | 单一模型高并发服务、通用线上大模型部署、单模型对话服务 |



