MapFlow – 跨模型注意力图复用推理系统

MapFlow是北大PKU‑DAIR团队推出的异构大模型推理服务系统,实现不同模型之间注意力图状态复用,面向共享分词器的多模型混合部署场景。系统针对prefill预填充阶段做性能优化,降低 15‑20% 预填充延迟,P90 首 token 延迟约束下吞吐最高提升 25%。项目适配 vLLM 推理框架,兼容 PagedAttention 内存管理机制,配套注意力状态压缩、块缓存管理器与融合计算内核,完整代码开源发布,可在多模型共存的推理集群开展部署验证。

MapFlow - 跨模型注意力图复用推理系统

MapFlow特点

复用注意力图而非 KV 缓存,适配不同参数量、不同层数的异构模型之间状态迁移。

内置注意力状态压缩器,将稠密注意力矩阵转换为块稀疏存储格式,削减内存占用。

块缓存管理器基于上下文前缀哈希维护缓存块,规避内存碎片,支持一份缓存服务多个接收模型。

实现 Triton 编写的融合计算内核,跳过完整注意力矩阵重建步骤,减少 GPU 显存读写开销。

原生对接 vLLM 现有运行时,不用大规模改动原有推理调度逻辑。

维持输出语义质量,配合局部重算策略,抵消跨模型状态迁移带来的精度偏移。

MapFlow技术原理

相同上下文与分词器输入下,不同Transformer模型生成的注意力图具备相近token依赖结构。发送端模型完成 prefill 计算,提取注意力矩阵,经过块式压缩保存稀疏重要块。接收端模型调取缓存注意力块,通过轻量线性转换适配自身层、头维度差异。融合内核直接读取稀疏块,在 GPU 片上完成多头线性变换与 Value 张量相乘累加,避免生成完整稠密中间矩阵。局部重算机制识别缓存适配度偏低的层,重新执行部分计算,保证生成内容不出现明显偏差。缓存生命周期跟随上下文前缀,多条请求共享相同上下文时重复利用已有压缩状态。

MapFlow项目地址

  • GitHub仓库:https://github.com/PKU-DAIR/MapFlow

MapFlow功能

跨模型注意力图缓存与迁移,发送模型输出的注意力状态供给接收模型使用。

注意力矩阵块稀疏压缩,筛选高权重注意力块,缩减缓存存储体积。

块缓存调度管理,基于上下文前缀索引,处理缓存命中、失效、回收流程。

融合推理内核执行,稀疏块直接参与注意力计算,跳过稠密矩阵重建。

对接vLLM推理链路,替换原有prefill阶段部分计算流程,输出标准 token 流。

性能指标采集,统计预填充延迟、首token耗时、集群吞吐,用于效果比对。

MapFlow应用场景

多模型混合推理集群,同时部署大尺寸基座、轻量化蒸馏模型的服务节点。

科研方向,异构大模型推理优化、KV 缓存替代方案相关对照实验。

企业推理服务,多模型路由业务,大量请求共享长上下文前缀的业务负载。

推理框架二次开发,为vLLM新增跨模型状态复用扩展模块。

性能调优验证,对比原生prefill、KV缓存复用、注意力图复用不同方案开销。

MapFlow同类产品对比

表格

项目MapFlow(PKU-DAIR)传统 KV Prefix Cache(vLLM 原生)
开发方北大 DAIR 实验室vLLM 社区
产品类型跨异构模型注意力图复用推理加速系统同模型 KV 缓存前缀复用方案
核心亮点复用注意力图而非 KV,支持不同架构模型之间上下文交接;块稀疏压缩 + Triton 融合内核,集成 vLLM;多模型串联 Agent 流水线显著降低 Prefill 耗时,开源成熟稳定、生态完善;仅支持相同模型复用 KV;实现简单,是线上主流部署方案
适用场景多模型串联路由、LLM Agent 流水线、异构模型级联推理、长上下文多模型调度单一模型高并发服务、通用线上大模型部署、单模型对话服务
© 版权声明
为这篇文章评分
8.0/ 10
1 人评价
点击⭐️进行评分

相关文章

暂无评论

none
暂无评论...