DeepInfer正式开源，DeepSeek放出自研大模型推理底座

DeepSeek 对外公布内部推理框架 DeepInfer 全面开源，配套 Token 编解码组件 deepseek-recipe 同步对外放出。这套系统长期支撑 DeepSeek 线上大模型服务，适配公有云与私有化部署场景。

DeepInfer 基于 Apache 2.0 协议发布，兼容英伟达、华为昇腾硬件平台。框架内置 FlashMLA、DeepGEMM、TileLang 等自研算子，支持张量并行、MoE 专家并行与分布式调度，内置推测解码、KVCache 复用、结构化输出等能力。线上实测数据来自 DeepSeek V4.1 Flash，单集群日处理规模可达 155 万亿 Token。

这套框架把 Prefill、Decode 流程拆分开调度，通过缓存策略削减重复计算开销，压缩单 Token 推理成本。开源版本覆盖离线推理与线上服务核心链路，KVCache 管理、内部负载均衡模块因和自有基础设施绑定，没有一并开放。

DeepSeek 此前已经陆续开源基座模型、TileLang 编译工具与算子库。DeepInfer 的发布补齐大模型落地链路里的推理调度环节。开发者拿到代码后，可自行搭建高吞吐服务集群，调整调度策略适配自身业务流量，降低大模型服务的运行开销。

框架仓库已经上线代码平台，配套部署文档、示例脚本同步更新，社区可基于现有代码二次改造，适配更多大模型基座。