AngelSpec – 腾讯混元团队开源的覆盖投机解码全链路的端到端框架

AngelSpec是腾讯混元团队开源的国内首个覆盖投机解码全链路的端到端框架，解决大模型推理中自回归解码效率低下的问题。提供从草稿模型训练、架构设计到线上部署的完整工具链，而非仅开源调度模块或推理代码。实测在Hy3-A21B模型上可实现1.98-2.40倍端到端提速，吞吐量较主流方案提升10.5%-11.8%，尤其适合高并发场景的推理成本优化。

AngelSpec核心特点

1. 全链路开源覆盖

训练-部署一体化：首次同步开放drafter训练代码、MTP/DFly草稿模型权重及部署框架，开发者无需自行拼凑训练管线。
双草稿架构支持：同时提供MTP（多Token预测） 和自研 DFly 两种方案，适配不同场景需求（如MTP侧重高熵对话，DFly专注代码/数学等结构化任务）。

2. 开箱即用的生态适配

深度绑定Hy3-A21B：直接配套腾讯7月6日开源的Hy3-A21B模型（MoE架构，总参数295B/激活21B），省去草稿模型训练成本。
插件化扩展能力：支持128k长上下文训练，内置评估服务器可实时反馈平均接受长度等关键指标。

3. 动态性能优化机制

D-cut动态裁剪：根据草稿Token置信度与实时延迟动态调整验证深度，避免低收益Token占用GPU资源。
TTT技术修复训练-推理不一致：通过训练时对共享MTP块做同策略自回归展开，将对话场景平均接受率提升至66.4%。

AngelSpec技术原理

1. 投机解码核心逻辑

草稿-验证双阶段机制：轻量级drafter模型快速预测多个Token，主模型批量验证，以计算冗余换取推理速度提升。
接受长度决定加速比：主模型一次性验证通过的Token数（平均接受长度）越高，理论加速效果越显著。DFly架构将该指标提升至4.79（DFlash为3.69，MTP为3.00）。

2. DFly架构创新

并行draft设计：通过混合目标条件编码骨干与前序条件自回归头，解决块内Token不可见问题。
面向接受率的训练目标：优化块扩散模型的长跨度可预测序列挖掘能力，在代码/数学等场景中峰值加速达2.86倍。

3. 高并发瓶颈突破

D-cut资源调度：将验证视为batch级共享资源，跨请求全局排序并动态分配验证比例。在并发64场景下，吞吐量额外提升15.7%。
分离式架构设计：推理引擎与训练进程通过RDMA流式传输隐状态，支持独立扩缩容，避免资源争用。

AngelSpec核心优势

1. 落地门槛显著降低

中小团队友好：提供现成的Hy3-A21B适配权重，跳过草稿模型训练环节，部署周期从数周缩短至小时级。
避免“黑盒”依赖：相比仅开源调度模块的方案（如DeepSeek DSpark），训练代码透明化便于二次开发。

2. 性能与场景适配性平衡

全并发档位覆盖：在并发4至64区间内稳定实现1.98-2.40倍加速，兼顾低延迟与高吞吐需求。
任务类型差异化支持：DFly专注代码/数学等结构化任务（接受长度4.79），MTP优化高熵对话场景（接受率66.4%）。

3. 工程化细节完备

真实场景指标验证：训练过程中自动调用最新checkpoint执行真实投机解码验证，直接输出平均接受长度等生产指标。
长上下文支持：原生适配128k上下文训练，避免长文本场景的性能衰减。

AngelSpec项目地址

项目官网：https://angelspec.readthedocs.io/
GitHub仓库：https://github.com/Tencent/AngelSpec

AngelSpec应用场景

1. 高并发推理服务

电商大促场景：在流量峰值期降低GPU资源消耗30%以上，支撑每秒万级请求的实时响应。
客服系统扩容：通过吞吐量提升减少同等业务量所需的服务器数量，直接降低算力成本。

2. 结构化任务加速

代码生成与数学推理：DFly架构在HumanEval等测试中平均接受长度达5.41，显著提升生成效率。
长文档处理：128k上下文支持使合同分析、财报生成等任务避免分段处理导致的语义断裂。

3. 企业级模型部署

快速接入Hy3生态：已采用Hy3-A21B的团队可直接复用配套权重，24小时内完成推理加速改造。
私有化部署优化：分离式架构便于按需分配训练与推理资源，适配企业级安全管控要求。

最后想说：AngelSpec的突破在于将投机解码从“技术概念”转化为“开箱即用”的生产工具，通过全链路开源填补了训练-部署间的工程断层。其1.98-2.40倍实测加速比与Hy3生态深度绑定，特别适合已采用腾讯混元模型的企业快速降本；而DFly架构在结构化任务中的4.79平均接受长度，则为代码、数学等垂直场景提供了针对性优化。对于自研模型团队，需权衡其当前对Hy3的强依赖性——若主模型非Hy3系列，需额外适配训练管线，但框架本身的动态调度设计仍具参考价值。关键落地提示：中小团队建议优先试用Hy3配套方案，自研模型团队可重点借鉴D-cut与TTT技术实现。