ERNIE 5.5 Flash Preview – 百度文心发布的大模型

百度文心发布ERNIE 5.5 Flash Preview，这是11月 5日开源的ERNIE 5.5 Flash Base的首个后训练版本。模型总参数280B，每token激活14B，支持1M上下文，官方称在编程、3D 建模、知识工作、内容创作等方向表现突出，同时保持极致的解码速度，生成速度超过每秒200tokens。API已上线百度智能云千帆平台，权重将于11月25日面向全球开源社区发布。官方明确这是后训练过程中的中间版本，可能仍存在训练不充分导致的能力缺陷。

ERNIE 5.5 Flash Preview特点

稀疏MoE换来低推理成本

280B总参数提供容量，14B激活参数控制单token计算量。配合混合稀疏注意力，KV Cache占用被压缩，1M长上下文下的显存与延迟压力明显小于同规模稠密方案。

解码速度是主打项

官方给出的口径是每秒超过200 tokens。这一速度依托底层推理优化实现，其中一部分由自研自动研究系统 ERNIE Evolve参与完成，覆盖昆仑芯P800低时延场景、确定性推理吞吐与极致解码速度三类优化。

长周期任务上的规划能力

在 Terminal-Bench 4.0、DeepSWE v1.1、AutomationBench、APEX-Agents 1.1 等评测中取得有竞争力的得分，官方强调模型在长周期开发任务里的规划、执行与持续迭代能力。

Preview 身份意味着边界

官方说明后训练仍在进行，Preview 版本已具备同尺寸模型中较有竞争力的表现，但后续正式版本会继续优化。生产环境接入前建议先做自有任务集的实测。

定价与开源节奏

千帆平台 API 定价为每百万 token 输入忙时 2 元、闲时 1 元，输出忙时 8 元、闲时 4 元，限时五折。权重 11 月 25 日开源。

ERNIE 5.5 Flash Preview技术原理

架构承自 Base 版本。主干 43 层，其中 1 层稠密 FFN、42 层多路由潜在 MoE;注意力侧 37 层使用重度压缩注意力(HCA)，6 层使用带稀疏索引的多头潜在注意力(MLA + DSA)。HCA 层为每 128 个 token 的块保存一条压缩记录，另保留短窗口存放近期未压缩 token;MLA-DSA 层可按 token 访问完整上下文，用索引器挑取得分最高的历史位置，使单次查询的核心注意力计算成本不随上下文增长而上升。

Latent-Gated Sparse Attention

混合稀疏注意力之外引入低秩门控注意力，改用注意力层本就会生成的低秩 query latent 计算输出门，门控投影参数量减少 75%;虚拟头注意力(VHA)提升表达力，推理时融合进注意力算子，额外开销极小。

Multi-Router Latent MoE

多个独立初始化的路由器共同为专家打分，一个专家被某个路由器强烈看好或获多个路由器认可即有机会入选，降低单一路由器偏差对结果的影响。激活专家数、专家 FLOPs 与通信量与单路由器方案相同。专家在 2048 维潜在空间运算而非完整隐藏维度，调度与组合产生的数据流量及专家 FLOPs 大致减半。每层 512 个路由专家取 top-10.外加 1 个共享专家。

ECHO 多 Token 预测

不额外增加 MTP 模块，复用主干最后一层让模型自身学习预测后续 token，提前规划序列走向。仅做单步 ECHO 预训练，被复用的最后一层还可充当投机解码的草稿模型。

RSI 参与推理优化

首次引入自研 RSI(递归自我改进)技术，由 ERNIE Evolve 参与模型推理优化。该系统用双层循环组织研究，外层提出方向并并行安排研究线，内层完成代码修改、评测与经验沉淀，Director、Selector、Executor、Evaluator、Reviewer 分工协作。在昆仑芯 P800 低时延场景中，历时约 168 小时、经 4 轮方向探索，最优版本生成速度提升至基线的 623.6%。

ERNIE 5.5 Flash Preview功能

代码库级编程：覆盖从真实代码库中修复迭代到完整构建复杂应用的编码场景，支持跨文件重构、长周期开发任务的持续推进。

游戏开发：针对游戏场景做专项训练并适配主流开发工具，可按创意完成游戏设计、功能制作与场景搭建。

3D 建模与设计：加强了对 Blender、CAD 等工具使用的训练，能从文本描述推断物体形状、比例与空间关系，通过程序化建模生成 3D 模型，并整合复用现有资产构建完整场景。

专业知识工作：完成多步工作并交付表格、文档、演示文稿。面向金融、法律等领域构建了 30 万个工作空间、1000 万份参考文件，覆盖 40 多种文件类型。

视频创作：搜集、合成、编排素材并调整画面节奏输出成片，覆盖创意生成、剧本、分镜、视觉素材与配音流程，适配上千个创作 skill。

百万 token 长上下文处理：单次处理长文档、大型代码仓库、多文件知识库，减少分段拼接带来的信息损失。

ERNIE 5.5 Flash Preview应用场景

软件工程与 DevOps：遗留系统迁移、跨语言重构、CI 流程中的自动修复与测试生成，适合链路长、需要多轮验证的任务。

智能体自动化：作为 Agent 底座驱动工具调用、文件操作与多步骤业务流程，配合 1M 上下文承载较长的执行历史。

设计与内容生产：程序化 3D 场景搭建、游戏原型验证、科普与漫剧类视频的批量成片，适合小团队压缩前期制作周期。

金融法律等文档密集行业：多文件交叉比对、尽调材料梳理、合同条款提取，训练环境已覆盖上千个文件构成的企业知识库形态。

本地化部署与研究：11 月 25 日权重开源后，可基于该 checkpoint 做领域适配、指令微调与强化学习，数据敏感团队可评估私有化路径。

ERNIE 5.5 Flash Preview同类产品对比

表格