ELF – ELF及其MIT团队推出的首个连续扩散语言模型

ELF(Embedded Language Flows，嵌入式语言流)是由计算机视觉领域顶级科学家何恺明及其MIT团队在2026年5月推出的首个连续扩散语言模型。

它打破了以GPT为代表的“预测下一个词”的自回归范式，证明了连续扩散模型在文本生成领域不仅可行，而且在效率和资源消耗上具备巨大优势。

ELF核心理念

1. 全程连续去噪：它把整个文本生成过程完全保留在连续的语义嵌入（embedding）空间中进行。模型从一团纯高斯噪声出发，逐步去噪，还原出干净的连续向量。
2. 最后一步离散化：只有在去噪过程的最后一步，ELF 才会将处理好的连续向量“翻译”成具体的离散 token（词汇）。

• 极小的参数规模：仅有 1.05亿（105M） 参数。
• 极少的训练数据：仅使用了约 450亿（45B） 个 token 进行训练。相比之下，同级别的离散扩散模型（如 MDLM、Duo 等）通常需要 5000亿（500B+）以上的token，ELF的数据量不足对手的十分之一。
• 极快的推理速度：仅需 32步 采样就能生成高质量文本。而主流离散扩散模型往往需要运行 1024 步才能达到相近的效果。
• 出色的生成质量：在OpenWebText基准测试中，ELF的生成困惑度（Generative Perplexity，越低越好）低至 24，文本自然度超越了众多主流模型。

ELF技术实现与性能表现

• 技术框架：ELF 采用了在图像生成领域大火的流匹配（Flow Matching）框架。它使用 T5 预训练编码器将文本转化为连续嵌入，并在推理时引入了“无分类器引导（CFG）”和“自条件（Self-Conditioning）”机制，进一步提升了生成质量。
• 多任务能力：除了基础的文本生成，ELF在WMT14 机器翻译和 XSum文本摘要等条件生成任务上也表现稳定，不仅超越了现有的扩散语言模型，甚至压制了一些同等规模的自回归基线模型。

行业意义

1. 打破范式迷信：证明了语言模型不一定要走 GPT 的自回归老路，扩散模型在语言领域同样大有可为。
2. 降本增效新路径：展示了通过创新的架构设计（而非单纯堆砌参数和数据），也能实现高质量的语言生成，为在普通硬件上部署高质量生成模型提供了潜在可能。