LFM2.5‑24B‑A2B – LiquidAI面向端侧智能体的稀疏MoE文本大模型

LFM2.5‑24B‑A2B 是 LiquidAI 发布的稀疏混合专家文本推理模型，模型总参数量 24B，每 token 仅激活约 2.45B 参数，上下文窗口达到 131072token，适配本地设备运行智能体任务。经过多阶段预训练与智能体强化学习，原生支持工具调用，输出内置思考标签，提供 FP8、GGUF、MLX、ONNX 多类量化格式，可在 Mac、消费级 GPU、CPU 环境完成推理，侧重本地私有智能体业务落地。

LFM2.5‑24B‑A2B特点

稀疏 MoE 架构设计，总参数量大，单 token 激活参数量低，控制推理算力开销。

131072token 超长上下文，处理长文档、多轮工具交互类任务。

输出内置思考标签，推理过程显性展示，便于调试智能体逻辑。

原生工具调用能力，支持 Python 风格函数调用格式，适配主流智能体框架。

多格式权重发布，覆盖 GPU、AppleSilicon、CPU 跨硬件运行环境。

多语言词表扩充，支持 16 种语言文本输入输出，非拉丁语种处理效果优化。

LFM2.5‑24B‑A2B技术原理

采用 40 层混合网络结构，包含 30 个双门控短卷积模块与 10 层 GQA 注意力模块，MoE 模块每层配置 64 个专家，每次路由选取 4 个专家参与计算。预训练阶段使用 33 万亿通用 token，中期训练补充长上下文、推理、代码、工具轨迹样本，后训练叠加监督微调、多轮在线策略蒸馏与智能体强化学习。词表扩容至 128000.改善多语言编码效果。推理环节兼容多种量化压缩方案，不同硬件加载对应权重格式完成解码。

LFM2.5-24B-A2B项目地址

• HuggingFace模型库：https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

LFM2.5‑24B‑A2B功能

长文本问答与摘要，读取十万 token 级别文档完成信息提取。

工具函数调用，解析工具定义，生成调用指令，解读工具返回结果。

数理与代码推理，处理数学演算、代码编写、简单项目调试。

多轮智能体交互，执行多步骤任务，完成连续工具流转。

多语言文本处理，完成多语种问答、翻译、内容解析。

模型微调适配，基于 Base 版本权重开展监督微调、偏好优化。

LFM2.5‑24B‑A2B应用场景

端侧私有智能体开发，笔记本、工作站本地运行，数据不上传云端。

代码智能体原型搭建，对接 OpenClaw、Hermes 等智能体测试框架。

本地知识库问答，搭配检索组件完成私有长文档解析。

多语言边缘业务，硬件设备部署处理多语种文本任务。

大模型算法实验，开展 MoE 模型、端侧智能体相关对照评测。

私有化业务部署，搭建内网工具调用、文档处理服务。

LFM2.5‑24B‑A2B如何使用

1. 访问 HuggingFace 项目页面，下载对应硬件适配的权重文件，核对文件完整性。

2. 准备运行环境，安装 transformers、accelerate 或 vLLM、SGLang 推理组件。

3. 加载权重，根据设备选择原生 BF16、FP8、GGUF 或者 MLX 格式权重。

4. 构造 ChatML 格式提示，传入用户问题与工具定义，设置温度、重复惩罚等生成参数。

5. 发起推理请求，观察输出的思考片段与工具调用标记，捕获工具指令。

6. 执行外部工具逻辑，将工具结果回传给模型，获取最终回答。

7. 对接智能体框架 Hermes、OpenClaw，配置接口地址，开展长任务测试。