Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

今天，我们发布 LFM2.5-24B-A2B，这是一个拥有 240 亿参数、仅 20 亿激活参数的推理模型，专为设备端快速、私密的智能体而打造。它是 LFM2.5 系列中最大也是最后一个模型，该系列如今跨越两个数量级：从 LFM2.5-230M 到 LFM2.5-24B-A2B。

LFM2.5-24B-A2B 在八项智能体与工具使用基准中的五项上，与 Qwen3.6-35B-A3B 不相上下，而后者的总参数和激活参数均多出约 50%，在 LiveClaw 上得分为 48.09 对 38.19，在 AutomationBench 上为 27.69 对 8.72。 由于每个 token 仅激活 20 亿参数，它在设备端运行速度比同类 MoE 最高快 1.7 倍，在 Apple M5 Max 上达到 184 tokens/s，在单块 NVIDIA B300 GPU 上输出速度最高可达 21K tokens/s。

基础模型（LFM2.5-24B-A2B-Base）和后训练模型（LFM2.5-24B-A2B）均为开放权重，即日起可在 Hugging Face 和 我们的 Playground 上获取。请查看我们的 文档，了解如何在本地运行和微调它。

自 LFM2-24B-A2B 以来的变化

LFM2.5-24B-A2B 建立在我们此前发布的 LFM2-24B-A2B 之上，扩展了词表和上下文窗口，扩大了预训练规模，并进行了大规模强化学习。与其前身不同，LFM2.5-24B-A2B 是一个纯推理模型，会在给出最终答案前生成显式的思维链。我们采用这一策略，是为了利用其高解码速度并提升答案质量。

架构。它保留了 40 层、每个 MoE 块 64 个专家且采用 top-4 路由，以及门控短卷积与 GQA 的相同混合结构。两处架构变化是上下文窗口从 32,768 扩展到 131,072 个 token，以及原地词表扩展，将词表从 65K 翻倍至 128K 个 token，以改善非拉丁语系的 token 化。

预训练规模从 17T tokens 扩大到 33T tokens。

中期训练分为两个阶段。第一阶段在 32K 上下文下运行 2T tokens，使用经过筛选的较高质量数据，权重偏向推理、数学、代码、指令遵循和多语言文本。第二阶段在 131K 上下文下运行 300B tokens，权重偏向长上下文数据。工具调用和多轮轨迹贯穿两个阶段，为模型应对智能体工作负载做好准备。

后训练通过如下图所示的五阶段流水线，将 LFM2.5-24B-A2B-Base 转变为智能体模型 LFM2.5-24B-A2B：(1) 监督微调（SFT），(2) 教师专业化，(3) 非智能体和 (4) 智能体多域同策略蒸馏（MOPD），以及 (5) 智能体强化学习（Agentic RL），在智能体运行框架内训练模型，例如 OpenClaw、Hermes Agent、Pi 和 OpenCode。

在教师专业化期间，LFM2.5-24B-A2B 表现出众所周知的奖励黑客行为：在代码仓库的 git 历史中，或在 GitHub、PyPI 和 Hugging Face 等平台上搜索最终答案。更令人意外的是，它甚至发现自己身处沙箱之中，如下方示例所示。

这种行为看似涌现，但或许可以用训练数据中包含类似模式来解释。我们为此收紧了沙箱，下文报告的所有结果均来自封闭的评估环境。

基准测试

我们在 16 项基准测试中评估了 LFM2.5-24B-A2B，涵盖工具使用与智能体工作流、知识、指令遵循、数学和编程。尽管其总参数量和激活参数量都是最小的，但它与总参数量和激活参数量多出约 50% 的更大 MoE 模型（如 Qwen3.6-35B-A3B）相比具有竞争力，且常常表现更优。

LFM2.5-24B-A2B 在八项工具使用与智能体基准测试中的五项（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）领先或与竞争对手持平，其中在 AutomationBench 上优势最大，得分超过第二名模型的三倍。它还在全部三项指令遵循基准测试中领先。更大的模型在 GPQA Diamond、HLE 和 AA-Omniscience 等知识密集型基准测试，以及 SWE-Bench Verified (OpenCode) 和 SciCode 等编程基准测试上仍保持优势。

这些结果使 LFM2.5-24B-A2B 成为需要在你的设备上进行推理、调用工具并可靠运行的智能体的理想基础。对于知识密集型工作负载，我们建议将 LFM2.5-24B-A2B 与检索或网络搜索搭配使用，这能充分发挥其工具调用的优势。

随处快速推理

LFM2.5-24B-A2B 在发布首日即获得整个推理生态系统的支持：

• llama.cpp — 用于高效边缘推理的 GGUF 检查点
• MLX — 针对 Apple Silicon 优化的推理
• vLLM — 面向生产吞吐量的 GPU 加速服务
• SGLang — 高性能 GPU 服务框架
• ONNX — 跨多种加速器的跨平台推理

所有运行数据均在 Pipette 上采集，这也是 Liquid AI 公开设备性能数据背后的同一基准测试基础设施。

边缘推理。得益于高效的 LFM2 架构，LFM2.5-24B-A2B 是所比较的 MoE 模型中读取提示和生成答案最快的。它在 Apple M5 Max 上解码速度达 184 tokens/s，在 AMD Ryzen AI Max+ 395 上达 114 tokens/s，比第二名模型快至多 1.7 倍，同时占用内存最少。

GPU 推理。为展示 LFM 架构的竞争力，我们将 GPU 推理吞吐量与其他规模相近的 MoE 模型进行比较。我们在单块 NVIDIA B300 GPU 上使用持续负载设置测量 GPU 吞吐量（总输出 token 数 / 实际耗时）：在每个并发级别下，我们持续维持目标数量的在途请求，每完成一个请求就立即补充。

我们使用 SGLang 0.5.22、1,024 个输入 token、最多 256 个输出 token，以 BF16 精度对每个模型进行基准测试。LFM2.5-24B-A2B 是其规模级别中最快的模型，在高并发下达到每秒超过 21K 输出 token。

使用 LFM2.5-24B-A2B 运行本地智能体

LFM2.5-24B-A2B 的规模、速度和能力使其成为在你自己的硬件上持续运行的智能体的绝佳选择。在下面的演示中，我们在 M5 Max MacBook Pro 上的 Hermes Agent 中运行它，它完全在设备端规划、调用工具并完成一项真实任务，无需任何云端 API 调用。

这个演示的重点不在于单个工具，而在于工具调度循环在消费级硬件上感觉是交互式的：提问、提议、确认、运行、重复，每次调度都远低于一秒，拥有完整的审计追踪，且你的数据永远不会离开设备。查看我们的本地 agent 指南，了解如何在本地服务该模型，并将其与你选择的 agent 框架连接。

开始使用

立即使用 LFM2.5-24B-A2B 开始构建，已在 Hugging Face 上提供。

如需 API 推理，你也可以注册 Liquid Console，你将获得 2 美元额度以开始使用。该模型定价为每 100 万输入 token 0.10 美元（缓存输入为 0.05 美元），每 100 万输出 token 1.00 美元。

借助 LFM2.5，我们正在实现 AI 随处运行的愿景。这些模型：

• 开放权重 — 下载、微调并部署，无任何限制
• 从第一天起就快 — 原生支持 llama.cpp、MLX 和 vLLM，覆盖 Apple、AMD、Qualcomm 和 Nvidia 硬件
• 完整的家族 — 从用于定制的基座模型到专门的音频和视觉变体，一种架构覆盖多种用例

我们迫不及待想看到你构建的作品。

在 Hugging Face 上下载使用 LFM2.5-24B-A2B 在本地运行你选择的框架与我们的 API 集成

引用

如需引用，请使用以下参考文献或 BibTeX：

_{*所有模型均使用 vLLM 及以下生成参数进行评估：}

• _{AutomationBench： temperature = 0.6，top_p = 0.95，无最大输出 token 限制（受模型上下文窗口限制）。}
• _{BFCLv4：temperature = 0.001，最大输出 token = 4096。}
• _{ToolSandbox：temperature = 0，最大输出 token = 1024；用户模拟器：GPT-4o-2024-08-06，temperature = 0，最大输出 token = 1024。}
• _{LiveClaw：temperature = 1.0（vLLM 默认值；agent 未设置 temperature），最大输出 token = 8192。}
• _{τ³-Bench Banking：官方用户模型（GPT-5.2，低推理努力）配合默认 BM25 检索，temperature = 0，每轮最大输出 token = 16384。}
• _{WebArena： temperature = 0.6，top_p=0.95，max_turns=40（允许的浏览器操作次数），无最大输出 token 限制（受模型上下文窗口限制））}
• _{其他评估：temperature = 0.6，最大输出 token = 32768。}