Liquid AI 发布端侧智能体模型 LFM2.5-2.6B

今天，我们发布了LFM2.5-2.6B，一个完全在设备上运行的代理模型。它足够小，可以在手机上运行，足够快，可以在CPU上保持响应，足够强大，可以支持代理工作流程：规划、调用工具和解决多步任务。

与依赖云API的代理不同，本地代理为您提供免费的推理、低延迟和真正的隐私。去除每个token的成本改变了开发者构建的方式：代理现在可以在本地硬件上大规模并行化运行，运行消耗数百万token的背景任务而没有任何边际成本。当token消耗不再是限制时，代理可以在全天候任何地方运行。

基础（LFM2.5-2.6B-Base）和预训练（LFM2.5-2.6B）模型今天可以在Hugging Face上获得。查看我们的文档，了解如何在本地运行和微调它们。

训练

LFM2.5-2.6B是一个为代理工作负载专门训练的2.6B参数模型。它在约34T token上进行了预训练。为了更好地支持LFM2.5中的非拉丁脚本，我们将词汇量增加到128K，通过原地扩展现有的分词器而不是从头开始重新训练模型，使用与LFM2.5-8B-A1B相同的程序。训练中期包括一个专门的128K上下文扩展阶段，以便模型能够处理代理工作负载所需的长时间输入。

示意图总结了将LFM2.5-2.6B-Base转换为代理式LFM2.5-2.6B的四阶段预训练管道：监督微调（SFT）、教师专业化、多领域在线策略蒸馏（MOPD）和代理强化学习（代理RL）。

监督微调。预训练开始于两个连续的SFT阶段：首先覆盖所有领域的广泛范围，然后针对优先技能如代理任务、推理和工具使用进行定向塑造。在两个阶段中，SFT训练混合物大约是用于LFM2.5-8B-A1B的七倍，更侧重于代理任务，如工具使用、网络搜索、软件工程和代理跟踪。最终的SFT检查点既作为学生模型，也作为训练一组专家教师以供后续蒸馏阶段的初始化检查点。

教师专业化。从共享的SFT检查点开始，我们通过在重新加权混合物上进行的专注SFT轮次训练每个目标领域的专家，然后通过具有可验证奖励的强化学习（RLVR）进行训练。产生的专家涵盖了指令遵循、数学、知识（包括幻觉控制）、代码、工具使用和长上下文。单独训练它们允许每个专家为其自己的领域进行深度优化，使用定向数据和奖励，而不会受到来自不相关目标的竞争更新。

MOPD。然后，我们使用这些专家作为教师，并将他们的能力蒸馏到一个单一的学生模型中。与离线策略蒸馏不同，学生从另一个模型生成的轨迹中学习，MOPD允许学生在自己的策略下进行滚动。每个提示都被路由到其对应领域的教师，教师用token级反馈监督学生的响应。

因为教师模型和学生模型都从同一个 SFT 检查点分支出来，所以它们的反馈足够接近学生模型的分布，能够在不破坏训练稳定性的情况下指导学习。这种密集的、路由的监督帮助学生模型快速收敛，同时将领域专业化的能力集成到一个模型中。

代理式 RL。最后阶段教会模型在真实的代理环境中运行。我们通过真实的代理框架运行多轮代理式 RL，模型在其中处理现实的生产力任务，评估其研究、写作、编码、数据分析、管理文档、使用外部工具和自动化多步工作流的能力。

在训练期间，我们采样一个任务，并随机选择一个相应的框架。每次推进都在一个专用的沙盒中运行，拥有自己的运行时。我们使用 GRPO 进行优化，使用基于结果的奖励，该奖励结合了 LLM 作为裁判的评分标准、程序化检查和硬安全门。直接在 Hermes Agent、OpenClaw 和其他框架中进行训练，使模型接触到它们的工具、系统提示和交互模式，帮助它在代理环境中可靠地工作。

训练管道将模型优化、推理和环境执行分离为不同的组件。训练引擎 (FSDP) 优化模型，而 推进引擎 (SGLang) 使用最新的策略生成动作。RL 框架 (verl) 通过启动推进、收集轨迹和奖励以及更新模型来协调训练循环。

动作在 沙盒服务 中执行，其中 黑盒框架 托管代理（例如 OpenClaw 或 Hermes Agent），并通过工具调用、代码执行和其他特定于任务的操作协调与任务环境的交互。通过 框架代理，我们可以将代理框架视为黑盒，无需修改，同时透明地捕获所需的标记级轨迹，以重建和验证 RL 训练样本。这包括线性轨迹一致性、标记不匹配检查和推进路由重放 (R3)。

基准测试

我们在涵盖 STEM、指令遵循、工具使用和代理工作流的基准测试中评估了 LFM2.5-2.6B。尽管是对比中最小的模型，但它具有竞争力，并且经常优于几乎大四倍的模型。

LFM2.5-2.6B 在每个指令遵循基准测试中都领先，并且在几乎每个工具使用基准测试中都领先，仅在 BFCLv4 上落后于 Qwen3.5-9B。在代理任务中，它在各个方面都优于两个 Gemma 模型，并且与 Qwen 模型密切竞争。在 STEM 方面，它在 AA-Omniscience-Public 上领先，并且在数学方面仅在 Qwen3.5-9B 后面。编码是唯一一个较大模型保持优势的领域。

这些结果表明 LFM2.5-2.6B 非常适合边缘设备上的高容量代理工作负载，尤其是在速度、隐私和本地部署很重要的情况下。对于更复杂的代理任务或编码密集型工作负载，较大的模型可能仍然是更好的选择。¹。

快速推理无处不在

LFM2.5-2.6B 配备了覆盖推理生态系统的开箱即用支持：

• llama.cpp — GGUF 检查点用于高效的边缘推理
• MLX — 专为 Apple Silicon 优化的推理
• vLLM — GPU 加速的生产吞吐量服务
• SGLang — GPU 加速的生产吞吐量服务
• ONNX — 跨平台推理，支持多种加速器

CPU 推理。 由于 LFM2 架构的高效性，LFM2.5-2.6B 是我们测试中读取提示和生成答案最快的模型，在 M5 Max 上解码速度为 220 个 token/s，在 Ryzen AI Max+ 395 上为 113 个 token/s，同时保持在 2.5 GB 以下。它甚至在手机上也能保持 30 个 token/s 的速度，因此一个功能强大的代理可以立即并在您自己的设备上私密运行。

GPU 推理。 我们还使用单个 NVIDIA H100 SXM5 GPU 在持续负载设置下测量输出吞吐量（总输出 token / 墙上时间）：在每个并发级别上，我们持续保持目标数量的正在处理的请求，并立即替换每个完成的请求。

我们使用 SGLang 0.5.16 对每个模型进行基准测试，1024 个输入 token，最多 256 个输出 token，在 BF16 中，每个并发级别平均运行 3 次。LFM2.5-2.6B 是其尺寸类别中最快的模型，在高并发下达到近 15K 个输出 token/秒，在单个 H100 上每天约处理 1.3B 个 token。

使用 LFM2.5-2.6B 运行本地代理

LFM2.5-2.6B 的尺寸、速度和功能使其成为边缘设备上高容量代理工作负载的理想选择。在下面的演示中，我们在手机上将其运行在 Liquid Agent 容器中，它完全在设备上规划、调用工具并处理实际任务，没有任何云 API 调用。

设置您自己的本地代理只需两步。首先，在 OpenAI 兼容的端点后面提供 LFM2.5-2.6B，然后让您的代理容器指向它。它开箱即用地与流行的容器如 Hermes Agent、OpenClaw 和 Pi 兼容。查看 我们的指南，了解如何在本地提供模型并将其与您选择的代理容器连接。

开始使用

今天就开始使用 LFM2.5-2.6B 和 LFM2.5-2.6B-Base，它们可在 Hugging Face 上获得。

使用 LFM2.5，我们正在实现我们在任何地方运行 AI 的愿景。这些模型是：

• 开放权重 — 无限制地下载、微调和部署
• 开箱即用快速 — 本地支持 llama.cpp、MLX 和 vLLM，覆盖 Apple、AMD、Qualcomm 和 NVIDIA 硬件
• 完整系列 — 从用于自定义的基础模型到专门的音频和视觉变体，一种架构覆盖多种用例

我们迫不及待想看到您能创造出什么。

在 Hugging Face 上下载阅读我们的文档在 Playground 上试用

引用

请引用本文：

¹ 所有模型都使用 vLLM 和以下生成参数进行了评估：

• BFCLv4: 温度 = 0.001，最大输出 token = 4096。
• ToolSandBox: 温度 = 0，最大输出 token = 1024。
• PinchBench: 温度 = 0.6，最大输出 token = 8192.
• τ³-Bench, Claw-Eval: 温度 = 0, 无输出限制。Qwen 模型使用温度 = 0.6（根据推荐设置），因为贪婪解码由于死循环而降低性能。
• 其他评估: 温度 = 0.6, 最大输出 token 数 = 32768.