跳到正文
实时
找到 7 条 · 更新于 01:10
10月27日周二
10月23日周五
10月22日周四
10月21日周三
  1. OpenHands Blog63

    Recursive Flint 在 OpenHands 上发布:开源模型助力本地高效编码工作流

    Recursive Flint 发布,一款 40 亿参数的混合专家模型,专为本地高效推理设计,每 token 仅激活约 2.5 亿参数,在 M4 Pro MacBook Pro 上实现 125+ tokens/秒,NVIDIA RTX Spark 上达 150+ tokens/秒。OpenHands 作为其首发合作伙伴,支持该模型在本地硬件上运行,为开发者提供开源编码模型选项。

  2. vLLM Blog60

    vLLM 首日支持 Recursive 的 Flint 模型

    vLLM 宣布在 Flint 发布当天提供支持,NVFP4 与 BF16 两个 checkpoint 均可在单张 GPU 上运行,单请求在单张 GB200 上、10 万 token 上下文下解码约 500 tokens/s。

    推荐理由: 原文给出了 Flint 在 vLLM 上的 day-0 支持、单卡吞吐数据和逐项内核优化过程,读者可据此判断小批量推理的工程取舍。