跳到正文
实时
找到 3 条 · 更新于 01:10
10月22日周四
11月13日周五
  1. Hacker News · AI 热帖86

    Edge0 开源 145B 与 120B 端侧模型及推理框架。

    Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本上本地运行,峰值内存 29GB、解码速度 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。

    推荐理由: 原文给出端侧 145B 模型的实测内存、速度与多项基准对比,可据此判断本地运行前沿级模型的现实边界。