跳到正文
实时
Hacker News · 300+ 热帖· joshcsimmons·· 6 天前精选78

llama-modchip 使 284B DeepSeek-V4-Flash 在 64GB 内存无 GPU 运行

Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU

要点速览

llama-modchip 发布了一组 ggml/llama.cpp 内核补丁与量化转码工具,将 284.33B 的 DeepSeek-V4-Flash 压缩到 56.56 GiB(1.71 bpw),可在 64 GB 内存的纯 CPU 机器上运行,256K 上下文下峰值内存 57.61 GiB 且无需 swap。

Why it matters

项目给出了在 64 GB 内存上运行 284B MoE 的量化方案与内核补丁,并附各硬件实测数据,可据此判断纯 CPU 部署的可行边界。

来源: Hacker News · 300+ 热帖 · github.com