Hacker News · 300+ 热帖· joshcsimmons·· 6 天前精选78
llama-modchip 使 284B DeepSeek-V4-Flash 在 64GB 内存无 GPU 运行
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
要点速览
llama-modchip 发布了一组 ggml/llama.cpp 内核补丁与量化转码工具,将 284.33B 的 DeepSeek-V4-Flash 压缩到 56.56 GiB(1.71 bpw),可在 64 GB 内存的纯 CPU 机器上运行,256K 上下文下峰值内存 57.61 GiB 且无需 swap。
Why it matters
项目给出了在 64 GB 内存上运行 284B MoE 的量化方案与内核补丁,并附各硬件实测数据,可据此判断纯 CPU 部署的可行边界。
来源: Hacker News · 300+ 热帖 · github.com