实时
llama-modchip 使 284B DeepSeek 模型在 64GB 内存纯 CPU 上运行
热点事件历史事件
llama-modchip 使 284B DeepSeek 模型在 64GB 内存纯 CPU 上运行
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
world-labs 发布 llama-modchip,一组 ggml/llama.cpp 内核补丁、量化转码工具和运行时工具,把 284.33B 的 DeepSeek-V4-Flash 压缩到 56.56 GiB(1.71 bpw),使整个模型连同 256K KV 缓存(VmRSS 57.61–58.9 GiB)可锁定在 64 GB 物理内存中、无需 swap 运行。该工具面向 x86_64(AVX-512/AVX2)和 ARM64(NEON/SVE/Apple Metal)处理器,在系统内存中运行稀疏 MoE 检查点。 默认情况下,每层全部 6 个路由专家(Top-6)都会被评估,不做剪枝;用户可选用 LLAMA_MOE_TOP_K=5 或 4 的运行时参数,以少量困惑度变化换取更高的解码吞吐。未打补丁的 llama.cpp、Ollama 或 LM Studio 会以 unknown tensor type 40 拒绝这些权重;需使用 ./modchip 或 Hugging Face 仓库和 GitHub Release v2.4.0 中提供的独立预编译二进制 llama-server-modchip-linux-x86_64。
AI 根据报道生成 · 更新于 9 天前
最新进展11月8日 18:22
llama-modchip 使 284B DeepSeek-V4-Flash 在 64GB 内存无 GPU 运行报道时间线
沿着报道,了解事件的不同侧面。
11月8日
- Hacker News · 300+ 热帖精选llama-modchip 使 284B DeepSeek-V4-Flash 在 64GB 内存无 GPU 运行
llama-modchip 发布了一组 ggml/llama.cpp 内核补丁与量化转码工具,将 284.33B 的 DeepSeek-V4-Flash 压缩到 56.56 GiB(1.71 bpw),可在 64 GB 内存的纯 CPU 机器上运行,256K 上下文下峰值内存 57.61 GiB 且无需 swap。