跳到正文
实时
热点事件历史事件

llama-modchip 使 284B DeepSeek 模型在 64GB 内存纯 CPU 上运行

1 篇报道1 个报道来源10 天前更新

先了解这件事

AI 综述

world-labs 发布 llama-modchip,一组 ggml/llama.cpp 内核补丁、量化转码工具和运行时工具,把 284.33B 的 DeepSeek-V4-Flash 压缩到 56.56 GiB(1.71 bpw),使整个模型连同 256K KV 缓存(VmRSS 57.61–58.9 GiB)可锁定在 64 GB 物理内存中、无需 swap 运行。该工具面向 x86_64(AVX-512/AVX2)和 ARM64(NEON/SVE/Apple Metal)处理器,在系统内存中运行稀疏 MoE 检查点。 默认情况下,每层全部 6 个路由专家(Top-6)都会被评估,不做剪枝;用户可选用 LLAMA_MOE_TOP_K=5 或 4 的运行时参数,以少量困惑度变化换取更高的解码吞吐。未打补丁的 llama.cpp、Ollama 或 LM Studio 会以 unknown tensor type 40 拒绝这些权重;需使用 ./modchip 或 Hugging Face 仓库和 GitHub Release v2.4.0 中提供的独立预编译二进制 llama-server-modchip-linux-x86_64。

AI 根据报道生成 · 更新于 9 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月8日
  1. Hacker News · 300+ 热帖精选
    llama-modchip 使 284B DeepSeek-V4-Flash 在 64GB 内存无 GPU 运行

    llama-modchip 发布了一组 ggml/llama.cpp 内核补丁与量化转码工具,将 284.33B 的 DeepSeek-V4-Flash 压缩到 56.56 GiB(1.71 bpw),可在 64 GB 内存的纯 CPU 机器上运行,256K 上下文下峰值内存 57.61 GiB 且无需 swap。