老旧设备运行大语言模型技术突破

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

smolmaxxing 项目通过定制内核、优化内存使用和从闪存流式传输权重，使大语言模型能在小米电视盒子、iPad Air 等老旧设备上运行。项目的技术不限于特定设备：1-bit 内核只需基本 NEON 支持，闪存流式传输适用于任何 Linux 或 Android 设备，只要设备内存小于模型大小。项目要求使用 Hugging Face 的预制模型文件，并需配合已修补的 llama.cpp 库。在小米电视盒子上，Qwen3.5-2B 模型每秒处理 7.7 个 token，Ling-mini-2.0 模型每秒处理 5.1 个 token。项目强调所有性能数据均在设备上实测。

AI 根据报道生成 · 更新于 1 天前

最新进展11月12日 23:23

smolmaxxing 使大语言模型在老旧设备上运行

报道时间线

沿着报道，了解事件的不同侧面。

11月12日

23:23
Hacker News · 300+ 热帖
smolmaxxing 使大语言模型在老旧设备上运行
smolmaxxing 项目通过定制内核、优化内存使用和从闪存流式传输权重，使大语言模型能在小米电视盒子、iPad Air 等老旧设备上运行。在小米电视盒子上，Qwen3.5-2B 模型每秒处理 7.7 个 token，Ling-mini-2.0 模型每秒处理 5.1 个 token。更多设备支持即将推出。

本事件热度走势

可比范围当前: 3
可比范围峰值: 611月13日 15:00
近 24 小时变化: -51%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。