smolmaxxing 使大语言模型在老旧设备上运行

smolmaxxing 项目通过定制内核、优化内存使用和从闪存流式传输权重，使大语言模型能在小米电视盒子、iPad Air 等老旧设备上运行。在小米电视盒子上，Qwen3.5-2B 模型每秒处理 7.7 个 token，Ling-mini-2.0 模型每秒处理 5.1 个 token。更多设备支持即将推出。