Edge0 开源 145B 与 120B 端侧模型及推理框架。
Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本上本地运行,峰值内存 29GB、解码速度 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。
推荐理由: 原文给出端侧 145B 模型的实测内存、速度与多项基准对比,可据此判断本地运行前沿级模型的现实边界。
技术方向
跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。
Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本上本地运行,峰值内存 29GB、解码速度 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。
推荐理由: 原文给出端侧 145B 模型的实测内存、速度与多项基准对比,可据此判断本地运行前沿级模型的现实边界。
Google Research 在 Nature 发表多模态 AI 系统 AI-PPG-ACC-HTN,无需袖带校准,仅用消费级智能手表的 PPG 与加速度计数据被动识别高血压状态。
推荐理由: 研究用智能手表 PPG 与加速度计数据被动识别高血压,并以 24 小时动态血压监测为金标准给出筛查与确认两阶段的量化结果。
Phonon 发布可在本地设备运行的小型 TTS 模型,无需服务器和网络,提供约 65 MB 和 75 MB 两个版本,覆盖英语、法语、德语、西班牙语和葡萄牙语。
推荐理由: 原文交代了端侧 TTS 的模型规格、开源许可与榜单表现,可据此判断小模型在本地语音场景的可用边界。
TypeSafeAI 9月中旬发布决策模型 Jev,只输出是/否、评分或概率,上线数周用户破百万,财富500强约三分之一企业开始使用,24天内估值从约 2 亿美元升至 75 亿美元。
推荐理由: 从决策模型爆红到物理世界端侧判断,呈现AI能力分工从生成转向可度量决策的产业变化。
小米开源轻量级文档理解模型 Xiaomi-OCR-0,参数规模 0.8B,权重与推理代码已上线 Hugging Face 和 GitHub,单一模型覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务。
推荐理由: 0.8B 参数在 OmniDocBench v1.6 上位列总榜第二,且权重、MCP 服务与 Skill 工具包一并开放,可据此判断小模型做文档解析的边界。
天数智芯发布基于天枢架构的云端通用GPU天垓300和端侧产品彤央TY1200,并在现场随机出题与英伟达H200、Jetson Thor T5000对比。
推荐理由: 现场随机出题、云端与端侧双线对比英伟达,并给出可复现的实测数字与软件栈落地方式。
天数智芯在 10 月 28 日上海媒体开放日首次公开展示天垓 300 通用 GPU 实机运行,称其为国内首个实测性能达到英伟达 H200 水平的通用 GPU,第三方实测折算单卡整体吞吐为 H200 的 1.05 倍,但具体测试方法、模型负载和工作负载条件尚未公布。
推荐理由: 天数智芯首次公开天垓 300 实机运行,并给出与 H200 的吞吐对比及超节点成本测算,可据此观察国产 GPU 的落地进展。
据 Hugging Face 博客和 MarkTechPost,每个模型均可在单张 GPU 上微调;文本模型 LFM3-1.7B 为 1.73B 参数、256K 上下文窗口,4-bit 量化下约 1 GB 内存即可运行,可部署在手机、笔记本、私有服务器或云端。MarkTechPost 称免费商用上限为年营收 1000 万美元,完整 128K 上下文需 1.6 GB KV 缓存。IT之家称 LFM-1.7B 参数比上代 LFM2.5-2.6B 减少 35%,性能却更优。
推荐理由: 6 个 2B 级开源模型共享同一骨干,并给出与 Qwen3.5-9B 等竞品的逐项对比,可据此判断小模型在端侧与智能体任务上的位置。
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,以 LFM3-1.7B-Base 为共享骨干派生六个 2B 级模型,覆盖文本、视觉、音频、全模态和决策,全部在 Hugging Face 开放权重。
推荐理由: Liquid AI 用同一 2B 级骨干派生六个模态模型,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线。
小米技术委创新产品团队孵化的开源 AI 硬件 HachimoDock 在 2026 观猹大会亮相,硬件自制成本约 150 元。该设备集桌宠、语音操控电脑端 Agent、智能家居联动和自定义组件生成于一体,可将语音意图分发给 Codex、WorkBuddy 等 Agent,并联动小米 Miloco 控制家居。软件源码已在 GitHub 公开,同时提供硬件物料清单、结构件模型和装配教程。
推荐理由: 小米公开了这款桌面 AI 硬件的源码、物料清单和装配教程,读者可据此判断低成本自制 AI 硬件的门槛。
AI 初创公司 Recursive 发布首个语言模型 Flint,开发过程中名为 Eureka Machine 的 AI 系统参与提出想法、搭建、测试并规划后续实验。
推荐理由: Recursive 首次公开由自动化研究系统参与开发的模型,读者可据此观察 AI 辅助研发能走到哪一步。
Liquid AI 发布 LFM2.5-VL-3B,这是在其前代 LFM2-VL-3B 基础上升级的 3.1B 端侧视觉语言模型,已在 Hugging Face 和 Playground 上线。
推荐理由: 原文给出 28 项基准、端侧与 GPU 吞吐数据,可对照同尺寸竞品判断这颗 3B 视觉模型的实际位置。
Liquid AI 发布 LFM2.5-2.6B,这是一个完全在设备端运行的智能体模型,可完成规划、工具调用和多步任务,基础版与后训练版均已上线 Hugging Face。
推荐理由: 原文给出端侧智能体模型的完整训练流程与多基准对比,可据此判断小模型在本地跑智能体的实际位置。