跳到正文
实时
IT之家 · AI·· 47 分钟前65

寒武纪完成商汤 SenseNova Loop-9B Day 0 适配,打通新型循环计算架构推理链路。

寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路

要点速览

寒武纪完成商汤 SenseNova Loop-9B 模型 Day 0 适配,基于 vllm_mlu 支持约 9B 参数的 Loop 结构与 mHC 路由,显存需求低至 10 GB。适配围绕 Loop 层展开、MLU 算子复用及 mHC 性能优化,支持多模态推理。

正文

IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。

图片

寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。

据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务,进一步优化模型在 Agent、代码与数据分析任务中的表现,持续探索循环计算的能力边界。

寒武纪表示,针对 SenseNova Loop-9B 的架构特点,寒武纪基于 vllm_mlu 完成 Day 0 适配,打通模型在 MLU 平台上的推理链路。本次适配主要围绕 Loop 循环结构、MLU 算子适配、mHC 路由优化三个方向展开。IT之家附三大方向具体适配内容如下:

1. Loop 循环层展开:静态展开计算,复用标准推理机制

Loop 循环结构是 SenseNova Loop-9B 模型适配的核心技术点之一。SenseNova Loop-9B 使用约 9B 的模型参数,通过循环执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算。

正是得益于 Loop 的高效循环结构,模型官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10 GB 内,能显著拓宽可部署的硬件范围,有助于降低本地与私有化部署门槛。

为了兼容 vLLM 现有的模型执行与调度机制,寒武纪采用静态展开方案,将循环计算转换为 56 个顺序执行的层,使模型能够复用 vLLM 标准调度和 KV cache 机制。在实现过程中,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。

2. MLU 算子适配:复用成熟算子实现,支持多模态推理

针对模型中的 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪将其替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,复用现有算子能力,从而快速实现模型适配。

在多模态部分,复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,实现图像输入处理及视觉特征提取,打通文本与图像输入场景下的推理链路。

3. mHC 路由性能优化:融合归一化计算,降低 Kernel Launch 开销

mHC 是模型循环计算中的重要组成部分,其双流信息路由涉及归一化及 Sinkhorn 迭代计算,对算子执行效率提出了要求。

针对 mHC 路由计算,寒武纪进行了专项优化:

  • 归一化优化: 通过 TMO 融合接口实现归一化计算,减少算子执行开销。

  • Sinkhorn 优化:使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 带来的调度开销。

相关阅读:

来源: IT之家 · AI · ithome.com