跳到正文
实时
热点事件历史事件

字节跳动发布了 Qwen3-30B-A3B MoE-SAE 模型

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

字节跳动发布了 Qwen3-30B-A3B MoE-Output Sparse Autoencoders 模型,包含在 Qwen3-30B-A3B 模型第 4、30 和 46 层训练的 TopK 稀疏自编码器(k=100,2^20 潜在变量),每个 SAE 约 17.2 GB,重建方差未解释分数分别为 12.6%、25.1% 和 7.6%。

AI 根据报道生成 · 更新于 13 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. ByteDance Seed · Hugging Face 新模型
    ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE 发布

    ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE 发布,包含在 Qwen3-30B-A3B 模型第 4、30 和 46 层训练的 TopK 稀疏自编码器(k=100,2^20 潜在变量),每个 SAE 约 17.2 GB,重建方差未解释分数分别为 12.6%、25.1% 和 7.6%。