跳到正文
实时
热点事件历史事件

字节跳动发布跨层转码器CLT

1 篇报道1 个报道来源14 天前更新

先了解这件事

AI 综述

ByteDance Seed发布了为Qwen3-8B-Base设计的跨层转码器CLT,包含36层×32,768潜在变量,参数量94.2B,总大小377 GB,支持fp32推理。该模型通过联合评分所有层中的360个最高激活潜原来编码,解码时重建原始MLP输出。模型权重和代码在Apache License 2.0下开源,版权为2026年ByteDance和/或其关联公司。

AI 根据报道生成 · 更新于 14 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. ByteDance Seed · Hugging Face 新模型
    ByteDance-Seed/Cross-Layer-TopK-CLT 发布:为 Qwen3-8B-Base 设计的跨层转码器

    ByteDance-Seed 发布跨层转码器(CLT)为 Qwen3-8B-Base,包含 36 层 × 32,768 潜在变量,参数量 94.2B,总大小 377 GB,支持 fp32 推理,通过联合评分所有层中的 360 个最高激活潜原来编码,解码时重建原始 MLP 输出。