跳到正文
实时
热点事件观察中

发布新模型

2 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

腾讯混元发布了新一代 770B 参数 MoE 大模型 Hy4-base 和 Hy4-FP8,支持文图视理解。每 token 激活 49B 参数,含 78 层(1 层密集+77 层 MoE),每 MoE 层 256 路由专家+1 共享专家,激活 top-8 路由专家+共享专家;内置 3.3B 参数 DFly2 模块支持低成本长上下文推理,上下文窗口达 1M tokens。腾讯混元开源了 Hy4、Hy4-FP8 和预训练的 Hy4 base 模型权重,发布平台包括 Hugging Face、ModelScope 和 GitCode。 Hy4 是腾讯 Hy 团队开发的新一代 MoE 旗舰模型,支持文、图、视理解。

AI 根据报道生成 · 更新于 11 分钟前

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. 腾讯混元 · Hugging Face 新模型
    混元 Hy4-base 发布:770B参数 MoE 大模型支持文图视理解

    混元发布 770B参数 MoE 大模型 Hy4-base,支持文图视理解,每 token 激活 49B 参数,含 78 层(1 dense + 77 MoE),每 MoE 层 256 路由专家+1共享专家,激活top-8路由专家+共享专家;内置 3.3B 参数 DFly2 模块支持低成本长上下文推理,上下文窗口达 1M tokens。

  2. 腾讯混元 · Hugging Face 新模型
    混元 Hy4-FP8 发布:770B参数 MoE 大模型支持文图视理解

    混元发布新一代 770B 参数 MoE 大模型 Hy4-FP8,支持文图视理解,每 token 激活 49B 参数,含 78 层(1 层密集+77 层 MoE),每 MoE 层 256 路由专家+1 共享专家,激活顶 8 路由专家+共享专家;5 层 DFly2 投递器(3.3B 参数)支持长上下文推理,上下文窗口 1M tokens。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。