跳到正文
实时
热点事件持续更新

K2-Horizon 发布

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Hugging Face 发布了开源大语言模型 K2-Horizon,包含六个模型从 0.9B 到 375B-A23B,用于通用推理和智能体工作。其 36B-A4B 模型采用创新注意力机制,参数仅为 32B 密态模型的七分之一。发布遵循 LLM360 开源定义,提供完整开发历史、数据、代码及训练框架,并使用约 10T 合成数据进行预训练,其中四款模型共享 22T 预训练语料库,展示规模效应。

AI 根据报道生成 · 更新于 1 小时前

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. Hugging Face Daily Papers
    K2-Horizon:一个开源大语言模型前沿舰队

    K2-Horizon发布六个开源大语言模型,从0.9B密态模型到375B-A23B混合专家模型,在通用推理和智能体工作方面表现优异。其36B-A4B模型结合Mixture-of-Value Attention和软plus注意力门控,参数仅占32B密态模型的七分之一。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。