跳到正文
实时
MarkTechPost· Asif Razzaq·· 16 小时前精选82

阿里发布Qwen4-Max:2.4T MoE、71B激活参数、1M上下文

Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context

要点速览

阿里 Qwen 团队发布 Qwen4 代首个模型 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 主干、每 token 激活 71B,支持文本、图像、视频输入和 1M token 上下文,仅通过 QwenCloud API 等托管渠道提供,不开源权重。

Why it matters

原文给出 Qwen4-Max 的架构改动、16 项基准对比和 API 降价细节,读者可据此判断它在长上下文与智能体任务上的位置。

正文 · AI 翻译

阿里巴巴的Qwen团队发布了其Qwen4系列的第一个模型Qwen4-Max。Qwen4-Max是一个专有的稀疏MoE模型,拥有2.4T参数的主干和每个token 71B的激活参数。它接受文本、图像和视频,并支持1M-token上下文窗口。阿里巴巴还降低了API价格,报告称每任务平均成本下降了62%。

摘要

  • 大小: 2.4T主干参数,每个token 71B的激活参数,加上328B N-gram嵌入参数。1M上下文,最大输出token为393K。
  • 运行于: 仅托管:QwenCloud API、Token计划、Qwen Studio、QwenWork和Qoder。没有开放权重,因此无法自行托管或量化构建。
  • 性能: 与Qwen3.8-Max相比有大幅提升。在代理工作上与前沿模型具有竞争力,但在硬编码和视觉方面稍显落后。
  • 最佳: HLAB-Vals-1.1(法律代理工作):21.3,而次优模型Kimi K3.1为11.7。

Qwen4-Max是什么?

Qwen4-Max是阿里巴巴的多模态MoE语言模型,专为长时程专业工作而构建。本月仅开放了Token计划独家预览。

Qwen4-Max架构是如何工作的?

Qwen4在三个方面升级了稀疏MoE设计:注意力机制、残差连接和嵌入。

  • QDN + Qwen稀疏注意力(QSA): 每个QSA层与3个Gated DeltaNet层配对。这些将历史信息压缩到固定大小的状态中。QSA然后使用轻量级索引器在微块粒度级别选择相关上下文。这降低了长序列上的注意力和索引成本。
  • 门控残差(GR): 4个并行残差分支使用动态读写门。目标是更强的信息流和更好的训练稳定性。
  • N-gram嵌入: 328B额外参数在层2提供局部token模式的查找。这增加了容量,而计算开销很小。

阿里巴巴报告称,在2.4T规模的预训练运行中没有出现性能损失峰值。在内测中,Qwen4-Max-Base比Qwen3.8-Max-Base每字节比特数低5%至13%。它这样做的同时激活了25%更少的参数。

Qwen4-Max在基准测试中的表现如何?

阿里巴巴的对比图表涵盖了16个基准测试。竞争对手包括Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra和Kimi K3.1。几个分数来自第三方排行榜。在发布时,没有独立复现。

Qwen4-Max在16个基准测试中的4个排名第一:

  • HLAB-Vals-1.1(法律代理): 21.3,而Kimi K3.1为11.7,Opus 5.5为9.2。
  • 代理最后考试v1.1: 46.7,而Opus 5.5和Kimi K3.1分别为43.4。
  • BioMysteryBench: 85.0,而GPT-6.1 Sol为84.4。
  • DeepSWE v1.1: 75.7,而Kimi K3.1为75.5。

Claude Opus 5.5领先16个图表中的7个。Qwen4-Max在编码和视觉方面明显落后:

  • ProgramBench: 31.5,而Opus 5.5为65.0。
  • Terminal-Bench 4.0: 48.5,而Kimi K3.1为67.2。
  • 图表绘制: 54.2,而GPT-6 Astra为71.1。
  • 人类最后考试: 51.7,而Opus 5.5为59.8。

在阿里巴巴自己的Work360基准测试中,Qwen4-Max得分为52.69,而Qwen3.8-Max为47.74。Work360涵盖了26个顶级域名和721个专业领域。

为什么Qwen4-Max运行成本更低?

两项东西叠加:更少的代币和更低的费用。在 Work360 上,Xhigh 努力程度下代币使用量下降约 24%,High 努力程度下下降 35%。在 Terminal-Bench 4.0 上,下降幅度约为 48% 和 49%。平均 Work360 每个任务成本从 $4.43 降至 $1.67,削减了 62%。

列表价格也下降了。输入是 $1.50 每百万代币,从 $2 的 Qwen3.8-Max 降至。输出是 $4.50,从 $6 降至。隐式缓存读取下降 70%,从 $0.25 降至 $0.075。

Qwen4-Max 与竞争对手

指标Qwen4-MaxQwen3.8-MaxClaude Opus 5.5GPT-6.1 SolKimi K3.1 Pro
总参数2.4T 主干 + 328B N-gram 嵌入2.4T未公布未公布2.8T
活跃参数71B未公布(博客暗示约 95B)未公布未公布104B
上下文1M1M1M1,050,0001,048,576
最大输出393K131K128K128K未公布
输入模态文本、图像、视频未公布文本、图像文本、图像文本、图像
权重专有,仅 API未公布专有专有开放(Kimi K3.1 Pro 许可证)
输入 / 输出价格(每 1M)$1.50 / $4.50$2 / $6$4 / $20$2 / $10$2 / $10
缓存输入(每 1M)$0.075$0.25$0.20$0.10$0.20
DeepSWE v1.1*75.769.374.275.275.5
Terminal-Bench 4.0*48.538.959.656.167.2
Humanity’s Last Exam*51.743.959.854.051.1
ProgramBench*31.528.065.052.525.0
HLAB-Vals-1.1*21.315.49.26.311.7

*来自阿里巴巴的 Qwen4-Max 图表 的分数。Qwen3.8 列是 Qwen3.8-Max-0902。图表将 Kimi 标记为“Kimi K3.1”。Moonshot 自己的卡报告 Kimi K3.1 Pro 的 Terminal-Bench 4.0 为 65.7,Opus 5.5 为 66.4。

开发者如何使用 Qwen4-Max?

模型 ID 在 QwenCloud 上是 qwen4-max。API 与 OpenAI 兼容和 Anthropic 兼容的客户端一起工作。支持的功能包括函数调用、结构化输出、上下文缓存、批量处理、网络搜索和微调。默认速率限制是每分钟 5,000,000 个代币。思考模式通过 enable_thinking 切换。

订阅访问通过 Token Plan 进行。

关键要点

  • 2.4T MoE 主干,每个代币仅 71B 活跃。
  • 新的 QSA 注意力、门控残差和 328B N-gram 嵌入。
  • 在 16 个图表基准中的 4 个上领先,由 HLAB-Vals-1.1 以 21.3 领先。
  • $1.50/$4.50 每百万代币,缓存输入下降 70%。
  • 弱点:ProgramBench (31.5) 和 Terminal-Bench 4.0 (48.5)。

查看 官方 Qwen4-Max 博客, QwenCloud 模型页面 和 Token Plan 定价页面。您可以通过我们的 GPULeaderboard.com 浏览器扩展 查看部署选项和规格。

此外,请随时关注我们在 Twitter 上的动态,别忘了加入我们的 15 万+ML SubReddit 并订阅 我们的 Newsletter。等等!你使用 Telegram 吗?现在你也可以加入我们使用 Telegram。

需要与我们合作推广您的 GitHub 仓库 OR Hugging Face 页面 OR 产品发布 OR 网络研讨会等?联系我们

文章 Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context 首次出现在 MarkTechPost。

来源: MarkTechPost · marktechpost.com