阿里发布Qwen4-Max:2.4T MoE、71B激活参数、1M上下文
Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context

阿里 Qwen 团队发布 Qwen4 代首个模型 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 主干、每 token 激活 71B,支持文本、图像、视频输入和 1M token 上下文,仅通过 QwenCloud API 等托管渠道提供,不开源权重。
原文给出 Qwen4-Max 的架构改动、16 项基准对比和 API 降价细节,读者可据此判断它在长上下文与智能体任务上的位置。
阿里巴巴的Qwen团队发布了其Qwen4系列的第一个模型Qwen4-Max。Qwen4-Max是一个专有的稀疏MoE模型,拥有2.4T参数的主干和每个token 71B的激活参数。它接受文本、图像和视频,并支持1M-token上下文窗口。阿里巴巴还降低了API价格,报告称每任务平均成本下降了62%。
摘要
- 大小: 2.4T主干参数,每个token 71B的激活参数,加上328B N-gram嵌入参数。1M上下文,最大输出token为393K。
- 运行于: 仅托管:QwenCloud API、Token计划、Qwen Studio、QwenWork和Qoder。没有开放权重,因此无法自行托管或量化构建。
- 性能: 与Qwen3.8-Max相比有大幅提升。在代理工作上与前沿模型具有竞争力,但在硬编码和视觉方面稍显落后。
- 最佳: HLAB-Vals-1.1(法律代理工作):21.3,而次优模型Kimi K3.1为11.7。
Qwen4-Max是什么?
Qwen4-Max是阿里巴巴的多模态MoE语言模型,专为长时程专业工作而构建。本月仅开放了Token计划独家预览。
Qwen4-Max架构是如何工作的?
Qwen4在三个方面升级了稀疏MoE设计:注意力机制、残差连接和嵌入。
- QDN + Qwen稀疏注意力(QSA): 每个QSA层与3个Gated DeltaNet层配对。这些将历史信息压缩到固定大小的状态中。QSA然后使用轻量级索引器在微块粒度级别选择相关上下文。这降低了长序列上的注意力和索引成本。
- 门控残差(GR): 4个并行残差分支使用动态读写门。目标是更强的信息流和更好的训练稳定性。
- N-gram嵌入: 328B额外参数在层2提供局部token模式的查找。这增加了容量,而计算开销很小。
阿里巴巴报告称,在2.4T规模的预训练运行中没有出现性能损失峰值。在内测中,Qwen4-Max-Base比Qwen3.8-Max-Base每字节比特数低5%至13%。它这样做的同时激活了25%更少的参数。
Qwen4-Max在基准测试中的表现如何?
阿里巴巴的对比图表涵盖了16个基准测试。竞争对手包括Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra和Kimi K3.1。几个分数来自第三方排行榜。在发布时,没有独立复现。
Qwen4-Max在16个基准测试中的4个排名第一:
- HLAB-Vals-1.1(法律代理): 21.3,而Kimi K3.1为11.7,Opus 5.5为9.2。
- 代理最后考试v1.1: 46.7,而Opus 5.5和Kimi K3.1分别为43.4。
- BioMysteryBench: 85.0,而GPT-6.1 Sol为84.4。
- DeepSWE v1.1: 75.7,而Kimi K3.1为75.5。
Claude Opus 5.5领先16个图表中的7个。Qwen4-Max在编码和视觉方面明显落后:
- ProgramBench: 31.5,而Opus 5.5为65.0。
- Terminal-Bench 4.0: 48.5,而Kimi K3.1为67.2。
- 图表绘制: 54.2,而GPT-6 Astra为71.1。
- 人类最后考试: 51.7,而Opus 5.5为59.8。
在阿里巴巴自己的Work360基准测试中,Qwen4-Max得分为52.69,而Qwen3.8-Max为47.74。Work360涵盖了26个顶级域名和721个专业领域。
为什么Qwen4-Max运行成本更低?
两项东西叠加:更少的代币和更低的费用。在 Work360 上,Xhigh 努力程度下代币使用量下降约 24%,High 努力程度下下降 35%。在 Terminal-Bench 4.0 上,下降幅度约为 48% 和 49%。平均 Work360 每个任务成本从 $4.43 降至 $1.67,削减了 62%。
列表价格也下降了。输入是 $1.50 每百万代币,从 $2 的 Qwen3.8-Max 降至。输出是 $4.50,从 $6 降至。隐式缓存读取下降 70%,从 $0.25 降至 $0.075。
Qwen4-Max 与竞争对手
| 指标 | Qwen4-Max | Qwen3.8-Max | Claude Opus 5.5 | GPT-6.1 Sol | Kimi K3.1 Pro |
|---|---|---|---|---|---|
| 总参数 | 2.4T 主干 + 328B N-gram 嵌入 | 2.4T | 未公布 | 未公布 | 2.8T |
| 活跃参数 | 71B | 未公布(博客暗示约 95B) | 未公布 | 未公布 | 104B |
| 上下文 | 1M | 1M | 1M | 1,050,000 | 1,048,576 |
| 最大输出 | 393K | 131K | 128K | 128K | 未公布 |
| 输入模态 | 文本、图像、视频 | 未公布 | 文本、图像 | 文本、图像 | 文本、图像 |
| 权重 | 专有,仅 API | 未公布 | 专有 | 专有 | 开放(Kimi K3.1 Pro 许可证) |
| 输入 / 输出价格(每 1M) | $1.50 / $4.50 | $2 / $6 | $4 / $20 | $2 / $10 | $2 / $10 |
| 缓存输入(每 1M) | $0.075 | $0.25 | $0.20 | $0.10 | $0.20 |
| DeepSWE v1.1* | 75.7 | 69.3 | 74.2 | 75.2 | 75.5 |
| Terminal-Bench 4.0* | 48.5 | 38.9 | 59.6 | 56.1 | 67.2 |
| Humanity’s Last Exam* | 51.7 | 43.9 | 59.8 | 54.0 | 51.1 |
| ProgramBench* | 31.5 | 28.0 | 65.0 | 52.5 | 25.0 |
| HLAB-Vals-1.1* | 21.3 | 15.4 | 9.2 | 6.3 | 11.7 |
*来自阿里巴巴的 Qwen4-Max 图表 的分数。Qwen3.8 列是 Qwen3.8-Max-0902。图表将 Kimi 标记为“Kimi K3.1”。Moonshot 自己的卡报告 Kimi K3.1 Pro 的 Terminal-Bench 4.0 为 65.7,Opus 5.5 为 66.4。
开发者如何使用 Qwen4-Max?
模型 ID 在 QwenCloud 上是 qwen4-max。API 与 OpenAI 兼容和 Anthropic 兼容的客户端一起工作。支持的功能包括函数调用、结构化输出、上下文缓存、批量处理、网络搜索和微调。默认速率限制是每分钟 5,000,000 个代币。思考模式通过 enable_thinking 切换。
订阅访问通过 Token Plan 进行。
关键要点
- 2.4T MoE 主干,每个代币仅 71B 活跃。
- 新的 QSA 注意力、门控残差和 328B N-gram 嵌入。
- 在 16 个图表基准中的 4 个上领先,由 HLAB-Vals-1.1 以 21.3 领先。
- $1.50/$4.50 每百万代币,缓存输入下降 70%。
- 弱点:ProgramBench (31.5) 和 Terminal-Bench 4.0 (48.5)。
查看 官方 Qwen4-Max 博客, QwenCloud 模型页面 和 Token Plan 定价页面。您可以通过我们的 GPULeaderboard.com 浏览器扩展 查看部署选项和规格。
此外,请随时关注我们在 Twitter 上的动态,别忘了加入我们的 15 万+ML SubReddit 并订阅 我们的 Newsletter。等等!你使用 Telegram 吗?现在你也可以加入我们使用 Telegram。
需要与我们合作推广您的 GitHub 仓库 OR Hugging Face 页面 OR 产品发布 OR 网络研讨会等?联系我们
文章 Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context 首次出现在 MarkTechPost。
来源: MarkTechPost · marktechpost.com