跳到正文
实时
Hugging Face Blog·· 17 天前精选85

Mistral Large 4（Le Chonk）在 Hugging Face 发布

Welcome Le Chonk: Mistral Large 4 on Hugging Face

要点速览

Mistral 发布多模态 MoE 模型 Mistral Large 4（Le Chonk），约 1T 总参数、49B 激活参数，上下文窗口 1M tokens，提供 FP8 与 NVFP4 两个官方版本，另有 Unsloth 和 llama.cpp 团队制作的 GGUF。

Why it matters

原文给出 1T 总参数、49B 激活的 MoE 多模态模型在网络安全与编码基准上的具体分数，并附本地与端点部署实测吞吐。

同一件事另外 2 家也报道了

  1. Hugging Face Blog··首发·当前阅读

    Mistral Large 4（Le Chonk）在 Hugging Face 发布

  2. vLLM Blog··+0 分钟

    vLLM 首日支持 Mistral Large 4

  3. The Decoder··+15 小时 25 分

    法国 Mistral 发布 "Le Chonk"，编码能力强劲但仍落后于中国模型

    新增信息：The Decoder提到该模型在整体排名中落后于中国模型。

按发布时间排列 · 事件后续出现时自动追加 · 由模型根据各家标题与摘要比对

正文 · AI 翻译

Mistral Large 4 (又名 Le Chonk) 是 Mistral 公司推出的一种多模态、多语言、专家混合 (MoE) 模型。它接受文本和图像作为输入，并生成文本。它拥有约 1T 总参数量，49B 活跃参数，以及 1M token 的上下文窗口。

该模型有两个官方版本发布：

  1. FP8
  2. NVFP4

此外，还有由 Unsloth 和 llama.cpp 团队创建的 GGUFs。它遵循 Mistral 生态开放权重许可证（MIT 衍生许可证，为模型即服务提供设定了限制）。

Mistral Large 4 在网络安全、编码代理和多模态方面表现尤为突出。在本篇中，我们将探讨该模型的工作原理、其能力、架构及其他内容！

目录

Mistral Large 4 新增内容

Mistral Large 4 结合了大量的专家、稀疏注意力和一个 Pixtral 视觉编码器。语言模型为每个 token 选择一小部分专家，而其注意力索引器则选择要关注哪些先前的 token 位置。这两种形式都是稀疏性，一种是选择前馈网络，另一种是选择上下文位置。

您可以在 Mistral Large 4 收集 中找到所有检查点。

网络安全能力

Mistral Large 4 在要求模型复现开源软件中的真实漏洞并修复软件的 Artificial Analysis Cyber Index 测试中得分 82%。Mistral 报告称，一些前沿封闭模型在该测试中得分接近零，因为它们拒绝尝试这项工作。这对防御者来说非常重要，因为修复漏洞通常需要复现漏洞。在 Mistral 的内部测试中，Mistral Large 4 也对恶意软件分析、漏洞优先级排序和编写检测规则非常有用，而这些任务模型并未明确训练。

Mistral 主要将模型定位在防御性安全工作方面。漏洞研究和事件响应在模型输入中往往表现为攻击，因此封闭源过滤器可能会阻止它们。一个依赖 API 的团队在事件过程中也可能失去访问权限。关键在于，开放权重模型将使用策略和部署都控制在用户手中。尽管如此，该模型仍然拒绝有害请求：在 JailbreakBench、StrongREJECT 和 AgentHarm 的网络提示下，其平均拒绝率高于任何其他开放权重模型。

对于社区构建者来说，像 Mistral Large 4 这样的开放权重模型解锁了大量下游用例。您可以围绕您的代码库、崩溃日志和恶意软件样本构建自己的网络系统。例如，使用 TRL 您可以从 Mistral Large 4 的跟踪补丁中微调较小的模型。事实上，重放然后补丁任务使用可验证的奖励，因此它适用于可以用于进一步微调较小安全模型的 RL 环境。开放权重还允许研究人员直接测量模型的拒绝行为，而不是依赖提供者的描述。

简而言之，像 ML4 这样的开放网络能力对社区是一个巨大的推动。

我们采访了 Pierre Stock 关于该模型的网络能力，您可以在这里观看。

架构

ML4

Mistral Large 4 的文本解码器有 72 层，隐藏维度为 6,144，有 64 个注意力头。它的注意力模块结合了多头潜在注意力 (MLA) 和深度探索稀疏注意力 (DSA) 索引器（其他模型如 GLM 5.3 的一个方向）。MLA 保持压缩的 KV 表示，而 DSA 为每个查询选择最多 2,048 个键位置。

Attention
对于每个解码器模块，有一个 3:1 RoPE 到 NoPE 的模式，即 3 个解码器层使用 RoPE，每第四层使用 NoPE。该模型还跨层共享 KV 状态。
第一个解码器层使用密集的前馈网络。其他 71 层使用 MoE 模块，其中 softmax 路由器为每个标记选择 128 个专家中的四个。一个共享专家始终与选定的专家一起运行，每个标记总共 5 个激活专家。

关于 RoPE，Mistral 使用 LeRope，这是一种 YaRN 缩放的 RoPE，每个频率有一个学习到的乘数。

Experts

视觉编码器

Mistral Large 4 采用 1.6B Pixtral 编码器。Pixtral 有 30 层，隐藏维度为 2,048，有 16 个注意力头。它使用 14 × 14 块和空间合并大小为 2 的块合并投影器。您可以在下面看到编码器管道。

Image Encoder

基准测试结果

Mistral Large 4 在编码、网络安全、多模态理解和代理工作流方面提供了强大的基准测试性能，将其定位为开放权重生态系统中的一个有力补充。截至 2026 年 10 月 29 日，该模型是人工智能分析指数上第五好的开放权重模型。

在编码方面，ML4 在 DeepSWE v1.1 上达到 61.7%，在 SWE-Atlas-QnA 上达到 59.4%，在 Terminal-Bench 4 上达到 28.3%。其综合 编码代理指数得分为 49.8%，超过 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。

ML4 的编码能力扩展到知识工作，在 AutomationBench 上达到 59.9%，在 AA-Briefcase 上达到 1,393 Elo，这些评估业务流程和长期专业任务。

网络安全是 Mistral Large 4 的突出能力之一，在现实世界的漏洞评估和安全竞赛任务中表现强劲。三个基准测试突出了该模型的网络性能：

  • 人工智能分析网络安全指数： ML4 在这个独立评估模型发现和修复软件漏洞能力方面排名 全球前五。
  • 漏洞复现和补丁修复：它达到了82%，这是该测试在索引中报告的最高分数。这项任务要求在开源软件中复现一个真实漏洞，然后修复它，测试调查和补救能力。
  • Cybench：ML4 解决了 40 个从安全竞赛中抽取的挑战中的93%，在动手解决安全问题方面表现出色。

Mistral Large 4 还在 Lakera 的 B3 基准测试中表现出93.3%的攻击抵抗能力，增加了对提示注入攻击的鲁棒性证据。除了基准测试之外，内部测试在恶意软件分析、漏洞优先级排序和检测规则生成方面显示出有希望的结果。

推理支持

Mistral Large 4 配备了 transformers、vLLM 和 llama.cpp 的初始支持。GGUF 量化可以从 GGUF 和 llama.cpp 团队 获取。我们提供选项通过推理端点远程部署，并通过推理提供者使用无服务器推理。

Transformers

Transformers 实现提供了 AutoModelForMultimodalLM，AutoProcessor 准备对话和图像输入。Mistral Large 4 可以接受 low、medium、high 作为推理努力。默认值是 high，请注意推理无法禁用，因此使用 reasoning_effort: none 仍然会使用 high。

要运行模型，请升级 transformers 包

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)

# only text
text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]

# text + image
multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "How many cats are in the image?",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

您可以通过将上述脚本保存为 python 文件 script.py 然后运行

torchrun --nproc-per-node 8 script.py

vLLM

vLLM 支持高质量的 NVFP4 Mistral Large 4 检查点，它具有更小的内存占用，并需要 NVIDIA Blackwell GPU。该模型还配备了 DSpark 草稿器，以通过 vLLM 提供额外的加速。像这样启动服务器：

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

服务器启动并运行后，您可以运行以下命令。

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp

Llama.cpp 和 Llama App 已支持 Mistral Large 4。

您可以使用以下命令安装 Llama App：

curl -LsSf https://llama.app/install.sh | sh

然后，您可以按照以下方式启动服务器，并在模型 ID 后指定量化后缀：

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

这是包含从 FP8 检查点派生的量化的存储库，以及 这是从官方 NVFP4 存储库转换的 NVFP4 版本。

服务器启动后，您可以通过 localhost:9931 使用内置的 WebUI 进行聊天。从 Web UI 中，您可以添加用于推理的图像并调整推理级别。
您还可以按以下方式查询服务器。请随时查看 多模态 API 参考，了解工具调用和其他内容。

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

您可以按以下方式运行图像-文本推理。

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

Llama.cpp 团队提供了以下量化版本：IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0 和 BF16，用于进一步转换。2 位量化可以在一台拥有 512 GB 统一 RAM 的 Apple Silicon Ultra 计算机上运行。其他量化需要分布式推理。您也可以在多个 NVIDIA 或 AMD 显卡上运行。

在单个 M3 Ultra 上运行 Q2_K，我们获得了大约每秒 90 个 token 的预填充吞吐量和 15 tok/s 的生成速度。在 4 x RTX6000 Pro 上，我们观察到以下结果：

  • NVFP4：32K 上下文大小，预填充 130-590 t/s，生成速度 ~10 t/s
  • IQ2_XXS：800K 上下文大小。在短上下文大小下，预填充为 500 tok/s，生成速度为 30 tok/s。但是，使用长上下文时，性能降至 129 tok/s（预填充）和 3 tok/s（生成）。

使用 TRL 进行微调

我们还可以使用 TRL 提供第 0 天的 Mistral Large 4 微调支持。您需要做的就是升级到最新的 transformers、trl 和 peft 版本。

pip install --upgrade transformers trl peft

在以下示例中，我们训练模型以执行多语言思考。微调后的模型将能够在系统提示要求的语言中进行推理！

脚本在 8xB300s 的节点上运行 FP8 变体。

# torchrun --nproc-per-node 8 sft.py
import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
# the assistant turns carry reasoning, so render them in reasoning mode
dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

推理端点

Mistral Large 4 也可以在推理端点上使用，并在 8 个 NVIDIA H200 GPU 上提供现成的部署配方。该配方使用张量和专家并行性将 FP8 权重分布在所有八个 GPU 上，并使用模型内置的 DSpark 草稿头通过推测解码实现更快的生成。它可以提供高达 131K 个上下文令牌，并可以同时处理多达 16 个请求，我们观察到以下结果：

  • 单个请求：对于 1K 令牌提示，第一个令牌的时间约为 0.6 秒，生成速度约为 ~65 tok/s，在聊天提示中接受 DSpark 草稿时，速度可达 120–138 tok/s。
  • 长提示：一次处理 16K 令牌提示，四个同时，总预填充速度约为 4,300 tok/s，第一个令牌的时间为 8–9 秒。
  • 负载下：在 1,000 个 ShareGPT 对话中，总生成速度约为 480 tok/s。

您可以使用 hf CLI 按如下方式部署它：

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

一旦端点运行，您可以使用端点 URL 和您的 Hugging Face 令牌查询其兼容 OpenAI 的 API。reasoning_effort 字段控制模型在回答之前进行推理的程度，可以设置为 low、medium 或 high（默认）。

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

答案返回在 choices[0].message.content，推理在 choices[0].message.reasoning。端点还支持工具调用、结构化输出、图像输入和通过标准 Chat Completions 字段进行流式传输。

戴尔企业中心

使用 dell-ai CLI 是启动您的戴尔 AI 服务器（NVIDIA H200、B200、GB200 或 GB300）的最简单方法：

pip install dell-ai && dell-ai login

并使用它在一个 NVIDIA B300 节点上运行 Mistral Large 4 的优化配方。

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

您可以在 戴尔企业中心 (DEH) 中了解更多关于此发布的信息。

试试看

从 Mistral Large 4 收藏 中获取权重，使用 GGUFs 本地运行它们，或使用推理端点部署它们。我们迫不及待想看到您用 Le Chonk 构建了什么。在中心上分享您的微调、量化和其他工件！

来源: Hugging Face Blog · huggingface.co

Hugging Face推理能力多模态开源生态部署工程模型发布#模型发布#开源/仓库#多模态#推理能力#部署工程#Hugging Face